“人形機器人”的智能感知與控制技術(shù)

微納感知是機器人智能的基礎(chǔ)之一。2024年4月，“2024中國人形機器人生態(tài)大會”在上海舉行，主辦單位是中國機器人網(wǎng)和上海智能谷。會議期間，俄羅斯工程院外籍院士、蘇州大學機電工程學院機器人技術(shù)與系統(tǒng)國家重點實驗室副主任孫立寧做了“ 人形機器人智能感知與控制技術(shù)”的報告，從多個角度介紹了下當前在這個方面領(lǐng)域中的進展。

背景

從我國近幾年制定的發(fā)展政策到“十四五”規(guī)劃，尤其是2023年11月工信部發(fā)布了《人形機器人創(chuàng)新發(fā)展指導意見》，按照“謀劃三年、展望五年”的時間安排做了戰(zhàn)略部署，指出:到2025年人形機器人創(chuàng)新體系初步建立，到2027 年達到深入結(jié)合²。2024年3月北京又“揭榜掛帥”了19個項目³.....我們看到很多人形機器人項目發(fā)展良好。

2024年1月，工信部、教育部、科技部等7部門正式發(fā)布《關(guān)于推動未來產(chǎn)業(yè)創(chuàng)新發(fā)展的實施意見》中，在專欄“創(chuàng)新標志性產(chǎn)品”中，第一條就是“人形機器人”，之后的二~四條分別是量子計算機、新型顯示、腦機接口。從這一-點來看，我國非常重視人形機器人領(lǐng)域的發(fā)展。

近期業(yè)內(nèi)人士也能感受到，無論是科技部還是工信部紛紛對白皮書、路線圖進行了制定，而且在各個省市的發(fā)展規(guī)劃中，紛紛成立人形機器人創(chuàng)新中心、研究院等。

人形機器人的優(yōu)點人們已清楚，主要是從帶足形到像人一樣，解決復(fù)雜場景的應(yīng)用。

1   進展:自2023年以來再次爆發(fā)

人形機器人這幾年出現(xiàn)了很多。尤其從2023年至2024年3月這一年多時間里，沉寂了20多年的人形機器人再次爆發(fā)。國外的案例，從美國波士頓動力的Atlas，到近期特斯拉的Optimus (擎天柱)，以及英國Ameca、 美國Digit V3、迪士尼雙足機器人、Figure 01等，國內(nèi)有之江實驗室的“小之”，優(yōu)必選的“Walker x”.“星動紀元”、云深處“悟空”、追覓人形機器人、樂“星動紀元”、云深處“悟空”、追覓人形機器人、樂聚“夸父”等。

2   人形機器人的發(fā)展目標

這要從兩個方面來看。

①技術(shù)層面，想使機器人像人一樣一能動、能跑、能越障;更重要的是提升智能化水平，例如能針對任務(wù)②市場層面，盡管各種應(yīng)用場景還在探索之中，但靈活、 穩(wěn)定、智能。

②市場層面，盡管各種應(yīng)用場景還在探索之中，但至少市場目標沒有改變，希望達到:低成本、高可靠性、用于軍事場景、家用場景、搶險救援等。

網(wǎng)上有很多視頻。例如，波士頓動力的AI建筑機器人，還有海爾和樂聚推出的“家庭服務(wù)機器人概念演示”。2024 年3月，在“2024年中國家電及消費電子博覽會”上，海爾機器人與樂聚機器人聯(lián)合展出了國內(nèi)首款面向家庭場景的人形機器人Kuavo (夸父)。這款作功能，還展示了洗衣、澆花、插花、晾衣服等近期學作功能，還展示了洗衣、澆花、插花、晾衣服等近期學習的手部操作成果。該機器人可以炒菜，這是否采用了數(shù)學模型?可能不是，是人的經(jīng)驗、行為能夠數(shù)據(jù)化，這一點非常關(guān)鍵。

未來人形機器人怎么實現(xiàn)?人們上班后，家里收拾桌子和打掃衛(wèi)生，包括把家電之間(洗衣機、冰箱、洗碗機等)連起來，變成了一個電子保姆，慢慢幫人們做家務(wù)，這應(yīng)該是對我們生活有幫助的一種理想場景 。

3   感知/環(huán)境感知技術(shù)

回到技術(shù)層面，人形機器人有五六項關(guān)鍵技術(shù)，如下所示。

●   高爆發(fā)力的驅(qū)動一這與工業(yè)機器人不一樣， 而是有爆發(fā)力、高功率密度；

●   環(huán)境感知；

●   任務(wù)和運動控制； 

●   本體；

●   大模型，像計算機、手機一樣。

本次重點在感知和控制方面做介紹。

過去的半閉環(huán)系統(tǒng)更關(guān)注內(nèi)在的閉環(huán)，像工業(yè)機器人的碼盤?，F(xiàn)在人形機器人出現(xiàn)以后，更關(guān)注外部的傳感，像聽、看、聞，以及內(nèi)部的陀螺和慣性等，用于外部的手、足和皮膚等(如圖1)。

圖1 感知技術(shù)向微型化、多功能化、數(shù)字化和智能化方向發(fā)展

近期孫立寧院士團隊在探索MEMS技術(shù)與機器人的結(jié)合。

首先，做了柔性電子皮膚，用基于納米摩擦發(fā)電的柔性傳感器進行設(shè)計，研制出了便攜式、低功耗、低成機交互系統(tǒng)，實現(xiàn)機器人末端的實時三維軌跡交互控制。這里的自發(fā)電指運動過程中的摩擦發(fā)電，是用先進材料研制出來的可穿戴的皮膚。這個研究較為實用。

第二，在傳統(tǒng)的、未來不可少的靈巧手傳感方面，有力的感知/觸覺。為了實現(xiàn)小型化和集成化，采用了更多的先進材料，利用了柔性和壓鑄等原理。在這方面，國內(nèi)團隊做了很多工作。

從感知外部來看，機器人無論是在AGV (自動引導車) 1移動方面普遍存在挑戰(zhàn)。環(huán)境感知方面的挑戰(zhàn)涉及如下。

●   環(huán)境幾何特征感知?；贗MU+激光雷達+視覺的幾何特征感知:足底沖擊振動下的多幀圖像去噪與配準，像人一樣，建立室外大場最地圖，通過回環(huán)檢測與回環(huán)驗證對自身進行重定位，提供圖像的精度。

●   地形感知與分割?；谝曈X的野外地形感知：建立具有典型地形的野外地形圖像數(shù)據(jù)集;根據(jù)野外地形特征設(shè)計地形分割網(wǎng)絡(luò)，并進行訓練和測試;最終可通過視覺圖像推斷地形類型。與過去的機器人的吻合。

●   多信息地圖建立?；谝曈X進行三維建圖:進行稠密深度估計，對薄結(jié)構(gòu)及低紋理區(qū)域(如樹干、水面)建模：通過視覺SLAM架構(gòu)建立具有三維信息、地形以及物理特征信息的多信息稠密地圖。

●   面向操作物體感知。這是協(xié)作機器人與人形機器人特有的問題。例如炒菜，主要是面向操作任務(wù)的目標物感知:實時建圖與動態(tài)物體檢測，防止操作碰撞，基于卷積神經(jīng)網(wǎng)絡(luò)目標物分類，進行特征點匹配，依據(jù)非完整點云數(shù)據(jù)估計目標物6維位姿。

●   類人時空域信息感知。基于脈沖神經(jīng)網(wǎng)絡(luò)的時空域信息感知:突破以空間信息為主的靜態(tài)感知范式，將視覺感知的維度擴充至時空維度，提高機器人在動態(tài)、開放環(huán)境下的感知能力。

體感知方面，早期做視覺已比較多了，現(xiàn)在對軟體或復(fù)雜的形狀，觸覺就發(fā)揮了很大的作用，所以對完整的估計等，包括清華等高校研究單位做的MEMS傳感器的項目，已經(jīng)能夠?qū)Σ馁|(zhì)(鋼鐵、玻璃還是木頭等)能夠識別了，包括手指已經(jīng)有了紋理,這方面就更精準化了。

4   運動控制

●   系統(tǒng)建模。系統(tǒng)建模是在運動控制層面，是比較難的，主要依據(jù)人體運動特征，構(gòu)建基于倒立擺模型：如線性倒立擺，彈簧負載倒立擺模型，用于行走與跳躍運動控制，還有被動動力學、單剛體1多剛體動力學模型進行人形機器人控制(如圖2)。

圖2系統(tǒng)建模

●   動步態(tài)運動。靜態(tài)1準靜態(tài)運動的特點是依賴較大腳掌，行走緩慢，采用位置控制;動態(tài)運動無需大腳掌保持靜態(tài)穩(wěn)定性，行走速度大幅提高，由位置控制轉(zhuǎn)為力控方案，有一定的魯棒性。高動態(tài)運動的人形機器人軟硬件成本最高，追求極致的運動性能，以突破人類運動的極限。

早期仿生機器人主要是四足機器人，做了多少年都本體，這很復(fù)雜，然后再降維。應(yīng)該說從機械動力學方面有很多科學問題，非常難。但是如果能把系統(tǒng)動力學面有很多科學問題，非常難。但是如果能把系統(tǒng)動力學模型與大數(shù)據(jù)結(jié)合，可能是一種解決辦法。再加上人形機器人的自學習訓練，像人一樣—人實際 上沒有模型，通過訓練學習的過程把AI問題解決了。這兩方面可以結(jié)合。

機器人的自學習訓練，像人一樣—人實際上沒有模型，通過訓練學習的過程把AI問題解決了。這兩方面可以結(jié)合。

動態(tài)運動控制方面。實際上機器人的發(fā)展也經(jīng)歷了從靜態(tài)、準動態(tài)到高動態(tài)的發(fā)展過程，這方面已經(jīng)看到了挑戰(zhàn)，無論是Atlas還是擎天柱(Optimus)，都是向動第二，控制也是一個大的問題，包括控制目標與模態(tài)和高動態(tài)發(fā)起了挑戰(zhàn)，使之能夠更好地得到應(yīng)用。

第二，控制也是一個大的問題，包括控制目標與模型的問題。如前所敘，這里是模型與訓練。底層來看，工業(yè)機器人是多關(guān)節(jié)位置控制，現(xiàn)在是全身運動控制，需要全身的力學模型。目前國內(nèi)很多學者和高校開展了這方面的研究。

從這兩方面的手段來看，我們早期的控制手段、控制要素、執(zhí)行的變化基本是動力學的問題。

現(xiàn)在全身動力學要搞關(guān)節(jié)的位置控制、沖擊力的柔性、接觸、執(zhí)行(讓人跳起來)等問題。這些模型的基礎(chǔ)原理也是多方面的，有基于動量、動能的，還包括機械動力學模型等。

發(fā)展趨勢如前所述：準動態(tài)做了10年，然后運動控制/力控又做了10年，高動態(tài)是當前發(fā)展是最為火熱的技術(shù)，最終的目標是類人化。

在這里，模型研究還是很關(guān)鍵的，尤其對于從事機械系統(tǒng)的人。

●   四肢協(xié)調(diào)

兩條腿、兩條胳膊以及兩只手做復(fù)雜動作的時候，對協(xié)調(diào)控制帶來挑戰(zhàn):怎樣來把人的行為復(fù)用到機器人上?這非常重要，需要數(shù)據(jù)驅(qū)動。

想比之下，模型驅(qū)動很難做得非常精準一由于計算量要特別大，因此很難做到真實。所以數(shù)據(jù)驅(qū)動是非常重要的。因為剛才提到，人的行為可能沒有太多的模型，是通過學習進化的，最后能夠與外部環(huán)境進行協(xié)調(diào)和適應(yīng)，因此需要跟大模型、數(shù)據(jù)平臺結(jié)合。

未來的發(fā)展可能在手的操作方面會有很多挑戰(zhàn)。抓取相關(guān)的技術(shù)問題，包括無縫地融合物理模型，最終是多模態(tài)一--通過大模型將不同傳 感器的信息融合處理，通過語言實現(xiàn)機器人智能控制。

總之，把底層運動和行為結(jié)合做好，是比較現(xiàn)實的亟待解決的問題。

5   運動和感知技術(shù)的創(chuàng)新

無論從運動模型還是感知，人形機器人跟人不完全一樣，現(xiàn)在只能是從工程的角度改進。例如人類有39萬億個細胞/節(jié)點，我們對其認識太有限了。人運動最基本的是運動神經(jīng)元。神經(jīng)元來自于生物，截至2008年，孫立寧老師團隊通過機械模型的方法建立了神經(jīng)時空分布模型、突觸生長模型以及神經(jīng)電學模型，設(shè)計并搭建了神經(jīng)電路。這個模型準不準?他們把一個水蛭的腿切斷了，然后結(jié)合電生理實驗平臺(膜片鉗)進行了運動供了基礎(chǔ)?，F(xiàn)在來看這是生物芯片的概念，至少說明這個模型是成功的，通過條件反射就能實現(xiàn)肌肉的控制。

如果這項工作能跟當前的算力模型結(jié)合，可能效果就更好。

會有什么樣的效果呢?對于神經(jīng)元模型，我們看一朵花在含苞待放的時候，只要-滴水就會突然爆發(fā)， 這是神經(jīng)發(fā)育的過程。包括動物生下來的時候，神經(jīng)很快就會發(fā)育了，這是生物進化的現(xiàn)象。

所以能不能把這個模型建好?通過一定的訓練， 它自己就能爆發(fā)出一個神經(jīng)元?這個問題很重要一結(jié)合生物學原理。

實際上，我們?nèi)祟惖纳窠?jīng)元，包括人類對于聲覺和視覺的認識是因為大腦里有個海馬體，這個海馬區(qū)域的所以通過海馬體腦區(qū)的情感認知，把拓撲關(guān)系找出來，可能這樣一個宏觀模型對嵌入運動控制是一種非常好的原理。

前期工作已做到了包括建圖、采集，通過復(fù)雜環(huán)境導航、仿真強化學習等結(jié)合起來，算力非?？?，相對比較前沿。在未來的研究.上如果這樣結(jié)合起來，是否是一種新的思路？

6   ChatGPT的加持

ChatGPT已火熱一年多了，現(xiàn)在已司空見慣，但對我們的發(fā)展是很有幫助的。孫立寧教授非常關(guān)注神經(jīng)網(wǎng)絡(luò)和生成數(shù)據(jù)，這兩者是非常重要的。前邊的感知是作為采集，從算法、AI到落地機器人的時候，主要有兩個大問題，數(shù)據(jù)如何來?神經(jīng)網(wǎng)絡(luò)怎么做?

如果能夠把像神經(jīng)元這種生物學的原理，借鑒我們現(xiàn)在的神經(jīng)網(wǎng)絡(luò)，可能進展更快更好，但這需要人們的探索。

7   其他挑戰(zhàn)

人形機器人的應(yīng)用前景已經(jīng)非常肯定。關(guān)鍵問題是在我們的生活、生產(chǎn)/工作的各個方面怎么用? 一個自然語言的模型，另一個是操作，尤其操作是很難的，一個動作如果描述出來有很多數(shù)據(jù)。操作發(fā)展的過程都存在魯棒性。

還有數(shù)據(jù)存儲、技能的存儲，例如一段視頻或照相需要上G、幾百兆，因此一個動作的存儲恐怕是非常巨大的，海量數(shù)據(jù)怎么樣存儲？后邊還有模型神經(jīng)網(wǎng)絡(luò)？這方面很重要。

有了數(shù)據(jù)以后，我們?nèi)说男袨橛辛?，那么怎么遷移到機器人里?還得有異構(gòu)吧?包括4足機器人遷移到兩足機器人，人的行為遷移到機器人里，所以數(shù)據(jù)遷移問題非常重要了。從大樣本的、小樣本的、特征的、模型的，不同的角度來遷移數(shù)據(jù)。

所以我們在面臨人形機器人方面大的戰(zhàn)略思路也非常清楚，但細節(jié)的問題還是很難在機械本體存在著一些瓶頸，在感知方面也需要創(chuàng)新，最重要的是結(jié)合AI技術(shù)怎么落地?數(shù)據(jù)、操作這些問題也給我們帶來很多挑戰(zhàn)。

這些問題如果能夠解決，相信就回到人形機器人的特種環(huán)境，最終可能在像工廠里，這樣幾大技術(shù)結(jié)合起特種環(huán)境，最終可能在像工廠里，這樣幾大技術(shù)結(jié)合起來，希望從業(yè)者能夠從不同角度去合作、交叉，解決共性技術(shù)，最后遷移到產(chǎn)業(yè)的載體，使人形機器人的性能不斷提高，好使好用，就達到了我們的夢想。

注：

1:《人形機器人創(chuàng)新發(fā)展指導意見》中提到，到2025年人形機“大腦、小腦、肢體”等一批關(guān)鍵技術(shù)取得突破，確保核心部組件安全有效供給。

2:《人形機器人創(chuàng)新發(fā)展指導意見》中指出，到2027年人形機器人技術(shù)創(chuàng)新能力顯著提升，形成安全可靠的產(chǎn)業(yè)鏈供應(yīng)鏈體系，構(gòu)建具有國際競爭力的產(chǎn)業(yè)生態(tài)，綜合實力達到世界先進水度融入實體經(jīng)濟，成為重要的經(jīng)濟增長新弓|擎。度融入實體經(jīng)濟，成為重要的經(jīng)濟增長新弓|擎。

3: 2024年3月13日，人形機器人大賽暨人形機器人百人會論壇在經(jīng)開區(qū)開幕，其中參賽的116個項目均是圍工信部關(guān)于人形機器人“揭榜掛帥”任務(wù)榜單的4大板塊19個方向展開。4大板塊為：核心基礎(chǔ)，重點產(chǎn)品，公共支撐，典型應(yīng)用。19個方向分別傳感器，觸覺傳感器，旋轉(zhuǎn)型電驅(qū)動關(guān)節(jié)，直線型電驅(qū)動關(guān)節(jié)，傳感器，觸覺傳感器，旋轉(zhuǎn)型電驅(qū)動關(guān)節(jié)，直線型電驅(qū)動關(guān)節(jié)，機械臂與靈巧手，高算力主控制器，高能量密度電池，人形機器人端到端仿真開發(fā)平臺，人形機器人的標準、測試與評估，人形機器人的機器腦智能控制技術(shù)，面向工業(yè)制造的典型應(yīng)用，面向災(zāi)害救援的典型應(yīng)用，面向危險作業(yè)的典型應(yīng)用，面向智慧物流的典型應(yīng)用，面向安防巡邏的典型應(yīng)用，面向服務(wù)娛樂的典型應(yīng)用。

（本文來源于《EEPW》202407）