“人形機器人”的智能感知與控制技術(shù)
微納感知是機器人智能的基礎(chǔ)之一。2024年4月,“2024中國人形機器人生態(tài)大會”在上海舉行,主辦單位是中國機器人網(wǎng)和上海智能谷。會議期間,俄羅斯工程院外籍院士、蘇州大學機電工程學院機器人技術(shù)與系統(tǒng)國家重點實驗室副主任孫立寧做了“ 人形機器人智能感知與控制技術(shù)”的報告,從多個角度介紹了下當前在這個方面領(lǐng)域中的進展。
本文引用地址:http://m.butianyuan.cn/article/202407/460968.htm背景
從我國近幾年制定的發(fā)展政策到“十四五”規(guī)劃,尤其是2023年11月工信部發(fā)布了《人形機器人創(chuàng)新發(fā)展指導意見》,按照“謀劃三年、展望五年”的時間安排做了戰(zhàn)略部署,指出:到2025年人形機器人創(chuàng)新體系初步建立,到2027 年達到深入結(jié)合2。2024年3月北京又“揭榜掛帥”了19個項目3.....我們看到很多人形機器人項目發(fā)展良好。
2024年1月,工信部、教育部、科技部等7部門正式發(fā)布《關(guān)于推動未來產(chǎn)業(yè)創(chuàng)新發(fā)展的實施意見》中,在專欄“創(chuàng)新標志性產(chǎn)品”中,第一條就是“人形機器人”,之后的二~四條分別是量子計算機、新型顯示、腦機接口。從這一-點來看,我國非常重視人形機器人領(lǐng)域的發(fā)展。
近期業(yè)內(nèi)人士也能感受到,無論是科技部還是工信部紛紛對白皮書、路線圖進行了制定,而且在各個省市的發(fā)展規(guī)劃中,紛紛成立人形機器人創(chuàng)新中心、研究院等。
人形機器人的優(yōu)點人們已清楚,主要是從帶足形到像人一樣,解決復(fù)雜場景的應(yīng)用。
1 進展:自2023年以來再次爆發(fā)
人形機器人這幾年出現(xiàn)了很多。尤其從2023年至2024年3月這一年多時間里,沉寂了20多年的人形機器人再次爆發(fā)。國外的案例,從美國波士頓動力的Atlas,到近期特斯拉的Optimus (擎天柱),以及英國Ameca、 美國Digit V3、迪士尼雙足機器人、Figure 01等,國內(nèi)有之江實驗室的“小之”,優(yōu)必選的“Walker x”.“星動紀元”、云深處“悟空”、追覓人形機器人、樂“星動紀元”、云深處“悟空”、追覓人形機器人、樂聚“夸父”等。
2 人形機器人的發(fā)展目標
這要從兩個方面來看。
①技術(shù)層面,想使機器人像人一樣一能動、能跑、能越障;更重要的是提升智能化水平,例如能針對任務(wù)②市場層面,盡管各種應(yīng)用場景還在探索之中,但靈活、 穩(wěn)定、智能。
②市場層面,盡管各種應(yīng)用場景還在探索之中,但至少市場目標沒有改變,希望達到:低成本、高可靠性、用于軍事場景、家用場景、搶險救援等。
網(wǎng)上有很多視頻。例如,波士頓動力的AI建筑機器人,還有海爾和樂聚推出的“家庭服務(wù)機器人概念演示”。2024 年3月,在“2024年中國家電及消費電子博覽會”上,海爾機器人與樂聚機器人聯(lián)合展出了國內(nèi)首款面向家庭場景的人形機器人Kuavo (夸父)。這款作功能,還展示了洗衣、澆花、插花、晾衣服等近期學作功能,還展示了洗衣、澆花、插花、晾衣服等近期學習的手部操作成果。該機器人可以炒菜,這是否采用了數(shù)學模型?可能不是,是人的經(jīng)驗、行為能夠數(shù)據(jù)化,這一點非常關(guān)鍵。
未來人形機器人怎么實現(xiàn)?人們上班后,家里收拾桌子和打掃衛(wèi)生,包括把家電之間(洗衣機、冰箱、洗碗機等)連起來,變成了一個電子保姆,慢慢幫人們做家務(wù),這應(yīng)該是對我們生活有幫助的一種理想場景 。
3 感知/環(huán)境感知技術(shù)
回到技術(shù)層面,人形機器人有五六項關(guān)鍵技術(shù),如下所示。
● 高爆發(fā)力的驅(qū)動一這與工業(yè)機器人不一樣, 而是有爆發(fā)力、高功率密度;
● 環(huán)境感知;
● 任務(wù)和運動控制;
● 本體;
● 大模型,像計算機、手機一樣。
本次重點在感知和控制方面做介紹。
過去的半閉環(huán)系統(tǒng)更關(guān)注內(nèi)在的閉環(huán),像工業(yè)機器人的碼盤?,F(xiàn)在人形機器人出現(xiàn)以后,更關(guān)注外部的傳感,像聽、看、聞,以及內(nèi)部的陀螺和慣性等,用于外部的手、足和皮膚等(如圖1)。
圖1 感知技術(shù)向微型化、多功能化、數(shù)字化和智能化方向發(fā)展
近期孫立寧院士團隊在探索MEMS技術(shù)與機器人的結(jié)合。
首先,做了柔性電子皮膚,用基于納米摩擦發(fā)電的柔性傳感器進行設(shè)計,研制出了便攜式、低功耗、低成機交互系統(tǒng),實現(xiàn)機器人末端的實時三維軌跡交互控制。這里的自發(fā)電指運動過程中的摩擦發(fā)電,是用先進材料研制出來的可穿戴的皮膚。這個研究較為實用。
第二,在傳統(tǒng)的、未來不可少的靈巧手傳感方面,有力的感知/觸覺。為了實現(xiàn)小型化和集成化,采用了更多的先進材料,利用了柔性和壓鑄等原理。在這方面,國內(nèi)團隊做了很多工作。
從感知外部來看,機器人無論是在AGV (自動引導車) 1移動方面普遍存在挑戰(zhàn)。環(huán)境感知方面的挑戰(zhàn)涉及如下。
● 環(huán)境幾何特征感知?;贗MU+激光雷達+視覺的幾何特征感知:足底沖擊振動下的多幀圖像去噪與配準,像人一樣,建立室外大場最地圖,通過回環(huán)檢測與回環(huán)驗證對自身進行重定位,提供圖像的精度。
● 地形感知與分割?;谝曈X的野外地形感知:建立具有典型地形的野外地形圖像數(shù)據(jù)集;根據(jù)野外地形特征設(shè)計地形分割網(wǎng)絡(luò),并進行訓練和測試;最終可通過視覺圖像推斷地形類型。與過去的機器人的吻合。
● 多信息地圖建立?;谝曈X進行三維建圖:進行稠密深度估計,對薄結(jié)構(gòu)及低紋理區(qū)域(如樹干、水面)建模:通過視覺SLAM架構(gòu)建立具有三維信息、地形以及物理特征信息的多信息稠密地圖。
● 面向操作物體感知。這是協(xié)作機器人與人形機器人特有的問題。例如炒菜,主要是面向操作任務(wù)的目標物感知:實時建圖與動態(tài)物體檢測,防止操作碰撞,基于卷積神經(jīng)網(wǎng)絡(luò)目標物分類,進行特征點匹配,依據(jù)非完整點云數(shù)據(jù)估計目標物6維位姿。
● 類人時空域信息感知。基于脈沖神經(jīng)網(wǎng)絡(luò)的時空域信息感知:突破以空間信息為主的靜態(tài)感知范式,將視覺感知的維度擴充至時空維度,提高機器人在動態(tài)、開放環(huán)境下的感知能力。
體感知方面,早期做視覺已比較多了,現(xiàn)在對軟體或復(fù)雜的形狀,觸覺就發(fā)揮了很大的作用,所以對完整的估計等,包括清華等高校研究單位做的MEMS傳感器的項目,已經(jīng)能夠?qū)Σ馁|(zhì)(鋼鐵、玻璃還是木頭等)能夠識別了,包括手指已經(jīng)有了紋理,這方面就更精準化了。
4 運動控制
● 系統(tǒng)建模。系統(tǒng)建模是在運動控制層面,是比較難的,主要依據(jù)人體運動特征,構(gòu)建基于倒立擺模型:如線性倒立擺,彈簧負載倒立擺模型,用于行走與跳躍運動控制,還有被動動力學、單剛體1多剛體動力學模型進行人形機器人控制(如圖2)。
圖2系統(tǒng)建模
● 動步態(tài)運動。靜態(tài)1準靜態(tài)運動的特點是依賴較大腳掌,行走緩慢,采用位置控制;動態(tài)運動無需大腳掌保持靜態(tài)穩(wěn)定性,行走速度大幅提高,由位置控制轉(zhuǎn)為力控方案,有一定的魯棒性。高動態(tài)運動的人形機器人軟硬件成本最高,追求極致的運動性能,以突破人類運動的極限。
早期仿生機器人主要是四足機器人,做了多少年都本體,這很復(fù)雜,然后再降維。應(yīng)該說從機械動力學方面有很多科學問題,非常難。但是如果能把系統(tǒng)動力學面有很多科學問題,非常難。但是如果能把系統(tǒng)動力學模型與大數(shù)據(jù)結(jié)合,可能是一種解決辦法。再加上人形機器人的自學習訓練,像人一樣—人實際 上沒有模型,通過訓練學習的過程把AI問題解決了。這兩方面可以結(jié)合。
機器人的自學習訓練,像人一樣—人實際上沒有模型,通過訓練學習的過程把AI問題解決了。這兩方面可以結(jié)合。
動態(tài)運動控制方面。實際上機器人的發(fā)展也經(jīng)歷了從靜態(tài)、準動態(tài)到高動態(tài)的發(fā)展過程,這方面已經(jīng)看到了挑戰(zhàn),無論是Atlas還是擎天柱(Optimus),都是向動第二,控制也是一個大的問題,包括控制目標與模態(tài)和高動態(tài)發(fā)起了挑戰(zhàn),使之能夠更好地得到應(yīng)用。
第二,控制也是一個大的問題,包括控制目標與模型的問題。如前所敘,這里是模型與訓練。底層來看,工業(yè)機器人是多關(guān)節(jié)位置控制,現(xiàn)在是全身運動控制,需要全身的力學模型。目前國內(nèi)很多學者和高校開展了這方面的研究。
從這兩方面的手段來看,我們早期的控制手段、控制要素、執(zhí)行的變化基本是動力學的問題。
現(xiàn)在全身動力學要搞關(guān)節(jié)的位置控制、沖擊力的柔性、接觸、執(zhí)行(讓人跳起來)等問題。這些模型的基礎(chǔ)原理也是多方面的,有基于動量、動能的,還包括機械動力學模型等。
發(fā)展趨勢如前所述:準動態(tài)做了10年,然后運動控制/力控又做了10年,高動態(tài)是當前發(fā)展是最為火熱的技術(shù),最終的目標是類人化。
在這里,模型研究還是很關(guān)鍵的,尤其對于從事機械系統(tǒng)的人。
● 四肢協(xié)調(diào)
兩條腿、兩條胳膊以及兩只手做復(fù)雜動作的時候,對協(xié)調(diào)控制帶來挑戰(zhàn):怎樣來把人的行為復(fù)用到機器人上?這非常重要,需要數(shù)據(jù)驅(qū)動。
想比之下,模型驅(qū)動很難做得非常精準一由于計算量要特別大,因此很難做到真實。所以數(shù)據(jù)驅(qū)動是非常重要的。因為剛才提到,人的行為可能沒有太多的模型,是通過學習進化的,最后能夠與外部環(huán)境進行協(xié)調(diào)和適應(yīng),因此需要跟大模型、數(shù)據(jù)平臺結(jié)合。
未來的發(fā)展可能在手的操作方面會有很多挑戰(zhàn)。抓取相關(guān)的技術(shù)問題,包括無縫地融合物理模型,最終是多模態(tài)一--通過大模型將不同傳 感器的信息融合處理,通過語言實現(xiàn)機器人智能控制。
總之,把底層運動和行為結(jié)合做好,是比較現(xiàn)實的亟待解決的問題。
5 運動和感知技術(shù)的創(chuàng)新
無論從運動模型還是感知,人形機器人跟人不完全一樣,現(xiàn)在只能是從工程的角度改進。例如人類有39萬億個細胞/節(jié)點,我們對其認識太有限了。人運動最基本的是運動神經(jīng)元。神經(jīng)元來自于生物,截至2008年,孫立寧老師團隊通過機械模型的方法建立了神經(jīng)時空分布模型、突觸生長模型以及神經(jīng)電學模型,設(shè)計并搭建了神經(jīng)電路。這個模型準不準?他們把一個水蛭的腿切斷了,然后結(jié)合電生理實驗平臺(膜片鉗)進行了運動供了基礎(chǔ)?,F(xiàn)在來看這是生物芯片的概念,至少說明這個模型是成功的,通過條件反射就能實現(xiàn)肌肉的控制。
如果這項工作能跟當前的算力模型結(jié)合,可能效果就更好。
會有什么樣的效果呢?對于神經(jīng)元模型,我們看一朵花在含苞待放的時候,只要-滴水就會突然爆發(fā), 這是神經(jīng)發(fā)育的過程。包括動物生下來的時候,神經(jīng)很快就會發(fā)育了,這是生物進化的現(xiàn)象。
所以能不能把這個模型建好?通過一定的訓練, 它自己就能爆發(fā)出一個神經(jīng)元?這個問題很重要一結(jié)合生物學原理。
實際上,我們?nèi)祟惖纳窠?jīng)元,包括人類對于聲覺和視覺的認識是因為大腦里有個海馬體,這個海馬區(qū)域的所以通過海馬體腦區(qū)的情感認知,把拓撲關(guān)系找出來,可能這樣一個宏觀模型對嵌入運動控制是一種非常好的原理。
前期工作已做到了包括建圖、采集,通過復(fù)雜環(huán)境導航、仿真強化學習等結(jié)合起來,算力非???,相對比較前沿。在未來的研究.上如果這樣結(jié)合起來,是否是一種新的思路?
6 ChatGPT的加持
ChatGPT已火熱一年多了,現(xiàn)在已司空見慣,但對我們的發(fā)展是很有幫助的。孫立寧教授非常關(guān)注神經(jīng)網(wǎng)絡(luò)和生成數(shù)據(jù),這兩者是非常重要的。前邊的感知是作為采集,從算法、AI到落地機器人的時候,主要有兩個大問題,數(shù)據(jù)如何來?神經(jīng)網(wǎng)絡(luò)怎么做?
如果能夠把像神經(jīng)元這種生物學的原理,借鑒我們現(xiàn)在的神經(jīng)網(wǎng)絡(luò),可能進展更快更好,但這需要人們的探索。
7 其他挑戰(zhàn)
人形機器人的應(yīng)用前景已經(jīng)非常肯定。關(guān)鍵問題是在我們的生活、生產(chǎn)/工作的各個方面怎么用? 一個自然語言的模型,另一個是操作,尤其操作是很難的,一個動作如果描述出來有很多數(shù)據(jù)。操作發(fā)展的過程都存在魯棒性。
還有數(shù)據(jù)存儲、技能的存儲,例如一段視頻或照相需要上G、幾百兆,因此一個動作的存儲恐怕是非常巨大的,海量數(shù)據(jù)怎么樣存儲?后邊還有模型神經(jīng)網(wǎng)絡(luò)?這方面很重要。
有了數(shù)據(jù)以后,我們?nèi)说男袨橛辛?,那么怎么遷移到機器人里?還得有異構(gòu)吧?包括4足機器人遷移到兩足機器人,人的行為遷移到機器人里,所以數(shù)據(jù)遷移問題非常重要了。從大樣本的、小樣本的、特征的、模型的,不同的角度來遷移數(shù)據(jù)。
所以我們在面臨人形機器人方面大的戰(zhàn)略思路也非常清楚,但細節(jié)的問題還是很難在機械本體存在著一些瓶頸,在感知方面也需要創(chuàng)新,最重要的是結(jié)合AI技術(shù)怎么落地?數(shù)據(jù)、操作這些問題也給我們帶來很多挑戰(zhàn)。
這些問題如果能夠解決,相信就回到人形機器人的特種環(huán)境,最終可能在像工廠里,這樣幾大技術(shù)結(jié)合起特種環(huán)境,最終可能在像工廠里,這樣幾大技術(shù)結(jié)合起來,希望從業(yè)者能夠從不同角度去合作、交叉,解決共性技術(shù),最后遷移到產(chǎn)業(yè)的載體,使人形機器人的性能不斷提高,好使好用,就達到了我們的夢想。
注:
1:《人形機器人創(chuàng)新發(fā)展指導意見》中提到,到2025年人形機“大腦、小腦、肢體”等一批關(guān)鍵技術(shù)取得突破,確保核心部組件安全有效供給。
2:《人形機器人創(chuàng)新發(fā)展指導意見》中指出,到2027年人形機器人技術(shù)創(chuàng)新能力顯著提升,形成安全可靠的產(chǎn)業(yè)鏈供應(yīng)鏈體系,構(gòu)建具有國際競爭力的產(chǎn)業(yè)生態(tài),綜合實力達到世界先進水度融入實體經(jīng)濟,成為重要的經(jīng)濟增長新弓|擎。度融入實體經(jīng)濟,成為重要的經(jīng)濟增長新弓|擎。
3: 2024年3月13日,人形機器人大賽暨人形機器人百人會論壇在經(jīng)開區(qū)開幕,其中參賽的116個項目均是圍工信部關(guān)于人形機器人“揭榜掛帥”任務(wù)榜單的4大板塊19個方向展開。4大板塊為:核心基礎(chǔ),重點產(chǎn)品,公共支撐,典型應(yīng)用。19個方向分別傳感器,觸覺傳感器,旋轉(zhuǎn)型電驅(qū)動關(guān)節(jié),直線型電驅(qū)動關(guān)節(jié),傳感器,觸覺傳感器,旋轉(zhuǎn)型電驅(qū)動關(guān)節(jié),直線型電驅(qū)動關(guān)節(jié),機械臂與靈巧手,高算力主控制器,高能量密度電池,人形機器人端到端仿真開發(fā)平臺,人形機器人的標準、測試與評估,人形機器人的機器腦智能控制技術(shù),面向工業(yè)制造的典型應(yīng)用,面向災(zāi)害救援的典型應(yīng)用,面向危險作業(yè)的典型應(yīng)用,面向智慧物流的典型應(yīng)用,面向安防巡邏的典型應(yīng)用,面向服務(wù)娛樂的典型應(yīng)用。
(本文來源于《EEPW》202407)
評論