北京航空航天大學(xué)發(fā)布軟體機(jī)器人智能感知系統(tǒng)最新進(jìn)展

機(jī)器人瓦力、機(jī)器人大白，都有一雙令人記憶深刻的眼睛(●—●)——提到機(jī)器人感知環(huán)境，人們總能想到他們的眼睛。但是一個物品的材質(zhì)、粗糙度，是眼睛無法看到的信息。

如何區(qū)分一個以假亂真的蘋果模型和真實(shí)的蘋果？如何感知一張桌布的絲滑程度？當(dāng)視覺無法感知這些信息，我們便需要機(jī)器人通過觸覺來感知環(huán)境——開發(fā)一個能夠多模態(tài)感知和描述物體的機(jī)器人，對幫助機(jī)器人與環(huán)境交互有十分重要的作用。

在人類感知世界的過程中，皮膚的多模態(tài)感知為我們感受真實(shí)的物理世界提供了重要的工具。正如人們用手指觸摸未知的物品，當(dāng)具有多模態(tài)感知能力的機(jī)器人手摩擦未知物品時，機(jī)器人便能感知到物品的粗糙度；當(dāng)機(jī)器人手隔空拂過位置物品時，它甚至能像X射線和3D掃描儀那樣感知到物品的材質(zhì)和形狀。因此，能夠感知環(huán)境的多模態(tài)傳感與擅長交互的軟體機(jī)器人的結(jié)合必然能擦出火花。

最新一期《先進(jìn)功能材料》（Advanced Functional Materials）報道了北京航空航天大學(xué)仿生軟體機(jī)器人實(shí)驗(yàn)室在柔性傳感器與軟體機(jī)器人感知領(lǐng)域的最新研究。

該項工作開發(fā)了一套智能軟體機(jī)器人系統(tǒng)，該系統(tǒng)能夠?qū)ξ矬w的物理特性進(jìn)行感知、描述和分類，可協(xié)助機(jī)器人解釋物理世界、與物理世界進(jìn)行交互，為人工智能與世界的交互提供了可能的接口。

智能軟體機(jī)器人系統(tǒng)根據(jù)物體的物理特性對其進(jìn)行感知、描述和分類。

▍當(dāng)前研究面臨的問題

軟體機(jī)器人具有與生俱來的安全無損特性，在各種實(shí)際應(yīng)用中逐步展現(xiàn)出獨(dú)特的優(yōu)勢?；趬弘?、壓阻、電容、摩擦電、和巨磁彈性效應(yīng)開發(fā)的大量柔性傳感器，能夠賦予軟體機(jī)器人感知能力，但它們的單一識別模態(tài)無法滿足機(jī)器人全方面智能的要求。軟體機(jī)器人，特別是軟體機(jī)器人手，需要類似于人類手部的多模態(tài)信息感知和描述能力。為了擴(kuò)大軟體機(jī)器人的實(shí)際應(yīng)用范圍，開發(fā)高性能多模態(tài)柔性傳感器和集成機(jī)器學(xué)習(xí)的智能軟體機(jī)器人系統(tǒng)勢在必行。

迄今為止，人們已經(jīng)為開發(fā)多模態(tài)柔性傳感器做出了許多努力，然而在分離和解耦各種刺激類型的信號方面仍存在挑戰(zhàn)。雖然研究人員一直致力于開發(fā)具有多模態(tài)柔性傳感器的智能機(jī)器人以感知各種環(huán)境信息，然而，目前的智能機(jī)器手缺乏全面的多模態(tài)信息感知，尤其是對表面物理特性的描述能力。這些局限性為軟體機(jī)器手進(jìn)一步感知多模態(tài)環(huán)境信息和執(zhí)行精細(xì)操作任務(wù)造成了阻礙。

▍結(jié)構(gòu)簡單的雙模態(tài)自供電柔性傳感器

研究團(tuán)隊研發(fā)了一種基于摩擦納米發(fā)電機(jī)和巨磁效應(yīng)的雙模態(tài)自供電柔性傳感器（BSFS）。BSFS結(jié)構(gòu)簡單，由磁彈性導(dǎo)電薄膜和封裝的液態(tài)金屬線圈組成，可以在10毫秒的響應(yīng)時間內(nèi)精確檢測和解耦接觸和非接觸雙模態(tài)信號。

研究團(tuán)隊在硅膠材料中摻入微磁體和碳納米管，制備具有多孔結(jié)構(gòu)的磁彈性導(dǎo)電薄膜。隨后，使用磁化儀對磁彈性導(dǎo)電薄膜進(jìn)行磁化，使微磁體重新定向，然后印刷并用硅膠封裝液態(tài)線圈。所有組件都是由柔性材料制成的，因此BSFS整體結(jié)構(gòu)柔軟可變形。磁彈性導(dǎo)電薄膜還表現(xiàn)出顯著的磁彈性。

雙模態(tài)自供電柔性傳感器（BSFS）的結(jié)構(gòu)和工作機(jī)制。a）BSFS由兩層功能性柔性薄膜、磁彈性導(dǎo)電薄膜和帶封裝薄膜的液態(tài)金屬線圈組成。b）磁彈性導(dǎo)電薄膜橫截面的掃描電子顯微鏡圖像。c）BSFS在彎曲狀態(tài)下的照片。d）軟磁彈性導(dǎo)電薄膜的磁滯回線。初始狀態(tài)e）和壓縮狀態(tài)f）下軟磁彈性薄膜的磁通密度熱力圖。g）BSFS 的工作機(jī)制：(i) 由于摩擦電效應(yīng)，外部物體（淺藍(lán)色）在多次接觸后獲得負(fù)電荷。(ii) 當(dāng)外部物體接近磁彈性導(dǎo)電薄膜（金色層）時，由于靜電感應(yīng)效應(yīng)，薄膜與地面之間的電勢發(fā)生變化。自由電子在電勢的驅(qū)動下從磁彈性導(dǎo)電薄膜流向地面。(iii) 由于外部物體的接觸作用于磁彈性導(dǎo)電薄膜，BSFS開始變形，進(jìn)一步促進(jìn)了自由電子從磁彈性導(dǎo)電薄膜流向地面。同時，液態(tài)金屬線圈（灰色）根據(jù)電磁感應(yīng)原理產(chǎn)生電流。(iv) 當(dāng)外部物體與BSFS完成接觸時，自由電子停止運(yùn)動。(v) 當(dāng)外部壓力釋放時，自由電子從地面流回磁彈性導(dǎo)電薄膜。同時，液態(tài)金屬線圈中產(chǎn)生反向電流。(vi) 當(dāng)外部物體離開BSFS表面時，電子流回磁彈性導(dǎo)電薄膜。

研究團(tuán)隊搭建了測試平臺對傳感器的輸出信號進(jìn)行測試，證明了BSFS能夠?qū)⒎墙佑|信號與接觸信號解耦，并展示了BSFS感知壓力的能力。

此外，不同材料的外部物體具有不同的電子親和性，會影響摩擦電和靜電感應(yīng)，從而改變BSFS的無接觸輸出信號。而根據(jù)電磁感應(yīng)原理，接觸信號不會受到材料特性的影響。

快速的動態(tài)響應(yīng)能力使BSFS能夠檢測到更全面的信息，拓寬了其潛在的應(yīng)用場景。由于采用了主動感應(yīng)原理，非接觸信號的動態(tài)響應(yīng)時間可以忽略不計，而接觸信號的動態(tài)響應(yīng)時間則小于10毫秒。BSFS對非接觸信號和接觸信號分別表現(xiàn)出37.4和37.2 dB的超高信噪比，同時具有出色的耐用性和穩(wěn)定性。

a) 外部物體與BSFS之間的距離對非接觸（紅色）和接觸（藍(lán)色）輸出信號的影響。b) 非接觸和接觸信號與作用在 BSFS 上的壓力的函數(shù)關(guān)系。c) 不同材質(zhì)的物體的非接觸和接觸輸出信號。d) 快速接觸刺激下的 BSFS 輸出信號。e) d) 部分虛線方框所示區(qū)。f) 1000次重復(fù)刺激證明傳感器的穩(wěn)定性和耐用性。g)、h)部分顯示網(wǎng)球落到BSFS上時的圖像和輸出信號。左側(cè)發(fā)光二極管（LED）被編程為在接觸信號超過閾值時開啟；右側(cè)發(fā)光二極管在非接觸信號超過閾值時開啟。

▍能夠感知和描述物體的智能機(jī)器人系統(tǒng)

通過將BSFS集成到軟體手指中，研究團(tuán)隊開發(fā)了具有多模態(tài)感知能力的仿人軟體手，其中非接觸信號可感知有關(guān)物體形狀和材質(zhì)的信息，而接觸信號則可感知有關(guān)表面粗糙度的信息。這種抓手模仿了人手的靈巧性，能夠感知和操縱各種物體。研究團(tuán)隊將軟體手安裝在機(jī)械臂上，機(jī)械臂控制軟體手對物體進(jìn)行非接觸及接觸掃描，并收集BSFS的信號輸出。然后通過使用獲取的數(shù)據(jù)訓(xùn)練CNN模型，在線測試達(dá)到了99%的準(zhǔn)確率。

帶有BSFS的軟體機(jī)器手可以識別不同物體的材質(zhì)和粗糙度。a) 由氣動軟體手指和BSFS層組成的軟體機(jī)器手實(shí)物圖。b) 以BSFS為底面的軟體氣動手指結(jié)構(gòu)圖。c) 軟體氣動手指的工作原理圖。d) 感應(yīng)信號波形對應(yīng)5種不同材質(zhì)。e) 識別材質(zhì)的混淆矩陣，總準(zhǔn)確率達(dá)99%。g) 感應(yīng)信號波形對應(yīng)6種不同的粗糙度。h) 識別粗糙度的混淆矩陣，總準(zhǔn)確率為97%。

研究團(tuán)隊將CNN集成到智能軟體手系統(tǒng)中。該模型能夠精確地感知和描述物體的特征信息。此外，軟體手還能根據(jù)多模態(tài)傳感器的識別結(jié)果進(jìn)行變形和抓取。

通過對材質(zhì)、形狀和表面粗糙度方面各不相同的27種物品采集原始數(shù)據(jù)訓(xùn)練，該系統(tǒng)的識別準(zhǔn)確率達(dá)到了97%。此外研究團(tuán)隊還展示了智能軟體手系統(tǒng)在根據(jù)物體的物理特性感知、描述和分類物體方面的卓越能力。該系統(tǒng)可以通過屏幕顯示和揚(yáng)聲器傳輸?shù)淖匀徽Z言信息，簡明扼要地描述物體的特征，包括形狀、材質(zhì)和粗糙度。此外，該系統(tǒng)的交互界面還有助于用戶與智能系統(tǒng)之間進(jìn)行無縫的問答交流。例如，系統(tǒng)可以回答用戶有關(guān)物體屬性的詢問，并根據(jù)用戶的要求有效地將物體分類到特定的盒子中。

智能軟體手系統(tǒng) 智能軟體手系統(tǒng)用語言描述物體的物理特性（材質(zhì)、形狀和粗糙度）。a) 智能軟體手根據(jù)物體的物理特性對其進(jìn)行感知、描述和分類的流程圖。b) 27個不同材質(zhì)、形狀和粗糙度的物體的照片。c) 系統(tǒng)對540組數(shù)據(jù)識別結(jié)果的混淆矩陣，總準(zhǔn)確率為97%。d) 智能軟體手系統(tǒng)的交互過程。智能軟體手系統(tǒng)能夠簡明扼要地感知和描述物體的各種特征，并以一句話的形式將信息顯示在屏幕上并通過揚(yáng)聲器傳輸。利用交互式界面，智能系統(tǒng)可以有效地回答用戶的詢問，并根據(jù)鍵盤輸入的指令準(zhǔn)確地將物體分類到所要求的特定盒子中。

▍項目作者及團(tuán)隊信息

該論文第一作者為北京航空航天大學(xué)機(jī)械工程及自動化學(xué)院博士生研究生劉文博，朵有寧、陳星雨為共同第一作者，文力教授為論文唯一通訊作者。北京航空航天大學(xué)為論文第一/通訊單位、北航丁希侖教授團(tuán)隊，清華大學(xué)計算機(jī)科學(xué)與技術(shù)系孫富春教授團(tuán)隊、中國科學(xué)院北京納米能源與系統(tǒng)研究所張弛研究員團(tuán)隊為本研究的合作單位。本研究得到國家自然科學(xué)基金（Nos. 61822303, T2121003, 91848206）和國家重點(diǎn)研發(fā)計劃（Nos. 2020YFB1313003）的資助。