0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

人形機(jī)器人感知系統(tǒng)的特點(diǎn):多模態(tài)感知、高精度、實(shí)時(shí)性

Carol Li ? 來源:電子發(fā)燒友 ? 作者:李彎彎 ? 2024-07-30 01:05 ? 次閱讀

電子發(fā)燒友網(wǎng)報(bào)道(文/李彎彎)感知系統(tǒng)是人形機(jī)器人實(shí)現(xiàn)智能交互和自主行動(dòng)的關(guān)鍵組成部分。該系統(tǒng)通常包括多種傳感器算法,用于收集、處理和分析來自外部環(huán)境的信息。不同企業(yè)所采用的感知系統(tǒng)會有所不同,如優(yōu)必選、小米科技、宇樹科技等。

人形機(jī)器人感知系統(tǒng)包括哪些傳感器和算法

人形機(jī)器人感知系統(tǒng)包括各種傳感器,如視覺傳感器:通過模擬人類雙眼視覺系統(tǒng)的觀測原理,利用雙目相機(jī)、深度相機(jī)、激光雷達(dá)等獲取周圍環(huán)境的真實(shí)空間信息。例如,特斯拉在人形機(jī)器人上采用純視覺方案,使用三顆攝像頭實(shí)現(xiàn)低成本的環(huán)境感知。

位置傳感器:如IMU(慣性測量單元),用于測量機(jī)器人的運(yùn)動(dòng)及姿態(tài)信息。關(guān)節(jié)力控傳感器:包括一維壓力傳感器和一維力矩傳感器,用于測量關(guān)節(jié)的力和力矩信息。特斯拉在每個(gè)線性關(guān)節(jié)和旋轉(zhuǎn)關(guān)節(jié)上分別放置這些傳感器,以實(shí)現(xiàn)高精度的運(yùn)動(dòng)控制。

手腕和腳踝傳感器:采用六維力矩傳感器,提供手腕和腳踝的力和力矩信息。這些傳感器對于提高機(jī)器人的靈巧性和穩(wěn)定性至關(guān)重要。

觸覺傳感器:增加手部觸覺傳感器可以提高機(jī)器人手部的靈巧性能。特斯拉在手部使用了10個(gè)觸覺傳感器,而其他廠商也在探索基于視覺方案的觸覺傳感器。

算法方面,如視覺感知算法,包括雙目三維環(huán)境感知、3D點(diǎn)云配準(zhǔn)、位姿估計(jì)算法等,用于實(shí)現(xiàn)對外界環(huán)境的真實(shí)刻畫及數(shù)字模型的重建。

數(shù)據(jù)融合算法:將來自不同傳感器的數(shù)據(jù)進(jìn)行融合,提高感知系統(tǒng)的準(zhǔn)確性和魯棒性。

一般來說,人形機(jī)器人的感知系統(tǒng)會采用多模態(tài)感知,通過集成多種傳感器,實(shí)現(xiàn)視覺、位覺、觸覺等多模態(tài)感知,以獲取更全面的環(huán)境信息,另外還需要高精度和實(shí)時(shí)性,采用高精度傳感器和算法,可以確保感知系統(tǒng)能夠準(zhǔn)確感知外部環(huán)境的變化,感知系統(tǒng)需要具備高實(shí)時(shí)性,以確保機(jī)器人能夠及時(shí)響應(yīng)環(huán)境變化。

市面上的人形機(jī)器人都采用怎樣的感知技術(shù)

目前市面上已經(jīng)有多款人形機(jī)器人,如優(yōu)必選的人形機(jī)器人Walker X,它的感知系統(tǒng)主要由高性能伺服關(guān)節(jié)、多維力覺、多目立體視覺、全向聽覺、慣性及測距等全方位的感知技術(shù)構(gòu)成。

具體來看,Walker X擁有41個(gè)高性能伺服關(guān)節(jié),這些關(guān)節(jié)不僅具備高轉(zhuǎn)矩(4.5Nm-200Nm)和高轉(zhuǎn)速(30rpm-90rpm)的特點(diǎn),還通過精確的控制算法實(shí)現(xiàn)了快速而穩(wěn)定的運(yùn)動(dòng)。這些伺服關(guān)節(jié)是Walker X感知系統(tǒng)的重要組成部分,為機(jī)器人的四肢提供了靈活而有力的支持。

Walker X具備多維力覺感知能力,能夠?qū)崟r(shí)感知機(jī)器人四肢與外界環(huán)境的接觸力大小和方向。這種感知能力使得Walker X能夠在復(fù)雜環(huán)境中進(jìn)行柔順的物理交互,確保人機(jī)交互的安全性。

Walker X采用了多目立體視覺技術(shù),通過多個(gè)攝像頭捕捉周圍環(huán)境的三維信息。這種技術(shù)使得Walker X能夠?qū)崟r(shí)感知物體的位置、形狀和大小等信息,為機(jī)器人的導(dǎo)航、避障和物體識別等任務(wù)提供了重要的支持。

另外,Walker X的全向聽覺系統(tǒng)能夠?qū)崟r(shí)感知來自四面八方的聲音信息。通過先進(jìn)的音頻處理算法,Walker X能夠準(zhǔn)確識別語音指令、環(huán)境噪音等信息,并與用戶進(jìn)行自然的語言交互。

Walker X還配備了慣性和測距傳感器,用于實(shí)時(shí)感知自身的姿態(tài)、速度和位置等信息。這些傳感器能夠確保Walker X在行走、導(dǎo)航等任務(wù)中的穩(wěn)定性和準(zhǔn)確性。

小米科技的人形機(jī)器人CyberOne,其感知系統(tǒng)由多個(gè)傳感器和先進(jìn)的算法組成,使得機(jī)器人能夠?qū)崟r(shí)感知周圍環(huán)境,進(jìn)行自主運(yùn)動(dòng)及決策。該系統(tǒng)集成了多種感知技術(shù),包括視覺、聽覺、力覺等,確保機(jī)器人在各種復(fù)雜環(huán)境中都能做出準(zhǔn)確的反應(yīng)。

視覺感知方面,CyberOne搭載了自研的Mi-Sense深度視覺模組,結(jié)合AI算法,使其具有完整的三維空間感知能力。該視覺系統(tǒng)能夠?qū)φ鎸?shí)世界進(jìn)行三維虛擬重建,為機(jī)器人的導(dǎo)航、避障和物體識別等任務(wù)提供重要支持。同時(shí),通過深度學(xué)習(xí)計(jì)算機(jī)視覺技術(shù),CyberOne能夠?qū)崿F(xiàn)人物身份識別、手勢識別、表情識別等功能,從而與人類進(jìn)行更自然的交互。

聽覺感知方面,CyberOne具備全向聽覺系統(tǒng),能夠?qū)崟r(shí)感知來自四面八方的聲音信息。結(jié)合自研的MiAI環(huán)境語意識別引擎和MiAI語音情緒識別引擎,CyberOne能夠識別85種環(huán)境音和6大類45種人類情緒,實(shí)現(xiàn)更智能的交互體驗(yàn)。

力覺感知方面,CyberOne具備多維力覺感知能力,能夠?qū)崟r(shí)感知機(jī)器人四肢與外界環(huán)境的接觸力大小和方向,確保人機(jī)交互的安全性。CyberOne還配備了慣性和測距傳感器,用于實(shí)時(shí)感知自身的姿態(tài)、速度和位置等信息,確保機(jī)器人在行走、導(dǎo)航等任務(wù)中的穩(wěn)定性和準(zhǔn)確性。

宇樹科技人形機(jī)器人Unitree G1的感知系統(tǒng)是其實(shí)現(xiàn)智能化交互和高效任務(wù)執(zhí)行的核心部分。視覺感知方面,Unitree G1搭載了Intel RealSense D435攝像機(jī)和LIVOX-MID360 3D激光雷達(dá),這些先進(jìn)的視覺傳感器共同構(gòu)成了G1的全方位探測與感知能力。通過這些傳感器,G1能夠?qū)崿F(xiàn)360°的探測感知,極大地增強(qiáng)了其對周圍環(huán)境的理解和適應(yīng)性。

傳感器配置方面,Unitree G1配備Intel RealSense D435攝像機(jī),這是一款高性能的RGB-D攝像機(jī),能夠提供深度信息和彩色圖像,幫助G1識別物體和人員,以及構(gòu)建周圍環(huán)境的三維模型。Unitree G1還配備LIVOX-MID360 3D激光雷達(dá),這款激光雷達(dá)能夠掃描周圍的環(huán)境,為G1提供精確的距離測量和障礙物檢測,確保機(jī)器人在復(fù)雜環(huán)境中的安全導(dǎo)航。

寫在最后

目前而言,隨著人工智能技術(shù)的發(fā)展,人形機(jī)器人的感知系統(tǒng)將更加智能化,能夠更好地理解和響應(yīng)人類的需求。未來的感知系統(tǒng)也將更加模塊化,可以根據(jù)不同的應(yīng)用場景和需求進(jìn)行靈活配置和擴(kuò)展。同時(shí),隨著傳感器和算法的不斷發(fā)展,人形機(jī)器人感知系統(tǒng)的成本將逐漸降低,人形機(jī)器人也將會更加普及和實(shí)用。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報(bào)投訴
  • 傳感器
    +關(guān)注

    關(guān)注

    2560

    文章

    52155

    瀏覽量

    761417
  • 算法
    +關(guān)注

    關(guān)注

    23

    文章

    4681

    瀏覽量

    94315
  • 感知系統(tǒng)
    +關(guān)注

    關(guān)注

    1

    文章

    73

    瀏覽量

    16130
  • 人形機(jī)器人
    +關(guān)注

    關(guān)注

    4

    文章

    637

    瀏覽量

    17255
收藏 0人收藏

    評論

    相關(guān)推薦

    人形機(jī)器人感知革命!創(chuàng)新形態(tài)機(jī)器視覺傳感器涌現(xiàn)

    能力歸運(yùn)動(dòng)能力,人形機(jī)器人目前主要還是需要預(yù)設(shè)固定程序運(yùn)行,離真正要實(shí)現(xiàn)具身智能還很遠(yuǎn)。要實(shí)現(xiàn)具身智能,還需要AI、算力、感知的配合。最近速騰聚創(chuàng)、銳思智芯分別推出了創(chuàng)新形態(tài)的機(jī)器視覺
    的頭像 發(fā)表于 04-05 05:10 ?1960次閱讀
    <b class='flag-5'>人形</b><b class='flag-5'>機(jī)器人</b><b class='flag-5'>感知</b>革命!創(chuàng)新形態(tài)<b class='flag-5'>機(jī)器</b>視覺傳感器涌現(xiàn)

    人形機(jī)器人一樣去感知,這家國產(chǎn)芯片公司選擇從信號鏈入手

    電子發(fā)燒友網(wǎng)報(bào)道(文/吳子鵬)人形機(jī)器人感知系統(tǒng),作為其與物理世界交互的關(guān)鍵窗口,極大程度上決定了機(jī)器人的智能化水平與應(yīng)用價(jià)值。借助
    的頭像 發(fā)表于 04-10 00:09 ?1798次閱讀
    讓<b class='flag-5'>人形</b><b class='flag-5'>機(jī)器人</b>像<b class='flag-5'>人</b>一樣去<b class='flag-5'>感知</b>,這家國產(chǎn)芯片公司選擇從信號鏈入手

    EtherCAT科普系列(4):EtherCAT技術(shù)在人形機(jī)器人靈巧手領(lǐng)域應(yīng)用

    人形機(jī)器人又稱仿生機(jī)器人,是一種模仿人類外形的機(jī)器人,除具備人形和模擬人類動(dòng)作外還兼具智慧化和可交互
    的頭像 發(fā)表于 04-02 16:56 ?525次閱讀
    EtherCAT科普系列(4):EtherCAT技術(shù)在<b class='flag-5'>人形</b><b class='flag-5'>機(jī)器人</b>靈巧手領(lǐng)域應(yīng)用

    從控制到感知,一文讀懂納芯微的人形機(jī)器人布局(上篇)

    電子發(fā)燒友網(wǎng)報(bào)道(文 / 吳子鵬)人形機(jī)器人的控制鏈和感知鏈,構(gòu)成了其實(shí)現(xiàn)智能化操作與環(huán)境交互的核心技術(shù)體系。憑借控制鏈與感知鏈的深度協(xié)同,人形
    的頭像 發(fā)表于 03-31 01:21 ?892次閱讀
    從控制到<b class='flag-5'>感知</b>,一文讀懂納芯微的<b class='flag-5'>人形</b><b class='flag-5'>機(jī)器人</b>布局(上篇)

    通關(guān)人形機(jī)器人控制鏈,這家國產(chǎn)RISC-V芯片公司做到了

    電子發(fā)燒友網(wǎng)報(bào)道(文/吳子鵬)近來,人形機(jī)器人產(chǎn)業(yè)爆火,引發(fā)廣泛關(guān)注。從系統(tǒng)構(gòu)成來看,人形機(jī)器人需多種專用芯片協(xié)同工作,以實(shí)現(xiàn)復(fù)雜運(yùn)動(dòng)控制、
    的頭像 發(fā)表于 03-10 11:26 ?1075次閱讀
    通關(guān)<b class='flag-5'>人形</b><b class='flag-5'>機(jī)器人</b>控制鏈,這家國產(chǎn)RISC-V芯片公司做到了

    海伯森技術(shù)推動(dòng)機(jī)器人感知能力邁向新高度

    的“感知神經(jīng)元”,公司自主研發(fā)的六維力扭矩傳感器已批量應(yīng)用于20余家頭部機(jī)器人企業(yè),為人形機(jī)器人、協(xié)作機(jī)器人及高端工業(yè)場景提供克級力控
    的頭像 發(fā)表于 03-10 11:07 ?384次閱讀

    伺服電動(dòng)缸在人形機(jī)器人中的應(yīng)用

    降低了維護(hù)和保養(yǎng)的成本。三、適應(yīng)復(fù)雜場景人形機(jī)器人的內(nèi)部結(jié)構(gòu)十分復(fù)雜,關(guān)節(jié)數(shù)量多達(dá)25-50個(gè),且零部件微型化、類型、用量大。伺服電動(dòng)缸的微型化和高精度特性使其能夠適應(yīng)這種
    發(fā)表于 02-06 09:04

    40個(gè)激光雷達(dá)!蘋果布局機(jī)器人感知系統(tǒng),讓碰撞降低63.7%

    蘋果入局人形機(jī)器人, 先做感知系統(tǒng) !還一次用了 40個(gè)激光雷達(dá) ! 關(guān)于蘋果涉足人形
    的頭像 發(fā)表于 01-22 17:58 ?495次閱讀
    40個(gè)激光雷達(dá)!蘋果布局<b class='flag-5'>機(jī)器人</b><b class='flag-5'>感知</b><b class='flag-5'>系統(tǒng)</b>,讓碰撞降低63.7%

    【「具身智能機(jī)器人系統(tǒng)」閱讀體驗(yàn)】2.具身智能機(jī)器人的基礎(chǔ)模塊

    具身智能機(jī)器人的基礎(chǔ)模塊,這個(gè)是本書的第二部分內(nèi)容,主要分為四個(gè)部分:機(jī)器人計(jì)算系統(tǒng),自主機(jī)器人感知
    發(fā)表于 01-04 19:22

    【「具身智能機(jī)器人系統(tǒng)」閱讀體驗(yàn)】2.具身智能機(jī)器人大模型

    。 模態(tài)融合的創(chuàng)新與突破 機(jī)器人控制技術(shù)的另一個(gè)重要突破在于模態(tài)大模型的應(yīng)用。相比于僅通過文字進(jìn)行人機(jī)交互的傳統(tǒng)方法,現(xiàn)代
    發(fā)表于 12-29 23:04

    【「具身智能機(jī)器人系統(tǒng)」閱讀體驗(yàn)】+數(shù)據(jù)在具身人工智能中的價(jià)值

    的 PneuAct等研究項(xiàng)目中即可見到。此外,該管道涉及從模態(tài)機(jī)器人傳感器來收集數(shù)據(jù),以捕獲機(jī)器人對其物理環(huán)境的感知。 其次,鑒于獲取大量
    發(fā)表于 12-24 00:33

    【「具身智能機(jī)器人系統(tǒng)」閱讀體驗(yàn)】+初品的體驗(yàn)

    提高機(jī)器人的自適應(yīng)和自主,賦能機(jī)器人在多種場景中的應(yīng)用。例如在家庭自動(dòng)化領(lǐng)域,具身智能機(jī)器人能夠感知
    發(fā)表于 12-20 19:17

    《具身智能機(jī)器人系統(tǒng)》第1-6章閱讀心得之具身智能機(jī)器人系統(tǒng)背景知識與基礎(chǔ)模塊

    物理交互納入智能系統(tǒng)的核心要素。 第3章是探討機(jī)器人計(jì)算系統(tǒng)。這一章節(jié)詳細(xì)闡述了自主機(jī)器人的軟硬件架構(gòu)。計(jì)算系統(tǒng)需要滿足
    發(fā)表于 12-19 22:26

    2024世界機(jī)器人大會落幕,人形機(jī)器人具身智能如何迸發(fā)更強(qiáng)感知力?

    從報(bào)告可知,建立人形機(jī)器人模態(tài)大模型的關(guān)鍵在于感知的融合。通過整合多種感知數(shù)據(jù),生成豐富的
    的頭像 發(fā)表于 08-31 00:00 ?1757次閱讀
    2024世界<b class='flag-5'>機(jī)器人</b>大會落幕,<b class='flag-5'>人形</b><b class='flag-5'>機(jī)器人</b>具身智能如何迸發(fā)更強(qiáng)<b class='flag-5'>感知</b>力?

    人形機(jī)器人感知變化的未來

    電子皮膚作為一種新型的仿生柔性觸覺傳感系統(tǒng),在人形機(jī)器人感知過程中扮演著至關(guān)重要的角色。盡管國內(nèi)部分廠商已經(jīng)開始布局柔性觸覺傳感器的生產(chǎn),但多數(shù)仍處于早期階段,多功能柔性觸覺傳感技術(shù)
    的頭像 發(fā)表于 08-05 00:00 ?1251次閱讀
    <b class='flag-5'>人形</b><b class='flag-5'>機(jī)器人</b><b class='flag-5'>感知</b>變化的未來

    電子發(fā)燒友

    中國電子工程師最喜歡的網(wǎng)站

    • 2931785位工程師會員交流學(xué)習(xí)
    • 獲取您個(gè)性化的科技前沿技術(shù)信息
    • 參加活動(dòng)獲取豐厚的禮品