手勢(shì)識(shí)別+柔性手臂，Imagination助力DoubleQ打造人形機(jī)器人靈巧手技術(shù)方案

隨著人工智能（AI）技術(shù)的不斷發(fā)展，機(jī)器人領(lǐng)域迎來了前所未有的技術(shù)變革。尤其是由AI 技術(shù)賦能的人形機(jī)器人，在人機(jī)交互、服務(wù)行業(yè)、醫(yī)療保健等領(lǐng)域的應(yīng)用前景日益受到業(yè)界的關(guān)注。不久前，Imaginaiton重要的合作伙伴 DoubleQ 生態(tài)對(duì)外發(fā)布了最新的 AI 機(jī)器人技術(shù)：仿生手掌部位的手勢(shì)識(shí)別和柔性手臂原型演示。

仿生手掌具有多個(gè)關(guān)節(jié)，能單獨(dú)對(duì)每個(gè)手指進(jìn)行控制，手腕處擁有一個(gè)轉(zhuǎn)動(dòng)自由度，可以進(jìn)行手掌的翻轉(zhuǎn)。手掌能夠能夠?qū)崿F(xiàn)抓握等基本動(dòng)作；柔性手臂具有多個(gè)自由度，可模仿人的手臂動(dòng)作?！凹珀P(guān)節(jié)”處能夠進(jìn)行向前和向側(cè)面抬升的動(dòng)作，“小臂”能夠圍繞“肘關(guān)節(jié)”進(jìn)行360 度方向的伸展和收縮。此演示依托 MediaPipe 實(shí)現(xiàn)了手勢(shì)識(shí)別，并利用 OpenCV 完成實(shí)時(shí)手勢(shì)捕捉，并與機(jī)械手聯(lián)動(dòng)，通過傳輸數(shù)據(jù)給 MCU 開發(fā)板，實(shí)現(xiàn)電機(jī)的驅(qū)動(dòng)和控制，最后呈現(xiàn)出機(jī)械手同步人手手勢(shì)的效果。

該機(jī)器手臂使用了亮衡AI 核心板 B100_A，其搭載了紫光展銳的T710 芯片

該機(jī)器手臂使用了亮衡AI 核心板 B100_A，其搭載了 紫光展銳的T710 芯片。該芯片采用了創(chuàng)新的異構(gòu)雙核架構(gòu)，集成了Imagination 的GPU 和神經(jīng)網(wǎng)絡(luò)處理器 NNA 技術(shù)。得益于 T710 芯片的優(yōu)異能效、商用成熟度以及Imagination 的先進(jìn) AI 技術(shù)，B100_A具備出色的圖像處理能力和實(shí)時(shí)響應(yīng)性，從而確保機(jī)器人在各種場(chǎng)景下都能流暢地運(yùn)作。

在我們采訪DoubleQ 時(shí)，CEO梁煒表示：“在人形機(jī)器人技術(shù)領(lǐng)域，我們深知每一步創(chuàng)新的重要性。而此次，得益于與Imagination Technologies的緊密合作及其卓越的IP技術(shù)，我們的AI核心板B100_A為DoubleQ的機(jī)器人生態(tài)帶來了質(zhì)的飛躍?！?/p>

此外，Imagination屢獲殊榮的 NNA IP 具有高度可擴(kuò)展性，專門設(shè)計(jì)用于加速邊緣端機(jī)器學(xué)習(xí)工作負(fù)載。經(jīng)過硅驗(yàn)證的該技術(shù)已經(jīng)進(jìn)入汽車、移動(dòng)、AIoT和數(shù)據(jù)中心/桌面等多個(gè)市場(chǎng)。擁有多核架構(gòu)的IMG 4 系列NNA 具有超高的單位面積性能，并且通過多核計(jì)算可以將最高性能擴(kuò)展到500TOPS及以上。該架構(gòu)上的亮點(diǎn)包括 ImaginationTensor Tiling，可以減少帶寬的需求，配套的驅(qū)動(dòng)和軟件工具也十分完善。

值得一提的是，DoubleQ生態(tài)一直是 Imagination 的重要合作伙伴，自 2019 年起雙方便展開了深度合作。為了推動(dòng) AI 技術(shù)的應(yīng)用和落地，Imagination 作為協(xié)辦方與 DoubleQ 生態(tài)、紫光展銳、桂林電子科技大學(xué)等伙伴連續(xù)舉辦了三屆機(jī)器人開發(fā)者大賽，培養(yǎng)了不少優(yōu)秀的AI 開發(fā)者。

在此次公布的仿生手掌部位的手勢(shì)識(shí)別和柔性手臂原型演示中，我們也看到了Imagination IP 技術(shù)的應(yīng)用和落地，希望未來Imagination 可以助力更多開發(fā)者打造“更聰明”的機(jī)器人方案。