彌合人工視覺(jué)和觸覺(jué)之間的差距

使用創(chuàng)新手套的物體操縱從而獲得詳細(xì)壓力圖的大型數(shù)據(jù)庫(kù)。這些數(shù)據(jù)可能會(huì)導(dǎo)致機(jī)器人感應(yīng)的進(jìn)步以及我們對(duì)觸摸在操縱中的作用的理解。

人類感知能力的研究和復(fù)制，例如視覺(jué)，聽(tīng)覺(jué)和觸覺(jué)（基于觸摸）的感知，取決于合適數(shù)據(jù)的可用性。通常，數(shù)據(jù)集越大越豐富，模型越能模仿這些功能。人工視覺(jué)和語(yǔ)音系統(tǒng)的進(jìn)步依賴于強(qiáng)大的模型，稱為深度學(xué)習(xí)模型，并且由無(wú)處不在的數(shù)字圖像和語(yǔ)音音頻數(shù)據(jù)庫(kù)推動(dòng)。相比之下，觸覺(jué)傳感器的發(fā)展（將物理接觸刺激轉(zhuǎn)換為可測(cè)量信號(hào)的設(shè)備）的進(jìn)展受到限制，這主要是因?yàn)殡y以將電子設(shè)備集成到柔性材料中。在Nature的一篇論文中，Sundaram 等報(bào)告了他們使用低成本觸覺(jué)手套來(lái)解決這個(gè)問(wèn)題。

作者的手套由一個(gè)手形傳感套管組成，該傳感套管連接在針織手套的手掌側(cè)（圖1）。套筒包含力敏膜，在該膜上縫制64個(gè)導(dǎo)電線網(wǎng)絡(luò)：沿手套的一個(gè)方向32個(gè)，沿垂直方向32個(gè)。這些螺紋重疊的548個(gè)點(diǎn)中的每一個(gè)是壓力傳感器，因?yàn)楫?dāng)按壓這些點(diǎn)時(shí)，交錯(cuò)膜的電阻減小。手套的輸出可以作為32×32灰度像素陣列處理，其中每個(gè)像素的顏色表示從低（黑色）到高（白色）的施加壓力。這些壓力圖以每秒約七幀的速度記錄。

圖片來(lái)源：Subramanian Sundaram

圖1 |一種低成本的人造手套。Sundaram 等人描述了一種手套，其由附接到針織手套（黃色）的手形感測(cè)套筒（黑色）組成。套筒包含力敏膜，在該膜上縫制導(dǎo)電線（銀）網(wǎng)絡(luò)。這些螺紋重疊的點(diǎn)形成壓力傳感器。作者表明，在對(duì)象操作期間由這些傳感器收集的壓力圖使機(jī)器學(xué)習(xí)模型能夠?qū)W習(xí)識(shí)別單個(gè)對(duì)象，估算對(duì)象的權(quán)重并區(qū)分不同的手部姿勢(shì)。

在Sundaram及其同事的研究中，手套被用來(lái)記錄幾個(gè)壓力圖的視頻，這些視頻是在3-5個(gè)單獨(dú)操作26個(gè)日常物品的過(guò)程中進(jìn)行的。這個(gè)程序產(chǎn)生了一個(gè)詳細(xì)的壓力圖數(shù)據(jù)庫(kù)，據(jù)我所知，這是最大的數(shù)據(jù)集之一。作者發(fā)現(xiàn)，盡管制造成本僅為10美元左右，但手套具有柔韌性，堅(jiān)固性和對(duì)小壓力變化的敏感性。

為了證明手套捕獲手與每個(gè)物體的不同相互作用，Sundaram 等人。使用記錄的數(shù)據(jù)進(jìn)行自動(dòng)對(duì)象識(shí)別。他們展示了最初設(shè)計(jì)用于大規(guī)模圖像分類的最先進(jìn)的深度學(xué)習(xí)模型如何從聚集的壓力圖中學(xué)習(xí)，以便在盲目操作期間重新識(shí)別26個(gè)物體。大量的地圖及其空間分辨率對(duì)于成功識(shí)別物體至關(guān)重要。

接下來(lái)，作者使用手套拾取物體，并表明類似的深度學(xué)習(xí)模型可以估計(jì)未知物體的重量。在不同的手部姿勢(shì)下也佩戴手套，并且傳感器讀取的信號(hào)足夠詳細(xì)以區(qū)分每個(gè)姿勢(shì)。最后，Sundaram及其同事通過(guò)觀察信號(hào)相關(guān)性分析了在物體抓取過(guò)程中不同手套區(qū)域之間的協(xié)作。

除了提供人類掌握的充分研究原理的實(shí)驗(yàn)證據(jù)之外，這種數(shù)據(jù)驅(qū)動(dòng)的探索可以提高我們對(duì)物體操縱過(guò)程中觸摸功能的理解。深度學(xué)習(xí)模型極大地提高了我們對(duì)視覺(jué)對(duì)象識(shí)別的神經(jīng)機(jī)制的認(rèn)識(shí)。在這方面，類似的方法可以應(yīng)用于解釋大腦中的觸覺(jué)信息處理。

Sundaram及其同事在物體操縱過(guò)程中同時(shí)產(chǎn)生壓力圖和相應(yīng)的手部照片，產(chǎn)生大量同步的視覺(jué)和觸覺(jué)信息。多種形式的感官知覺(jué)的數(shù)據(jù)集是不常見(jiàn)的，并且代表了多感覺(jué)整合系統(tǒng)發(fā)展的基本步驟，以及對(duì)大腦如何形成對(duì)環(huán)境的連貫感知的理解。

這種柔性傳感裝置可具有各種應(yīng)用。例如，在醫(yī)療診斷，個(gè)人健康護(hù)理和運(yùn)動(dòng)中。但它也可能影響主動(dòng)（外部動(dòng)力）假肢和機(jī)器人手的發(fā)展。觸覺(jué)反饋在控制手部運(yùn)動(dòng)至關(guān)重要的作用和施加的力，使得缺乏這些信息使得它具有挑戰(zhàn)性的人類和機(jī)器人實(shí)現(xiàn)穩(wěn)定的抓取。此外，觸覺(jué)直接實(shí)現(xiàn)了針對(duì)物體識(shí)別和定位的觸覺(jué)探索。眾所周知，提供具有觸覺(jué)反饋的主動(dòng)假體可以有助于減輕幻肢痛（從肢體缺失的感覺(jué)），增加對(duì)假體的主人翁感并減少控制裝置所涉及的認(rèn)知壓力，實(shí)現(xiàn)更自然的行動(dòng)。

觸覺(jué)傳感器可以被并入包圍假肢的手套，或直接固定到機(jī)械部件。在這方面，Sundaram及其同事的設(shè)備技術(shù)可以適應(yīng)各種形狀，以便整合到機(jī)器人或假肢中。目前，主要限制是手套所需的密集傳感器覆蓋的缺點(diǎn)。一個(gè)缺點(diǎn)是廣泛的布線，盡管作者使用行和列的設(shè)計(jì)來(lái)保持這種布線合理的約束。另一方面是記錄壓力圖的速率，根據(jù)應(yīng)用可能需要更高（例如，如果觸覺(jué)反饋用于控制機(jī)器人手）。盡管如此，我認(rèn)為目前形式的手套或其改進(jìn)版本為機(jī)器人應(yīng)用提供了令人興奮的前景。

一種新興的機(jī)器學(xué)習(xí)模型已經(jīng)被證明在模仿人類學(xué)習(xí)從經(jīng)驗(yàn)中執(zhí)行行動(dòng)的能力方面是有效的，這一過(guò)程稱為強(qiáng)化學(xué)習(xí)。在過(guò)去的幾年里，研究人員在物體操縱過(guò)程中使用了特殊的手套來(lái)記錄手部姿勢(shì)數(shù)據(jù)，并將這些記錄的經(jīng)驗(yàn)輸入到一個(gè)模型中，該模型從這些數(shù)據(jù)中學(xué)習(xí)以產(chǎn)生成功的操作。這種將人類經(jīng)驗(yàn)轉(zhuǎn)化為機(jī)器人的方法可以從使用Sundaram及其同事的數(shù)據(jù)采集手套中受益。

最后，目前的研究為幾種計(jì)算機(jī)視覺(jué)模型重新用于觸覺(jué)信號(hào)處理鋪平了道路，允許應(yīng)用數(shù)十年的計(jì)算機(jī)視覺(jué)研究。這種方法提供了許多好處，例如消除了涉及模型選擇的各種問(wèn)題，這些問(wèn)題在早期階段減緩了深度學(xué)習(xí)的進(jìn)展。因此，Sundaram及其同事的手套可以導(dǎo)致觸覺(jué)傳感的快速發(fā)展。我相信手套的低成本將有助于復(fù)制和共享用于制造設(shè)備和數(shù)據(jù)采集設(shè)置的方法。這將促進(jìn)在觸覺(jué)傳感研究中使用大型和標(biāo)準(zhǔn)數(shù)據(jù)集，而這目前是計(jì)算機(jī)視覺(jué)的主要限制因素。