AR可視化可實(shí)現(xiàn)人類與機(jī)器人之間產(chǎn)生互動(dòng)

現(xiàn)如今，機(jī)器人被越來越多地應(yīng)用于制造業(yè)和倉儲(chǔ)物流領(lǐng)域。但是，在這些工作環(huán)境中，工作人員與機(jī)器人的活動(dòng)空間通常被隔離開。因此，如何使人類與機(jī)器人之間產(chǎn)生互動(dòng)尤為重要。

人類與機(jī)器人的交流方式不同。具體來說，人類習(xí)慣使用語言和手勢(shì)進(jìn)行交流。而機(jī)器人則以數(shù)字形式交換信息，如，文本命令。這有可能導(dǎo)致人類與機(jī)器人之間的交流產(chǎn)生偏差。

增強(qiáng)現(xiàn)實(shí)（AR，Augmented Reality）技術(shù)能夠?qū)C(jī)器人的行為可視化，從而彌補(bǔ)機(jī)器人與人類之間的溝通障礙。不僅如此，AR 還提供了高帶寬和模糊性低的可替代通信機(jī)制。

目前，基于 AR 的可視化系統(tǒng)都是由人工設(shè)計(jì)的，會(huì)出現(xiàn)可視化信息太多或太少的情況。當(dāng)可視化信息太少時(shí)，用戶會(huì)發(fā)現(xiàn) AR 界面無法發(fā)揮作用；當(dāng)可視化信息過多時(shí)，對(duì)用戶來說，處理相應(yīng)的信息便相對(duì)困難。

?

為了使人類與多機(jī)器人之間能夠產(chǎn)生更好的交互體驗(yàn)，研究者用模仿學(xué)習(xí)方法實(shí)現(xiàn)了 AR 的智能化，開發(fā)出名為“模仿學(xué)習(xí)式 AR 可視化”（VARIL，Visualizations for Augmented Reality using Imitation Learning）技術(shù)框架。

美國(guó)紐約州立大學(xué)賓漢姆頓分校計(jì)算機(jī)科學(xué)系在讀博士生基山·堅(jiān)登（Kishan Chandan）、本科生杰克·艾伯森（Jack Albertson）、張世琦教授為論文作者。

VARIL 技術(shù)輔助人與機(jī)器人之間進(jìn)行有效互動(dòng)

VARIL 技術(shù)能夠輔助人與機(jī)器人之間進(jìn)行有效的互動(dòng)。它通過分析機(jī)器人和人的狀態(tài)決策哪些信息、什么時(shí)間、以什么形式被可視化。

圖 | VARIL 框架（來源：CoRL）

具體來講，VARIL 技術(shù)可以用 AR 接口同時(shí)跟蹤多個(gè)機(jī)器人狀態(tài)、動(dòng)態(tài)選擇 AR 可視化動(dòng)作，包括 AR 幫助搬運(yùn)工人感知機(jī)器人的位置和規(guī)劃運(yùn)動(dòng)軌跡等。

在 VARIL 中有兩個(gè)不同的人類實(shí)體，一個(gè)是人類工作者的角色，另一個(gè)是人類專家。假設(shè)一組機(jī)器人與一個(gè)人類在同一空間工作。這組機(jī)器人不斷使用 AR 接口共享狀態(tài)和計(jì)劃。與此同時(shí)，人類能夠使用該 AR 接口跟蹤機(jī)器人團(tuán)隊(duì)的狀態(tài)。

人類工人與機(jī)器人團(tuán)隊(duì)合作，同時(shí)完成任務(wù)。在進(jìn)行 VARIL 技術(shù)演示的過程中，人類專家參與進(jìn)來，負(fù)責(zé)指示在特定時(shí)間內(nèi)可視化（或不可視化）哪些信息。

一旦生成新的策略，AR 智能設(shè)備就會(huì)更新可視化信息，模仿人類專家演示者建議的操作。值得注意的是，專家只在策略學(xué)習(xí)階段參與進(jìn)來，一旦智能設(shè)備學(xué)習(xí)到相關(guān)的策略，就不再需要人類專家。

在不同的 AR 可視化策略下完成任務(wù)

論文中提到，為探究虛擬人與機(jī)器人在不同的 AR 可視化策略下完成任務(wù)的情況，研究人員創(chuàng)建出用于模擬倉庫環(huán)境的演示平臺(tái)（具有內(nèi)置實(shí)驗(yàn)室）。平臺(tái)不僅便于人類與機(jī)器人相互協(xié)作，而且可以對(duì) VARIL 框架進(jìn)行經(jīng)驗(yàn)評(píng)估。

圖 | 虛擬人與機(jī)器人在不同的 AR 可視化策略下完成任務(wù)（來源：CoRL）

在虛擬的倉庫環(huán)境中，研究人員設(shè)定 12 個(gè)機(jī)器人與 1 個(gè)虛擬人類合作完成系統(tǒng)交付的任務(wù)。機(jī)器人的任務(wù)是將物體運(yùn)送到不同的地點(diǎn)（卸貨站），人類幫助等待在卸貨站的機(jī)器人卸貨。

圖 | 兩種不同規(guī)模的倉庫環(huán)境（來源：CoRL）

在沒有 AR 可視化的情況下，人類工人無法獲取機(jī)器人的位置以及了解機(jī)器人計(jì)劃做什么；在 AR 完全可視化的情況下，虛擬人類可能會(huì)被視覺指標(biāo)淹沒；在模仿學(xué)習(xí) AR 可視化（VARIL）的情況下，AR 軟件機(jī)器人使用學(xué)習(xí)到的策略，根據(jù)人類和機(jī)器人的交互動(dòng)態(tài)確定可視化策略。

完成任務(wù)后，研究人員收集了 6000 個(gè)“狀態(tài)-動(dòng)作”成對(duì)數(shù)據(jù)集。他們還用迭代模仿學(xué)習(xí)算法在該數(shù)據(jù)集中訓(xùn)練 AR 智能化設(shè)備。

然后，他們將兩種可視化策略進(jìn)行了比較。結(jié)果表明，隨著模仿學(xué)習(xí)迭代次數(shù)的增加，行動(dòng)與策略之間的沖突急劇減少。此外，初始策略與訓(xùn)練后獲得的策略相比，后者可減少機(jī)器人的等待時(shí)間。

之后，研究者還用 25 個(gè)真實(shí)參與者評(píng)估了 VARIL 是如何影響用戶體驗(yàn)的。在倉庫中，每個(gè)參與者都被要求操作一個(gè)虛擬人，并填寫一份主觀評(píng)價(jià)調(diào)查問卷。

圖 | ARROCH 和 CRMIAR 兩種可視化系統(tǒng)（來源：CoRL）

真實(shí)人類參與者的實(shí)驗(yàn)結(jié)果表明，與文獻(xiàn)中的兩種可視化系統(tǒng)（對(duì)照組）生成的基線相比，VARIL 技術(shù)能夠顯著提高人類與機(jī)器人交互效率，同時(shí)減少人類用戶的分心水平。

除了定性評(píng)估外，研究者還比較了人類學(xué)習(xí)期間的任務(wù)完成時(shí)間。結(jié)果顯示，VARIL 技術(shù)能夠使人類與多機(jī)器人協(xié)作團(tuán)隊(duì)的任務(wù)完成效率顯著提升，使機(jī)器人等待卸貨的時(shí)間降低了 15%。

雖然研究人員使用機(jī)器人演示 AR 人機(jī)交互系統(tǒng)，但是在真實(shí)世界中構(gòu)建和評(píng)估這種系統(tǒng)十分困難。

因?yàn)?，人類工作人員需要在投遞站之間行走。在投遞站中，每個(gè)導(dǎo)航操作都可能需要很長(zhǎng)時(shí)間。更復(fù)雜的是，機(jī)器人需要實(shí)時(shí)合作來完成任務(wù)，如果其中一個(gè)機(jī)器人被困在動(dòng)態(tài)障礙上，可能會(huì)提前終止試驗(yàn)。

開源模擬器可以模擬倉庫環(huán)境，避免出現(xiàn)上述問題。盡管這樣的模擬器并不能克服人機(jī)協(xié)作的所有挑戰(zhàn)，但它能夠令 AR 研究人員專注于設(shè)計(jì)算法，而不是繁瑣的軟件開發(fā)工作。

未來，研究團(tuán)隊(duì)還將通過問卷調(diào)查的方式進(jìn)一步評(píng)估 VARIL 的用戶體驗(yàn)，并優(yōu)化 VR 人機(jī)協(xié)作系統(tǒng)。

參考資料

Kishan Chandan，Jack Albertson, Shiqi Zhang，CoRL，（2022）.https://kishanchandan.github.io/varil.html

編輯：黃飛

?