利用計(jì)算機(jī)視覺、深度強(qiáng)化學(xué)習(xí)和Unity 3D游戲引擎開發(fā)一款自主收集垃圾的機(jī)器人

喜歡科幻的小伙伴肯定看過《機(jī)器人總動(dòng)員》，男主角“瓦力”是一名地球廢品分裝員，每天在已經(jīng)成為了“垃圾場”的地球兢兢業(yè)業(yè)的收拾人類留下的“爛攤子”。

瓦力是名副其實(shí)的智能機(jī)器人，除了動(dòng)作靈活之外，還擁有意識和情感。要不然也不會泡上了有著雞蛋外形的Eva。

但是，畢竟那是發(fā)生在2805年的事情。那時(shí)候人類都已經(jīng)可以開啟宇宙之旅了，設(shè)計(jì)個(gè)智能機(jī)器人還不是分分鐘的事情。

在2019年，造不出擁有情感的機(jī)器人，但是用AI模型訓(xùn)練出收拾垃圾的機(jī)器人，還是可以的。

一位名叫Damian Bogunowicz的慕尼黑工業(yè)大學(xué)碩士生，和他的小伙伴一起利用計(jì)算機(jī)視覺、深度強(qiáng)化學(xué)習(xí)和Unity 3D游戲引擎開發(fā)了一款自主收集垃圾的機(jī)器人。

據(jù)Damian的博客介紹，他的這個(gè)想法最初來自慕尼黑工業(yè)大學(xué)博士研究會。這群參會的“高端玩家”都很愛喝啤酒，也是慕尼黑啤酒節(jié)的常客。但是，看到每年慕尼黑啤酒節(jié)狂歡過后一片狼藉，他們陷入了深思........

通常，這些垃圾都是清潔工人收拾，會耗費(fèi)大量的人力、物力。

Damian由此想到，是否能開發(fā)出一款智能機(jī)器人，全天候、高效率的幫助這些清潔工人，那么他們的工作效率就會成幾何倍數(shù)增長。

環(huán)境和目標(biāo)設(shè)置

說干就干！

他們的第一步是使用Unity 3D游戲引擎模擬機(jī)器人，此外，還使用Unity Machine Learning Agents Toolkit（ML-Agents）插件，使游戲場景成為訓(xùn)練智能體的環(huán)境。

在這個(gè)實(shí)驗(yàn)中，他們將機(jī)器人的目標(biāo)設(shè)置為探索環(huán)境并學(xué)習(xí)正確的策略。然后設(shè)定一系列的獎(jiǎng)勵(lì)和懲罰。

主要來說，機(jī)器人有兩個(gè)目標(biāo)：

接近并收集垃圾，例如面包渣、塑料袋以及香腸等食物殘?jiān)?/p>

不要與桌子和椅子發(fā)生碰撞，不要回收木托盤等物品因?yàn)檫@不屬于房間內(nèi)的垃圾。

在模擬環(huán)境中，機(jī)器人的形狀是正方體，主要有三個(gè)動(dòng)作：

平移運(yùn)動(dòng)（向前、向后以及保持靜止）

轉(zhuǎn)向運(yùn)動(dòng)（左轉(zhuǎn)、右轉(zhuǎn)）

抓取狀態(tài)。

前兩個(gè)動(dòng)作非常簡單，抓取狀態(tài)需要設(shè)計(jì)?？偟膩碚f，每次機(jī)器人決定收集一個(gè)物體時(shí)候需要滿足下面兩個(gè)條件：

1.物體必須靠近機(jī)器人的前部（限制在具有綠色邊緣的體積內(nèi)）

2.機(jī)器人必須決定激活“抓取器”。當(dāng)抓取狀態(tài)被激活時(shí)，機(jī)器人的顏色從白色變?yōu)榧t色。

懲罰和獎(jiǎng)勵(lì)

機(jī)器人可以通過與環(huán)境的交互和反饋的信號來學(xué)習(xí)正確的策略。對此系統(tǒng)來說，懲罰值在-1~0之間浮動(dòng)，獎(jiǎng)勵(lì)值在0~1之間浮動(dòng)。與其他強(qiáng)化學(xué)習(xí)不同的是，要在訓(xùn)練數(shù)據(jù)的時(shí)候迅速獲得最好的策略，次要目標(biāo)給予較小的獎(jiǎng)勵(lì)值。當(dāng)學(xué)習(xí)復(fù)雜任務(wù)時(shí)，從簡單任務(wù)入手，逐漸增加任務(wù)難度。

這些都可以在Unity ML-Agents中輕松能夠?qū)崿F(xiàn)，具體來說將任務(wù)分為兩個(gè)子目標(biāo)，在環(huán)境中搜索垃圾、判斷何時(shí)激活抓取狀態(tài)。

算法訓(xùn)練與模擬

機(jī)器人最初不太能分清楚要將哪種物品歸為垃圾，后來，通過網(wǎng)絡(luò)將RBG圖像映射到語義分割圖，能夠有效獲得此信息。用數(shù)據(jù)通過Semantic Segmentation Suite訓(xùn)練SegNet，易于調(diào)試和修改，從而節(jié)省算力。

另外，語義分割信息不是來自外部神經(jīng)網(wǎng)絡(luò)。它是使用Unity中的著色器生成的，使用標(biāo)簽對對象進(jìn)行分段。這意味著智能體在訓(xùn)練期間可以快速接收有關(guān)對象類的可靠，無噪聲的信息。

機(jī)器人認(rèn)知的核心是“大腦”，這是決定智能體如何行動(dòng)的部分。鑒于當(dāng)前的環(huán)境狀況和要實(shí)現(xiàn)的目標(biāo)，采用以下兩種方法：

1.近端策略優(yōu)化，它通過與環(huán)境的交互作用在采樣數(shù)據(jù)之間進(jìn)行交互，并利用隨機(jī)梯度上升優(yōu)化目標(biāo)函數(shù)。

2.讓系統(tǒng)觀察正確的行為并進(jìn)行模仿。這可以視為監(jiān)督學(xué)習(xí)，研究人員先“玩游戲”一段時(shí)間，以便智能體能夠?qū)W習(xí)正確的策略。

另外，利用Unity ML-Agents提供的另外兩個(gè)解決方案：

1.使用循環(huán)神經(jīng)網(wǎng)絡(luò)的內(nèi)存增強(qiáng)代理，這可以允許智能體不僅可以對當(dāng)前的輸入進(jìn)行操作，還可以“記住”最后的輸入并在做出決策時(shí)將此附加信息包含在其推理決策中。

2.利用好奇心，賦予智能體一種好奇心，每當(dāng)它發(fā)現(xiàn)與其當(dāng)前知識不同的東西時(shí)，它會給予機(jī)器人內(nèi)部獎(jiǎng)勵(lì)。這鼓勵(lì)智能體探索世界時(shí)，更加“冒險(xiǎn)”。

到目前為止，智能體已經(jīng)設(shè)法自己弄清楚了這兩項(xiàng)任務(wù)。但只是為了好玩（或者為了加快訓(xùn)練過程），可以“硬編碼”第二個(gè)目標(biāo) 。關(guān)于是否激活抓取機(jī)制設(shè)定一個(gè)簡單的函數(shù)，它考慮了兩個(gè)因素：我們面前的對象類（由語義分割圖定義）；物體與機(jī)器人的距離（由深度圖提供）。

此功能可以通過以下方式進(jìn)行硬編碼：從當(dāng)前深度圖中，僅濾除屬于“可收集”類的那些。另外檢查像素最大值是否大于某個(gè)設(shè)定閾值。如果是，可收集物體足夠接近智能體，完成收集。

啟發(fā)式背后的決策

未來的大規(guī)模應(yīng)用

以上模擬在虛擬環(huán)境中有較好的效果，但是如果想要大規(guī)模的應(yīng)用到商業(yè)，還需一系列的改進(jìn)。

Damian也給出了一些自己的想法：

1.安裝一系列用于垃圾回收的硬件，在機(jī)械設(shè)計(jì)上應(yīng)該考慮到足夠的細(xì)節(jié)，例如安裝一個(gè)“鏟子”，可以無縫地將垃圾推入機(jī)器人的“腹部”，又或者在容器滿了之后，如何處理垃圾。

2.將該算法部署在一臺能夠處理實(shí)時(shí)語義分割的機(jī)器上，語義分割模型的推理時(shí)間太慢，一般的筆記本電腦無法進(jìn)行實(shí)時(shí)仿真。

3.用RealSense攝像機(jī)將信息從仿真平臺傳遞給真實(shí)的機(jī)器人，這一部分工作是將在物理環(huán)境中部署機(jī)器人，這意味著通過在現(xiàn)實(shí)世界中運(yùn)行機(jī)器人來微調(diào)算法，目前，強(qiáng)化學(xué)習(xí)在機(jī)器人技術(shù)中的應(yīng)用還處于實(shí)驗(yàn)階段。

“撿垃圾”機(jī)器人的其他妙用

收拾東西這件事情，可不僅僅是“慕尼黑啤酒節(jié)“才需要，應(yīng)用場景還相當(dāng)多，比如，周末大爬梯后的家。

其實(shí)，在幫你疊衣服，幫你把散落在地上的物品規(guī)整起來方面，智能機(jī)器人也已經(jīng)可以做的很成熟。

在CEATEC JAPAN 2018會展上，由豐田汽車有限公司開發(fā)的“生活支援機(jī)器人HSR（Human Support Robot）”，展示了“全自動(dòng)整理機(jī)器人系統(tǒng)”。

其利用深度學(xué)習(xí)技術(shù)開發(fā)的畫面識別引擎，哪怕數(shù)百種物品散亂在房間各處，引擎也能夠識別出物品的位置和種類?；谠撟R別引擎，人們可以規(guī)劃什么物體應(yīng)該怎么去抓取以及如何整理等等。

該圖像識別引擎是通過采用了深度學(xué)習(xí)框架Chainer，ChainerMN以及ChainerCV的CNN（卷積神經(jīng)網(wǎng)絡(luò)）來實(shí)現(xiàn)的。

這是安裝在機(jī)器人上的攝像頭的視點(diǎn)圖像以及識別結(jié)果的可視化動(dòng)畫。通過顯示機(jī)器人所識別的房間地圖和當(dāng)前位置，我們可以看到機(jī)器人是如何識別房間的。

系統(tǒng)能夠穩(wěn)定地抓取各種形狀和材質(zhì)的物體并且放置到規(guī)定的地方。

比如在整理圓珠筆時(shí)，攝像頭尋找筆筒位置，識別圓珠筆的朝向，調(diào)整朝向，放入筆筒。

系統(tǒng)通過不斷地重復(fù)人類在無意識中做出的一系列的判斷最終使之成為可能。

通過增強(qiáng)現(xiàn)實(shí)（AR），我們可以看到機(jī)器人是如何思考的，比如顯示機(jī)器人是如何識別房間里的狀況，接著會如何行動(dòng)等信息。通過AR畫面，我們能夠更加直觀地把握機(jī)器人的狀態(tài)，從而發(fā)出更確切的指令。

在大會上，這款機(jī)器人獲得了“CEATEC AWARD 2018”的獎(jiǎng)項(xiàng)里的行業(yè)/市場部門的二等獎(jiǎng)。

可能以后不僅清潔工，連收拾房子的保潔阿姨都不需要了。