采用半監(jiān)督學(xué)習(xí) 機(jī)器人學(xué)習(xí)語義 更智慧

事實(shí)上，以往大部分采用機(jī)器學(xué)習(xí)訓(xùn)練的語義導(dǎo)航機(jī)器人，找東西的效果都不太好。

相比于人類潛意識(shí)中形成的常識(shí)，機(jī)器人往往有點(diǎn)“死腦筋”，它們更傾向于去記住目標(biāo)物體的位置。

但物體所處的場景往往非常復(fù)雜，而且彼此間差異很大（正所謂每個(gè)人的家，亂得各有章法），如果單純以大量不同場景對(duì)系統(tǒng)進(jìn)行訓(xùn)練，模型泛化能力都不太好。

于是，相比于用更多的樣本對(duì)系統(tǒng)進(jìn)行訓(xùn)練，這次研究者們換了一種思路：

采用半監(jiān)督學(xué)習(xí)的方式，使用一種名為semantic curiosity（語義好奇心）的獎(jiǎng)勵(lì)機(jī)制對(duì)系統(tǒng)進(jìn)行訓(xùn)練。

訓(xùn)練的核心目的，是讓系統(tǒng)基于對(duì)語義的「理解」來確定目標(biāo)物體的最優(yōu)位置，換而言之，就是讓機(jī)器人“學(xué)點(diǎn)常識(shí)”。

舉個(gè)例子，通過理解冰箱和洗手間的差異，機(jī)器人就能搞懂目標(biāo)物體和房間布局的關(guān)系，并計(jì)算出最容易找到某個(gè)物體的房間。（就像沙發(fā)通常會(huì)在客廳、而不是在洗手間）

一旦確定了物體最可能出現(xiàn)的地方，機(jī)器人就能通過導(dǎo)航，直接去往預(yù)計(jì)的位置，并快速檢測到目標(biāo)物體的存在，這個(gè)過程被稱之為探索策略（exploration policy）。

采用Mask RCNN訓(xùn)練探索策略

如下圖所示，策略的實(shí)現(xiàn)被分成了三步：學(xué)習(xí)、訓(xùn)練、測試。

首先，采用Mask RCNN對(duì)圖像從上至下進(jìn)行目標(biāo)預(yù)測，用于訓(xùn)練探索策略，后者負(fù)責(zé)生成目標(biāo)檢測和場景分割所需的訓(xùn)練數(shù)據(jù)。

對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行標(biāo)記后，數(shù)據(jù)會(huì)被用于微調(diào)和評(píng)估目標(biāo)檢測及場景分割的效果。

在目標(biāo)檢測的過程中，即使面對(duì)某一物體的鏡頭轉(zhuǎn)360度，機(jī)器人也必須將之識(shí)別為同一種物體。

這其中最關(guān)鍵的一個(gè)步驟，在于構(gòu)造語義地圖。

構(gòu)造「有魔法的」地圖

從下圖可見，圖像被處理成RGB和Depth兩種模式。

其中，RGB圖像會(huì)通過Mask RCNN網(wǎng)絡(luò)，用于獲得目標(biāo)分割預(yù)測。

而Depth架構(gòu)，則被用于計(jì)算點(diǎn)云，其中的每個(gè)點(diǎn)，都會(huì)在Mask RCNN的預(yù)測結(jié)果基礎(chǔ)上與語義標(biāo)簽進(jìn)行關(guān)聯(lián)。

最后，基于幾何計(jì)算，會(huì)在空間中會(huì)生成一個(gè)三維立體圖。

每一個(gè)通道用于表示一種物體類別，原本2D的地圖就會(huì)轉(zhuǎn)變成一個(gè)3D的語義地圖。

有了語義地圖，機(jī)器人在移動(dòng)時(shí)也能準(zhǔn)確地對(duì)3D空間進(jìn)行目標(biāo)預(yù)測了。

「語義好奇心」獎(jiǎng)勵(lì)機(jī)制

不過，這會(huì)出現(xiàn)一種情況，如果目標(biāo)物體在不同的幀上被預(yù)測的標(biāo)簽不同，那么語義圖中對(duì)應(yīng)這個(gè)物體的多個(gè)通道都會(huì)是1。

如下圖，不同的時(shí)間，系統(tǒng)預(yù)測的目標(biāo)標(biāo)簽可能并不一樣，有時(shí)候是床，有時(shí)候則變成了沙發(fā)。

這就出現(xiàn)了語義好奇心的策略。

論文定義了語義好奇心累計(jì)獎(jiǎng)勵(lì)（cumulative semantic curiosity reward），指占語義地圖中所有元素總和的比例。

而語義好奇心獎(jiǎng)勵(lì)機(jī)制，則采用強(qiáng)化學(xué)習(xí)的方式，目的是使這個(gè)比例最大化。

通過了解物體之間的差異、從而了解房間布局，系統(tǒng)就會(huì)逐漸理解房間與物體的聯(lián)系。

實(shí)驗(yàn)結(jié)果

事實(shí)證明，這種方法非常有效。

機(jī)器人在訓(xùn)練過程中，可以專注地去理解目標(biāo)物體與房間布局的關(guān)系，而非不停地進(jìn)行路徑規(guī)劃。

訓(xùn)練出的機(jī)器人，在人機(jī)交互方向上變得更加容易操控。

例如，在各種方法下，即使探索區(qū)域不及倒數(shù)第二和第三種方法，但語義好奇心仍然檢測出了相當(dāng)?shù)哪繕?biāo)數(shù)量。

這說明它在進(jìn)行目標(biāo)檢測時(shí)，能更專注于所需要探測的物體。

而從下圖可見，語義好奇心明顯發(fā)現(xiàn)了更多其他策略無法發(fā)現(xiàn)的物體，這對(duì)于檢測目標(biāo)是非常有效的。

在最終的訓(xùn)練結(jié)果中，語義好奇心拿到了最高的39.96分。

這個(gè)方法，使得人與機(jī)器人之間的交互也變得更加容易實(shí)現(xiàn)。