讓機器人懂得人類“常識”，3D語義地圖能做到嗎？

機器人需要一張保姆級地圖。

隨著機器人的智能化技術不斷迭代，對于復雜的行為決策、人機交互等任務僅感知環(huán)境的空間幾何信息已無法滿足要求，它需要讓機器人能夠像人一樣，懂得環(huán)境中的物體類別及其位置，即環(huán)境的語義信息。以掃地機器人為例，一個清掃餐桌底部的任務便要求它需要知道目標的類別和位置。然而目前主流的傳統(tǒng)2D柵格地圖、拓撲地圖雖然能夠描述環(huán)境中存在的障礙物幾何特征及其環(huán)境結構信息，但卻缺乏機器人用于理解環(huán)境、人機/物機交互等業(yè)務邏輯的高層次語義信息，相反，3D語義地圖不僅包含物體及環(huán)境的結構信息，還有物體類別、功能屬性等“常識”性信息，可以說是機器人的保姆級地圖。

從技術角度而言，3D語義地圖的地圖模型是針對真實場景的三維環(huán)境重構，包含區(qū)域性場景信息及場景中每個獨立物體的屬性、空間中的三維模型、位姿信息等，使機器人在語義層次上理解環(huán)境信息，模仿人類大腦對環(huán)境理解的方式，從而為實現(xiàn)更高層次的智能化操作提供信息支持。

如何構建3D語義地圖？

要構建3D語義地圖，前提是需要提取出你所需要的物體特征，并進行語義切割。INDEMIND在實現(xiàn)構建3D語義地圖中，采用了立體視覺技術路線，通過對雙目視覺傳感器獲取到3D視覺點云信息進行點云聚類，并結合邊緣端的嵌入式深度學習和VSLAM算法，輸出個體性物體語義和區(qū)域性場景語義，從而實現(xiàn)3D語義地圖構建。

在真實場景中，無論是家庭、公司還是超市，大多擁有著3個及3個以上的細分場景，且這些場景大多有著相似性，當機器人收到指定房間作業(yè)任務后如何快速準確地理解房間的功能屬性，找到對應房間，并能根據(jù)不同房間的功能屬性進行個性化作業(yè)還需要極高的場景理解準確度。

因此，INDEMIND是根據(jù)輸出的區(qū)域性場景語義和個體性物體語義二者融合的方式實現(xiàn)場景理解。首先，根據(jù)獲取到的區(qū)域性場景語義信息，進行整體特征識別；其次，會根據(jù)個體性物體語義識別，對場景中一系列獨立個體信息進行識別，并作為場景特征標志，最終通過二相疊加判斷，實現(xiàn)準確穩(wěn)定地場景理解。

在實際表現(xiàn)中，應用3D語義地圖的機器人，結合INDEMIND VSLAM算法和智能決策引擎，在AI識別、智能避障、指令智能作業(yè)、人機/物機交互等方面均有優(yōu)異表現(xiàn)。

在AI識別和避障方面，基于3D語義地圖，能夠快速提取環(huán)境中各類圖像特征，結合深度學習可立體識別行人、動物、固定/移動物體等個體性障礙物，以及樓梯、自動扶梯等危險場景，避免危險情況發(fā)生，這種結合物體3D信息的識別和避障效果的穩(wěn)定性、準確率都得到顯著提升。同時，通過識別到與顯示匹配的障礙物3D信息，機器人還可做出類似人類規(guī)避動作的精細化操作，能夠讓機器人有預判、有策略的實現(xiàn)主動避障。

在交互和智能作業(yè)方面，3D語義地圖通過對場景中獨立個體、房間信息做語義識別及物體分割，機器人懂得人類“常識”后，便能實現(xiàn)高層次的交互邏輯，配合INDEMIND自研的自然語言交互技術，可通過語音、手勢、動作等指令，命令機器人進行安全、搜尋、跟隨、自主尋路、定向清掃等多種智能作業(yè)邏輯。以定向清掃為例，發(fā)布語音命令:“清掃一下臥室”可被識別為針對地圖上識別到的臥室區(qū)域進行一次規(guī)劃清掃，告別粗糙的交互體驗。

目前，3D語義地圖技術已應用到INDMEIND推出的家用機器人導航方案「家用機器人AI Kit」和商用機器人導航方案「商用機器人AI Kit」中，兩種方案的市場表現(xiàn)均得到了客戶的廣泛認可。

值得一提的是，兩種方案由于采用視覺技術路線，在成本方面相對于競品均有著明顯優(yōu)勢?！讣矣脵C器人AI Kit」在實現(xiàn)同等水平的技術效果的同時，成本只有激光雷達融合方案的1/3，且激光視覺融合方案雖然也能獲取到場景中的語義信息，但受限于傳感器限制，事實上只能識別到物體的二維信息，無法構建3D語義地圖。「商用機器人AI Kit」相比激光雷達方案，成本下降了60-80%，機器人開發(fā)成本最低可以下探到2千元以內(nèi)，包含導航和電池的完整底盤成本則可以下探到5千元以內(nèi)，顯著降低機器人的開發(fā)成本和周期。

審核編輯 黃宇