一個(gè)名為Metaverse的工具來(lái)幫助人們快速生成逼真的訓(xùn)練數(shù)據(jù)

從事過(guò)計(jì)算機(jī)視覺(jué)任務(wù)的小伙伴對(duì)于數(shù)據(jù)一定有著難以言說(shuō)的情感。數(shù)據(jù)集的大小和質(zhì)量直接影響著算法的精度和性能。而且冗長(zhǎng)的、海量的圖像標(biāo)注工作也讓很多中小團(tuán)隊(duì)對(duì)于視覺(jué)任務(wù)的訓(xùn)練打起了退堂鼓。此外對(duì)于物體的位子，表面法向量以及深度等信息，對(duì)于人工來(lái)說(shuō)幾乎是無(wú)法很容易地進(jìn)行標(biāo)注。

為了解決這一問(wèn)題，來(lái)自Greppy研究人員提出了一個(gè)名為Metaverse的工具來(lái)幫助人們快速生成逼真的訓(xùn)練數(shù)據(jù)。它可以基于CAD模型和渲染、方便的創(chuàng)建出逼真豐富的數(shù)據(jù)，同時(shí)生成RGB、深度圖、法向量圖、位姿標(biāo)注、對(duì)象及其每一部分的掩膜。

合成數(shù)據(jù)的想法由來(lái)已久，在github上有很多類(lèi)似的項(xiàng)目來(lái)生成各種各樣的數(shù)據(jù)，從基于統(tǒng)計(jì)的方法到GAN應(yīng)有盡有，但這些方法都存在各種不用的問(wèn)題。

有的算法需要使用者具有一定的編程能力，而有的算法生成的結(jié)果卻又不是那么逼真。我們真正需要的是一個(gè)能夠方便高效地生成大規(guī)模訓(xùn)練數(shù)據(jù)來(lái)訓(xùn)練網(wǎng)絡(luò)完成對(duì)新物體的計(jì)算機(jī)視覺(jué)任務(wù)。同時(shí)還需要在沒(méi)有光線(xiàn)追蹤的情況下實(shí)現(xiàn)對(duì)于目標(biāo)圖像逼真的生成，這也是需要克服的一大挑戰(zhàn)。

為了解決這些問(wèn)題，研究人員開(kāi)發(fā)了這一基于網(wǎng)頁(yè)端的工具，只需要將目標(biāo)物體的3D模型上傳到對(duì)應(yīng)的界面應(yīng)用不同的材料來(lái)對(duì)它進(jìn)行更加逼真的表現(xiàn)，隨后進(jìn)行表面材料選取和光照渲染即可。

我們以咖啡機(jī)作為例子來(lái)看看如何使用這一工具的。如果我們想要訓(xùn)練計(jì)算來(lái)識(shí)別咖啡機(jī)，我們就需要上傳下圖所示的兩個(gè)咖啡壺的CAD模型，這是由于咖啡機(jī)可能是打開(kāi)也可能是關(guān)閉的。

下一步我們只需要為咖啡機(jī)的每個(gè)表面設(shè)置預(yù)先設(shè)計(jì)的表面材料，點(diǎn)點(diǎn)鼠標(biāo)就可以完成材料的配置。為了滿(mǎn)足需求，研究人員還提供了很多不同逼真材料的庫(kù)供用戶(hù)使用。同時(shí)也可以根據(jù)需要設(shè)計(jì)自己的材料。

這一軟件也為用戶(hù)提供好了方便標(biāo)注物體每一部分的工具，我們可以對(duì)感興趣的部分進(jìn)行點(diǎn)選。你不需要會(huì)用3D建模軟件，也不需要編程即可完成。

最后一步也是最有意思的一步，就是選擇你需要采集圖像的“相機(jī)”了。這一工具需要根據(jù)相機(jī)的分辨率、參數(shù)、視野以及雙目立體參數(shù)來(lái)渲染出更加精確的圖像。目前網(wǎng)站剛剛到達(dá)beta版本只包含了兩個(gè)相機(jī)模型：Zed mini和Intel D435，但是用戶(hù)可以自己創(chuàng)建個(gè)性化的相機(jī)模型來(lái)生成圖像。

然后剩下的就是交給電腦的工作了。工具可以自動(dòng)地生成成千上萬(wàn)的場(chǎng)景，包括了不同的位姿、數(shù)量、相機(jī)角度和光照條件下的目標(biāo)。所有生成的結(jié)果都進(jìn)行了像素級(jí)的自動(dòng)標(biāo)注。后臺(tái)通過(guò)GPU云服務(wù)進(jìn)行一段時(shí)間的渲染，然后就可以得到自己的的數(shù)據(jù)集了。

利用這些數(shù)據(jù)，就可以進(jìn)行深度學(xué)習(xí)任務(wù)啦，無(wú)論是檢測(cè)、分割都可以有豐富的數(shù)據(jù)來(lái)上手。

這一工具對(duì)于想要訓(xùn)練針對(duì)性的物體、零件或者自己設(shè)計(jì)的工件等具有很大的作用，在擁有設(shè)計(jì)的CAD模型后就可以方便的生成海量數(shù)據(jù)來(lái)實(shí)現(xiàn)自己的demo。