不懂點(diǎn)AI技術(shù)都不敢玩樂高了 樹莓派+1萬塊樂高打造樂高分類器

當(dāng)然是苦苦尋找某個(gè)形狀的積木卻找不到。當(dāng)你興致勃勃地打開包裝時(shí)，眼前的一切卻是這樣，內(nèi)心會(huì)作何感想？

現(xiàn)在好了，國外一位樂高愛好者Daniel West用AI解決了這個(gè)難題。他使用自己開發(fā)的“樂高分類器”，不到2秒時(shí)間就能給一塊積木歸類。

（注：實(shí)際分類速度快一倍，為了方便展示，作者將動(dòng)圖速度減半。）

這個(gè)分類器由樹莓派和1萬塊樂高積木組成，耗時(shí)2年打造，真的是“用樂高搞定樂高”，堪稱最硬核的“套娃”。

我們先來感受一下它龐大的外形：

最近，如此硬核的設(shè)備也得到了樹莓派官方轉(zhuǎn)發(fā)。

Daniel的技術(shù)是在前人的基礎(chǔ)上完成，但更加先進(jìn)：它可以識(shí)別出所有曾經(jīng)使用過的樂高積木，甚至是從未見過的積木。

因此Daniel把它叫做世界上第一臺(tái)“通用樂高分類器”（universal LEGO sorting machine）。

工作過程

首先把一桶樂高積木倒入分類器中，在履帶的傳送下，積木分批少量地落入V形槽。

在V形槽的抖動(dòng)下，積木又被一塊塊分別抖入傳送帶中。

傳送帶上方的攝像頭會(huì)拍下多幀畫面，并在此過程中完成積木種類的識(shí)別。

而后，不同形狀的積木分裝在不同的桶里。

最后再根據(jù)拼裝的設(shè)定，將積木按照需要裝入各個(gè)物料盒中。

看完這套設(shè)備后，有網(wǎng)友表示：能不能借我回去用幾天？

技術(shù)實(shí)現(xiàn)

其實(shí)Daniel所用的技術(shù)并不復(fù)雜，他甚至還為此寫過兩篇教程。

這臺(tái)機(jī)器用到的硬件有：樹莓派3B+，樹莓派攝像頭模塊V2，9臺(tái)伺服電機(jī)，6臺(tái)樂高電機(jī)。不過，最復(fù)雜的硬件應(yīng)該是Daniel設(shè)計(jì)的1萬塊積木的拼裝。

首先開始的是圖像數(shù)據(jù)標(biāo)注工作，Daniel先讓機(jī)器運(yùn)行了幾天，收集了大約30萬張未標(biāo)記的樂高積木圖像。

用手工給30萬張圖片一一打上標(biāo)簽顯然是不切實(shí)際的，而相機(jī)會(huì)給一塊積木拍攝10~20張照片，通過打包標(biāo)注的方法，可以將效率提高10~20倍。

但即便如此，也有上萬組照片需要標(biāo)記。一次次將標(biāo)簽內(nèi)容填入csv文件顯然是個(gè)笨辦法。而且樂高種類繁多，比如2×2的方塊種類就有很多，沒必要分得太細(xì)。

因此，Daniel決定利用自己的Web開發(fā)經(jīng)驗(yàn)，花幾個(gè)小時(shí)來編寫了一個(gè)簡單的Web應(yīng)用程序。速度又提高了2~5倍。

即便如此，效率仍然太低。Daniel再次想到用AI“打輔助”，讓AI給出TOP-5，自己在App里選中正確的選項(xiàng)，這樣每秒5就能標(biāo)記10張圖片，整體效率提升了40~1000倍。

在軟件的設(shè)計(jì)上，Daniel遇到了更大的挑戰(zhàn)，那就是樹莓派的AI運(yùn)算能力并不強(qiáng)，如何實(shí)現(xiàn)實(shí)時(shí)的目標(biāo)檢測。

最初，他想到使用YOLO或Faster R-CNN，然而很難在樹莓派上達(dá)到90fps的處理速度，如果將圖像流式傳輸?shù)絇C上處理，網(wǎng)絡(luò)帶寬又會(huì)成為性能瓶頸。

Daniel不得不使用“老式”計(jì)算機(jī)視覺技術(shù)——OpenCV庫里的MOG2背景扣除器，即使在樹莓派3B+上它也能快速處理數(shù)據(jù)。

但是，直接將視頻幀發(fā)送到MOG2并不能正常工作。淺灰色和白色積木的亮度與傳送帶背景過于相似，難以識(shí)別。需要做的是在圖像傳遞給MOG2之前增加圖像的飽和度。

另外，RGB圖像的傳輸帶寬也太高，Daniel只好使用YUV格式將圖像帶寬壓縮一半，并把目標(biāo)檢測框外的像素裁剪掉。

經(jīng)過重重簡化，這套系統(tǒng)達(dá)到了70~80fps的處理速度。

最后，在樹莓派的官方博客下面的回復(fù)中，還有一位高人。他在4年前就設(shè)計(jì)過一款分類器，給兩噸的樂高積木進(jìn)行分類。

這年頭，不懂點(diǎn)AI技術(shù)都不敢玩樂高了。

責(zé)任編輯：xj

原文標(biāo)題：「樹莓派+1萬塊樂高」打造樂高分類器，樹莓派官方轉(zhuǎn)發(fā)，網(wǎng)友：我想借來用兩天

文章出處：【微信公眾號(hào)：Linux愛好者】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。