lobe可視化工具能建立、訓(xùn)練并安裝個性化的深度學(xué)習(xí)模型

你是否想過有一天，某款A(yù)PP能識別你的表情，將其生成已有的Emoji?；蛘弋?dāng)你打開攝像機(jī)對著一株植物，它能立即顯示植物的名字。甚至當(dāng)你不在家時，它還能幫你監(jiān)控嬰兒，如果寶寶醒了會立刻通知你……這些智能化的行為如今在一項(xiàng)名為lobe的工具上都能實(shí)現(xiàn)了，這款可視化工具能建立、訓(xùn)練并安裝個性化的深度學(xué)習(xí)模型，而且開發(fā)者不用編寫任何代碼。

Lobe由一家位于美國舊金山的創(chuàng)業(yè)公司打造，其發(fā)明者認(rèn)為，建立深度學(xué)習(xí)模型是一個非常緩慢且復(fù)雜的過程，其中最難的地方是找到一個起點(diǎn)，可供學(xué)習(xí)的語言有很多，甚至當(dāng)你準(zhǔn)備好的時候，很難想象并理解自己到底要做什么。這就是他們創(chuàng)建Lobe的原因，它可以讓來自不同背景和專業(yè)的人用深度學(xué)習(xí)進(jìn)行發(fā)明創(chuàng)造。

只需拖動文件夾，它將自己學(xué)習(xí)

Lobe是一款易于使用的可視化工具，你可以創(chuàng)建自定義深度學(xué)習(xí)模型，快速訓(xùn)練，無需編寫任何代碼就能將其直接部署到APP中。

整個過程分為三部分。第一步，模型構(gòu)建。先從桌面拖動一個訓(xùn)練示例文件夾，Lobe將自動創(chuàng)建一個深度學(xué)習(xí)模型并開始訓(xùn)練。然后它會調(diào)整設(shè)置并連接預(yù)訓(xùn)練部分對模型進(jìn)行微調(diào)。

第二步，訓(xùn)練。隨著模型的改進(jìn)，你可以使用交互式圖表和測試結(jié)果實(shí)時監(jiān)控培訓(xùn)進(jìn)度。在云端的訓(xùn)練能快速生成結(jié)果，同時不會降低計(jì)算機(jī)的速度。

第三步，部署。訓(xùn)練完成后，你可以導(dǎo)出經(jīng)過訓(xùn)練的模型到CoreML或TensorFlow，然后將其安裝在iOS或安卓的應(yīng)用中?；蛘呤褂煤唵畏奖愕腖obe開發(fā)者API，直接從云端遠(yuǎn)程運(yùn)行模型。

把lobes連接在一起

將智能構(gòu)建模塊lobes連接在一起，以快速創(chuàng)建自定義深度學(xué)習(xí)模型。例如，連接Hand & Face lobe可以查找圖像中最顯眼的手。然后連接Detect Feature lobe，以查找手中的重要特征。最后連接Generate Labels lobe，預(yù)測圖中對應(yīng)什么emoji。通過調(diào)整每個lobe的獨(dú)特設(shè)置來優(yōu)化你的模型，或者深入內(nèi)部編輯某個lobe的子層。

數(shù)據(jù)集可視化

在lobe工具中，模型訓(xùn)練的資料能以視覺化的方式呈現(xiàn)，提供使用者瀏覽并拖拉排序的所有資料。點(diǎn)擊圖標(biāo)就能查看這個例子是如何在模型中工作的。你的數(shù)據(jù)集也可以自動分成Lesson和Test兩部分。Lesson可以教模型如何訓(xùn)練，Test是用來評估模型在真實(shí)世界里它從未見過的例子上表現(xiàn)得如何。

實(shí)時查看結(jié)果

由于在云端訓(xùn)練的速度非常快，你能隨時得到模型表現(xiàn)的結(jié)果，計(jì)算機(jī)的速度也不會減慢。你可以通過交互圖表控制模型的精確度，理解它是如何隨時間進(jìn)行改進(jìn)的。最終它會自動選擇最佳精確度，所以你無需擔(dān)心出現(xiàn)過度擬合的情況。

對每層進(jìn)行高級控制

lobe雖然提供了高階的操作工具，但是底層建立在深度學(xué)習(xí)框架TensorFlow和Keras基礎(chǔ)之上，因此lobe可以讓你深入了解模型的每一層。調(diào)整參數(shù)、添加圖層、用數(shù)百個高級lobes塊設(shè)計(jì)全新的體系結(jié)構(gòu)。而這些操作皆在使用者拖拉界面的時候同步生效。

添加到你的應(yīng)用中

當(dāng)模型完成訓(xùn)練后，它可以導(dǎo)出到TensorFlow或CoreML，并直接在你的app中運(yùn)行?；蛘咄ㄟ^Lobe開發(fā)者API，你的模型可以被傳送到云服務(wù)器中，然后用你選擇的語言與app進(jìn)行整合。由于Lobe建立在行業(yè)標(biāo)準(zhǔn)之上，你的模型性能和兼容性是一流的（原文附各語言部署代碼：https://lobe.ai）。

用Lobe探索世界

有了這款工具，人們可以做各種有難度的任務(wù)，包括繪制建筑結(jié)構(gòu)、控制無人機(jī)、生成花瓣圖像、控制音樂可視化、辨認(rèn)植物、調(diào)整樂器、檢測癌癥、讀唇語等等。以下是人們利用lobe做出的一些奇妙的任務(wù)。

手和臉的定位

這項(xiàng)任務(wù)的目的是給定一張人像照片，模型要學(xué)會在人物的臉部和手部畫邊界框。這項(xiàng)工具只是其他Lobe模型（例如Emoji Hands and Face）中的其中一個部件。

加州植物

顧名思義，就是讓模型看圖片中的植物，并辨認(rèn)出它是什么品種。創(chuàng)造它的目的是為了提醒人們哪些植物有毒。

玫瑰花瓣生成器

通過觀察數(shù)千張玫瑰花瓣的照片，模型可以學(xué)會生成全新的、逼真的玫瑰花瓣。這是由藝術(shù)家Sarah Meyohas發(fā)明的，她的目的是研究技術(shù)與美學(xué)之間的關(guān)系。

房屋結(jié)構(gòu)透視

通過觀看不同風(fēng)格房屋的3D模型以及測量數(shù)據(jù)和元數(shù)據(jù)，模型學(xué)習(xí)判斷房屋的結(jié)構(gòu)風(fēng)格。這一模型是由建筑師Kyle Steinfeld創(chuàng)造的，目的是幫助建筑師在設(shè)計(jì)時更好地使用CAD軟件。

熱狗識別器

由Jian Yang創(chuàng)造，幫助人們識別不同種類的食物，即圖中是否為熱狗。

水表監(jiān)控

模型查看一張帶有水箱的圖片，學(xué)習(xí)找到一個類似量表的東西，以計(jì)算水箱中的水量，用于全天候檢測和跟蹤家庭用水情況。

調(diào)音器

模型聽到正在演奏的樂器時，能辨別這是哪種樂器。有了這種工具，就能讓調(diào)音軟件自動選擇正確的樂器，不同人們手動更改設(shè)置。

咖啡的重量

模型只要看到一張咖啡機(jī)的照片，就能學(xué)習(xí)計(jì)算其中含有多少盎司的咖啡。這一工具能幫助沖調(diào)一杯完美的咖啡，不需要用稱。

無人機(jī)自動飛行

由Alessandro Giusti發(fā)明，它能讓無人機(jī)自動沿崎嶇的山路飛行，通過學(xué)習(xí)無人機(jī)錄制的視頻畫面，了解山路的走向，有助于搜尋和營救任務(wù)。

音樂可視化

讓模型聽一首歌，并學(xué)習(xí)基于它獨(dú)特的音樂特征控制可視化表示。這一工具由Symmetry Labs發(fā)明，可以自動控制VJ軟件。

Emoji Face

模型可以通過圖片中人物的表情，將其轉(zhuǎn)換成對應(yīng)的Emoji，從上圖的實(shí)驗(yàn)結(jié)果中可以看出，準(zhǔn)確度還是相當(dāng)高的。

Emoji Hand

和上一個工具一樣，它可以將圖中人們做出的手勢轉(zhuǎn)換成Emoji，以后就不用在Emoji庫中找到眼花繚亂了。

Emoji Drawing

將涂鴉轉(zhuǎn)換成Emoji，未來只要隨便畫上兩筆，就能選出想要的表情。

皮膚癌檢測

學(xué)習(xí)區(qū)分皮膚癌變區(qū)域和普通的痣，幫助醫(yī)生作出診斷。

畫四邊形

看到圖片中的人伸出兩根手指，模型自動會根據(jù)手指畫出一個矩形邊框。這項(xiàng)工具可以讓人們在將來用在AR設(shè)備上，估計(jì)或調(diào)整某個物體的大小。

手的角度

同樣是幾何問題，模型可以測量圖中人手的角度。

唇語閱讀

讓模型觀看無聲的視頻，學(xué)習(xí)畫中人說的什么，同時學(xué)習(xí)理解說出的話。這項(xiàng)工具可以用來在安靜的公共場合打電話，同時不會影響到他人。

寶寶監(jiān)控儀

通過觀察固定在嬰兒床上的相機(jī)拍攝的照片，學(xué)習(xí)判斷寶寶是醒著還是睡著了，以通知父母寶寶的情況。

結(jié)語

據(jù)團(tuán)隊(duì)成員介紹，他們花了兩年的時間打造這款產(chǎn)品，一經(jīng)發(fā)布就受到很多人歡迎。目前已經(jīng)出現(xiàn)了很多用lobe支持的工具，涵蓋了生活的各個領(lǐng)域，我們也期待lobe能應(yīng)用到更多軟件中，探索深度學(xué)習(xí)模型的更多可能。