卷積神經(jīng)網(wǎng)絡(luò)的介紹和應(yīng)用用歐姆蛋來詳細介紹

▌介紹

關(guān)于卷積神經(jīng)網(wǎng)絡(luò)從交通燈識別到更實際的應(yīng)用，我經(jīng)常聽到這樣一個問題：“會否出現(xiàn)一種深度學(xué)習(xí)“魔法”，它僅用圖像作為單一輸入就能判斷出食物質(zhì)量的好壞？”簡而言之，在商業(yè)中需要的就是這個：

當(dāng)企業(yè)家面對機器學(xué)習(xí)時，他們是這樣想的：歐姆蛋的“質(zhì)量（quality）”是好的。

這是一個不適定問題的例子：解決方案是否存在，解決方案是否唯一且穩(wěn)定還沒辦法確定，因為“完成”的定義非常模糊（更不用說實現(xiàn)了）。雖然這篇文章并不是關(guān)于高效溝通或是項目管理，但有一點是很有必要的：永遠不要對沒有明確范圍的項目作出承諾。解決這種模棱兩可的問題，一個好辦法是先構(gòu)建一個原型模式，然后再專注于完成后續(xù)任務(wù)的架構(gòu)，這就是我們的策略。

▌問題定義

在我的原型實現(xiàn)中關(guān)注的是歐姆蛋（omelette），并構(gòu)建了一個可擴展的數(shù)據(jù)管道，該管道輸出煎蛋的感知“質(zhì)量”。可以這樣來概括：

問題類型:多類別分類，6 種離散的質(zhì)量類別：[good, broken_yolk, overroasted, two_eggs, four_eggs, misplaced_pieces]。

數(shù)據(jù)集：人工收集了 351 個 DSLR 相機拍攝的各種煎蛋，其中：訓(xùn)練集包含 139 張圖像；訓(xùn)練過程中的測試集包含 32 張圖像；測試集包含 180 張圖像。

標(biāo)簽：每張照片都標(biāo)有主觀的質(zhì)量等級。

度量標(biāo)準(zhǔn)：分類交叉熵。

必要的知識：三個蛋黃沒有破損，有一些培根和歐芹，沒有燒焦或殘碎的食物，則可以定義為“好的”煎蛋。

完成的定義：在兩周的原型模式設(shè)計后，測試集上產(chǎn)生的最佳交叉熵。

結(jié)果可視化：用于測試集上低維度數(shù)據(jù)展示的 t-SNE 算法。

相機采集的輸入圖像

本文的主要目標(biāo)就是用一個神經(jīng)網(wǎng)絡(luò)分類器獲取提取的信號，并對其進行融合，讓分類器就測試集上每一項的類概率進行 softmax 預(yù)測。下面是一些我們提取并發(fā)現(xiàn)有用的信號：

關(guān)鍵成分掩碼（Mask R-CNN）：Signal #1.

按照每個成分分組的關(guān)鍵成分計數(shù)（基本上是不同成分計數(shù)的矩陣）：Signal #2.

移除盛歐姆蛋盤子的 RGB 顏色和背景，不添加到模型中。這就比較明顯了：只需用損失函數(shù)在這些圖像上訓(xùn)練一個卷積網(wǎng)絡(luò)分類器，在低維嵌入一個選定模型圖像到當(dāng)前圖像之間的 L2 距離。但是這次訓(xùn)練只用了 139 張圖像，因此無法驗證這一假設(shè)。

▌通用 50K 管道視圖（50K Pipeline Overview）

我省略了幾個重要步驟，諸如數(shù)據(jù)發(fā)現(xiàn)和探索性分析，基線和 MASK R-CNN 的主動標(biāo)記管道（這是我為半監(jiān)督的實例注釋所起的名稱，啟發(fā)來自Polygon-RNN demo video-https://www.youtube.com/watch?v=S1UUR4FlJ84）。50K 管道視圖如下：

Mask R-CNN 以及管道的分類步驟

主要有三個步驟：[1]用于成分掩碼推斷的 MASK R-CNN，[2]基于 Keras 的卷積網(wǎng)絡(luò)分類器，[3]t-SNE 算法的結(jié)果數(shù)據(jù)集可視化。

步驟一：Mask R-CNN 和掩碼推斷

MaskR-CNN 最近較為流行。從最初的Facebook’s 論文開始，再到 Kaggle 上的 Data Science Bowl 2018，MASK R-CNN 證明了其強大的體系結(jié)構(gòu)，比如分割（對象感知分割）。本文所使用的基于 Keras 的MRCNN代碼結(jié)構(gòu)良好、文檔完整、工作迅速，但是速度比預(yù)期的要慢。

最新論文所展現(xiàn)的 MRCNN 框架

MRCNN 由兩個部分組成：主干網(wǎng)絡(luò)和網(wǎng)絡(luò)頭，它繼承了FasterR-CNN架構(gòu)。不管是基于特征金字塔網(wǎng)絡(luò)（FPN）還是 ResNet 101，卷積主干網(wǎng)絡(luò)都是整個圖像的特征提取器。在此之上的是區(qū)域提議網(wǎng)絡(luò)（RPN），它為頭部采樣感興趣區(qū)域（ROI）。網(wǎng)絡(luò)頭部對每個 ROI 進行包圍盒識別和掩碼預(yù)測。在此過程中，RoIAlign 層精細地將 RPN 提取的多尺度特征與輸入內(nèi)容進行匹配。

在實際應(yīng)用中，特別是在原型設(shè)計中，經(jīng)過預(yù)先訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)是其關(guān)鍵所在。在許多實際場景中，數(shù)據(jù)科學(xué)家通常有數(shù)量有限的注釋數(shù)據(jù)集，有些甚至沒有任何注釋。相反，卷積網(wǎng)絡(luò)需要大量的標(biāo)記數(shù)據(jù)集進行收斂（如 ImageNet 數(shù)據(jù)集包含 120 萬標(biāo)記圖像）。這就是需要遷移學(xué)習(xí)的用處所在：凍結(jié)卷積層的權(quán)重，只對分類器進行再訓(xùn)練。對于小型數(shù)據(jù)集來說，凍結(jié)卷積層權(quán)重可以避免過擬合。

經(jīng)過一次（epoch ）訓(xùn)練所取得的樣本如下圖所示：

實例分割的結(jié)果：所有關(guān)鍵成分都被檢測到

下一步是裁剪碟子部分，并從中為每一成分提取二維二進制掩碼：

帶有目標(biāo)碟子及如二進制掩碼一樣關(guān)鍵成分部分

這些二進制掩碼緊接著組成一個 8 通道圖像（ MRCNN 定義了 8 個掩碼類別）。Signal #1 如下圖所示:

Signal #1：由二進制掩碼組成的 8 通道圖像。不同的顏色只為了能更好進行可視化觀察。

對于 Signal #2，MRCNN 推斷出每一種成分的量，并將其打包成一個特征向量。

步驟二：基于 Keras 的卷積神經(jīng)網(wǎng)絡(luò)分類器

我們已經(jīng)使用 Keras 從頭構(gòu)建了一個 CNN 分類器。其目標(biāo)是整合幾個信號（Signal＃1 和 Signal＃2，未來還會再添加更多數(shù)據(jù)），并讓網(wǎng)絡(luò)對食物的質(zhì)量類別做出預(yù)測。真實的體系結(jié)構(gòu)如下：

分類器架構(gòu)的特點如下：

多尺度卷積模塊：最初，卷積層的內(nèi)核大小為 5*5，結(jié)果不如人意，但有幾種不同內(nèi)核（3*3,5*5,7*7,11*11）的卷積層的 AveragePooling2D 效果更好。另外，在每層前增加了大小為 1*1 的卷積層來降低維度，它類似于Inception 模塊。

更大的內(nèi)核：更大的內(nèi)核更容易從輸入圖像中提取更大范圍的特征（本身可以看作一個具有 8 個濾波器的激活層：每個部分的二進制掩碼基本上就是一個濾波器）。

信號整合：該模型只使用了一個非線性層對兩個特征集合：處理過的二進制掩碼（Signal＃1）和成分?jǐn)?shù)（Signal＃2）。Signal＃2 提高了交叉熵（將交叉熵從 0.8 提高到[0.7，0.72]））

Logits：在 TensorFlow 中，這是tf.nn.softmax_cross_entropy_with_logits計算 batch 損失的層。

步驟三：使用 t-SNE 對結(jié)果進行可視化處理

使用 t-SNE 算法對結(jié)果進行可視化處理，它是一種較為流行的數(shù)據(jù)可視化技術(shù)。t-SNE 最小化了低維嵌入數(shù)據(jù)點和原始高維數(shù)據(jù)（使用非凸損失函數(shù)）的聯(lián)合概率之間的 KL 散度。

為了將測試集的分類結(jié)果可視化，我導(dǎo)出了測試集圖像，提取了分類器的 logits 層，并將 t-SNE 算法應(yīng)用于結(jié)果數(shù)據(jù)集。效果相當(dāng)不錯，如下圖所示：

分類器測試集預(yù)測結(jié)果的 t-SNE 算法可視化效果

雖然結(jié)果并不是特別完美，但這種方法確實有效。 亟待改進的地方如下：

更多數(shù)據(jù)。卷積神經(jīng)網(wǎng)絡(luò)需要大量的數(shù)據(jù)，而這里用于訓(xùn)練的樣本只有 139 個，本文使用的數(shù)據(jù)增強技術(shù)特別好（使用 D4 或 dihedral, symmetry產(chǎn)生 2 千多張增強圖像）。但是，想要一個良好的性能，更多真實的數(shù)據(jù)尤為重要。

合適的損失函數(shù)。為了簡單起見，本文使用了分類交叉熵損失函數(shù)。也可以使用更合適的損失函數(shù)——三重損失函數(shù)（triplet loss），它能夠更好地利用類內(nèi)差異。

更全面的分類器體系結(jié)構(gòu)。當(dāng)前的分類器基本上是一個原型模式，旨在解釋輸入二進制掩碼，并將多個特征集整合到單個推理管道。

更好的標(biāo)簽。我在手動圖像標(biāo)記（6 種類別的質(zhì)量）方面的確不在行：分類器在十幾個測試集圖像上的表現(xiàn)超出了我的預(yù)期。

▌反思

在實際應(yīng)用中，企業(yè)沒有數(shù)據(jù)、注釋，也沒有需要完成的明確任務(wù)，但這種現(xiàn)象非常普遍，這不可否認(rèn)。這對你來說是一件好事：你要做的就是擁有工具和足夠多的 GPU 硬件、商業(yè)和技術(shù)知識、預(yù)訓(xùn)練模型以及其他對企業(yè)有價值的東西。

從小事做起：一個可以用 LEGO 代碼塊構(gòu)建的原型模式，可以進一步提高交流的效率——為企業(yè)提供這種方案，這是作為一位數(shù)據(jù)科學(xué)家的職責(zé)。