用圖卷積網(wǎng)絡解決語義分割問題

使用 CNN 處理圖像問題已經(jīng)是常規(guī)操作，但此類方法會造成局部位置信息的損失。如何解決這個問題呢？來自中科院自動化所和北京中醫(yī)藥大學的研究者另辟蹊徑，提出用圖卷積網(wǎng)絡解決語義分割問題。

論文鏈接：https://arxiv.org/pdf/2001.00335.pdf 使用深度學習執(zhí)行語義分割在圖像像素分類方面取得了巨大進步。但是，深度學習提取高級特征時往往忽略了局部位置信息（local location information），而這對于圖像語義分割而言非常重要。 為了避免上述問題，來自中科院自動化所、北京中醫(yī)藥大學的研究者們提出一個執(zhí)行圖像語義分割任務的圖模型 Graph-FCN，該模型由全卷積網(wǎng)絡（FCN）進行初始化。 首先，通過卷積網(wǎng)絡將圖像網(wǎng)格數(shù)據(jù)擴展至圖結(jié)構(gòu)數(shù)據(jù)，這樣就把語義分割問題轉(zhuǎn)換成了圖節(jié)點分類問題；然后，使用圖卷積網(wǎng)絡解決圖節(jié)點分類問題。 研究者稱，這是首次將圖卷積網(wǎng)絡用于圖像語義分割的嘗試。該方法在 VOC 數(shù)據(jù)集上獲得了有競爭力的 mIOU 性能，相比原始 FCN 模型有 1.34% 的性能提升。

Graph-FCN 架構(gòu)圖。

語義分割問題的難點 語義分割是計算機視覺領域中的重要課題，其復雜程度超過分類和檢測任務。這項密集預測任務需要預測每個像素的類別，也就是說它需要從高級語義信息和局部位置信息中學習目標輪廓、目標位置和目標類別。 基于深度學習的語義分割方法，具體而言即卷積神經(jīng)網(wǎng)絡（CNN），為該領域帶來了一系列巨大進展。提取高級特征的強大泛化能力使得圖像分類和檢測任務取得了非常好的性能，但伴隨泛化而來的局部位置信息損失則為密集預測任務增加了難度。具備較大感受野的高級語義信息對應卷積神經(jīng)網(wǎng)絡中的小型特征圖，這類圖會造成像素級局部位置信息的損失。 多種基于深度學習的方法對該問題帶來了改進，如全卷積網(wǎng)絡 [16]、Segent [1]、Deeplab 方法 [2,3,4]。這些工作使用全連接層、空洞卷積和金字塔結(jié)構(gòu)，來減少提取高級特征過程中的位置信息損失。 中科院等提出語義分割難題新解法 首先，研究者為圖像語義分割問題構(gòu)建圖節(jié)點模型。圖模型方法廣泛應用于分割問題，這類方法將像素視作節(jié)點，將節(jié)點之間的差異度（dissimilarity）視作邊（edge）。最優(yōu)的分割即對圖執(zhí)行最大割（maximum cut）。 結(jié)合了概率論和圖論的概率圖模型方法（如馬爾可夫隨機場和條件隨機場）被用于細化語義分割結(jié)果。這些方法將檢測到的目標建模為圖節(jié)點，通過提取目標之間的關系來改進檢測準確率。相比于深度卷積模型把輸入數(shù)據(jù)表示為網(wǎng)格結(jié)構(gòu)，圖模型具備更靈活的跳躍連接（skip connection），因此它可以探索圖中節(jié)點之間的關系。 受限于計算量，研究者使用 FCN 初始化該圖模型。該圖模型基于小尺寸圖像構(gòu)建，其節(jié)點標注由 FCN 進行初始化，邊的權(quán)重則由高斯核函數(shù)進行初始化。

圖 1：FCN 結(jié)構(gòu)示意圖。本研究使用 FCN-16s 作為基礎模型對節(jié)點標注進行初始化。 然后使用圖卷積網(wǎng)絡（GCN）解決這個圖模型。GCN 是處理圖結(jié)構(gòu)數(shù)據(jù)的當前最優(yōu)模型之一。基于節(jié)點的 GCN 利用消息傳播（message propagation）來交換相鄰節(jié)點之間的信息。這一過程可以在圖的較大相鄰范圍內(nèi)提取特征，其作用類似于卷積網(wǎng)絡中的卷積層和池化層。由于該過程中不會有節(jié)點消失，因此基于節(jié)點的 GCN 擴展了感受野，并避免了局部位置信息出現(xiàn)損失。 這篇論文提出了新型模型 Graph-FCN 來解決語義分割問題。研究者使用深度卷積網(wǎng)絡建模圖，并首次用 GCN 方法解決圖像語義分割任務。Graph-FCN 可以擴大感受野，同時避免局部位置信息出現(xiàn)損失。實驗表明，Graph-FCN 的性能優(yōu)于 FCN。 Graph-FCN 方法詳解 GCN 旨在解決圖結(jié)構(gòu)數(shù)據(jù)集上的學習問題。圖結(jié)構(gòu)數(shù)據(jù)可看作是三元組 G(N, E, U)，其中 N 表示圖的節(jié)點集合，即 |N| ? S 矩陣（|N| 表示圖節(jié)點數(shù)量，S 表示節(jié)點標注向量的維度）。E 是圖的邊集合。U 對應圖特征，由于本研究涉及任務與 U 無關，因此本研究不討論 U。 與歐幾里德空間中的數(shù)據(jù)表示不同，矩陣 N 和邊 E 并非獨特表示。矩陣 N 與 E 對應，它們都按照節(jié)點的順序排列。研究者使用監(jiān)督學習方式訓練模型。節(jié)點 n_j 表示圖 j 中的節(jié)點集，t_j 表示節(jié)點集 n_j 的標注集。因此用于語義分割任務的圖模型可公式化為：

研究者將交叉熵函數(shù)作為該模型的損失函數(shù)。T_r 表示訓練集。 節(jié)點 在本研究提出的新模型中，節(jié)點標注由 FCN-16s 進行初始化。通過端到端訓練后，F(xiàn)CN-16s 得到步幅為 16 和 32 的特征圖，如下圖 2 所示。對步幅為 16 的特征圖執(zhí)行因子為 2 的上采樣可以獲得與步幅為 32 的特征圖一樣的大小。（節(jié)點 j 的）標注 x_j 由這兩個特征向量以及特征圖中每個節(jié)點位置的級聯(lián)進行初始化。該標注包含在局部感受野上提取到的特征。在訓練過程中，研究者通過對原始標注圖像執(zhí)行池化操作來得到節(jié)點標簽。

圖 2：節(jié)點標注初始化過程。節(jié)點標注由 FCN-16s 中兩個層的級聯(lián)進行初始化。 邊 在圖模型中，邊和鄰接矩陣相關。假設每個節(jié)點和其最鄰近的 l 個節(jié)點相連，這意味著節(jié)點標注可以通過圖神經(jīng)網(wǎng)絡中的邊進行遷移。下圖 3 中的示例描述了圖神經(jīng)網(wǎng)絡中的感受野。假設 l 為 4，那么從相關距離的影響來看，我們需要用高斯核函數(shù)獲得權(quán)重鄰接矩陣 A。

圖 3：當 l 為 4 時，雙層 GCN 的感受野。這與卷積層不同。 使用 Graph-FCN 進行訓練 在 Graph-FCN 中，F(xiàn)CN-16s 實現(xiàn)節(jié)點分類和圖模型在小型特征圖中的初始化。同時，雙層 GCN 獲取圖中節(jié)點的分類結(jié)果。研究者分別計算這兩部分輸出的交叉熵損失。和 FCN-16s 模型一樣，Graph-FCN 也以端到端模式進行訓練。Graph-FCN 網(wǎng)絡結(jié)構(gòu)如下圖 4 所示：

圖 4：Graph-FCN 的結(jié)構(gòu)示意圖。該模型有兩個輸出和兩個損失 L1 和 L2。它們共享卷積層提取特征的權(quán)重。L1 通過 output1 計算得到，L2 通過 output2 計算得到。通過最小化 L1 和 L2，F(xiàn)CN-16s 的性能得到了提升。 實驗 研究者在 VOC2012 數(shù)據(jù)集上對模型進行測試，實驗結(jié)果表明 Graph-FCN 的性能優(yōu)于原始 FCN 模型。

表 1：Graph-FCN 和 FCN-16s 的性能對比情況。

圖 5：圖像語義分割結(jié)果。第二列是 Graph-FCN 的結(jié)果，第三列是 FCN-16s 的結(jié)果，第四列是 ground truth。