- 人類和 DNN 的目標識別穩(wěn)健性比較

圖 4：使用可能畸變的數據訓練的網絡的分類準確度（百分數）。行表示中等難度的不同測試條件（括號中給出了具體條件，單位同圖 3）。列對應按不同方式訓練的網絡（最左列：用于比較的人類觀察者；沒有人類在椒鹽噪聲方面的數據）。所有的網絡都是在（可能處理過的）16-class-ImageNet 上從頭開始訓練得到的。紅框標記了對應網絡的訓練數據中使用的處理方法；此外，加上了下劃線的結果表示“灰度”是訓練數據的一部分，因為某些畸變方法包含了完全對比度的灰度圖像。模型 A1-A9：在單一畸變上訓練的 ResNet-50（100 epoch）。模型 B1-B9：在均勻噪聲和另一種畸變上訓練的 ResNet-50（200 epoch）。模型 C1 和 C2：在除一種畸變外的所有畸變上訓練的 ResNet-50（200 epoch）。隨機選中的幾率是十六分之一，即 6.25%。

我們?yōu)槊糠N畸變直接在 16-class-ImageNet 圖像（有可能進行了圖像處理）上從頭開始訓練一個網絡。圖 4（A1-A9）展示了訓練的結果。我們發(fā)現，這些特定的網絡在其所訓練的圖像處理類型上總是優(yōu)于人類觀察者的表現（即圖中對角線上的優(yōu)良結果）。這表明，當前所用的架構（比如 ResNet-50）和訓練方法（標準的優(yōu)化器和訓練過程）足以“解決”獨立同分布的訓練/測試條件下的畸變。我們不僅能解決 Dodge and Karam (2017a) 觀察到的人類與 DNN 表現的差異問題（他們在畸變上對網絡進行了精細調節(jié)，但得到的 DNN 未達到人類水平），而且能在這方面超越人類的水平。盡管人類視覺系統(tǒng)的結構肯定更為復雜 [Kietzmann et al. (2017)]，但看起來對處理這類圖像處理問題來說似乎并不是必需的。

但是，正如之前指出的那樣，穩(wěn)健的泛化能力的關鍵不是解決事先已知的特定問題。因此，我們測試了在特定畸變類型上訓練的網絡在另一些畸變上的表現。圖 4 A1-A9 中非對角線上的數據即為實驗結果。整體而言，我們發(fā)現，在一些案例中，在特定畸變上訓練能稍微提升在其它畸變上的表現，但也有一些案例給出了相反的結果（比較對象是在彩色圖像上訓練的純 ResNet-50，即圖中的 A1）。所有網絡在椒鹽噪聲以及均勻噪聲上的表現都接近隨機亂選，即使是在各自相應的其它噪聲模型上直接訓練的網絡也是如此。因為這兩種類型的噪聲在人眼看來其實差別并不大（如圖 1(c) 所示），所以這一結果可能還是頗讓人驚訝。因此，在一種畸變類型上訓練的網絡并不總是能實現在其它畸變上的表現提升。

因為只在單一一種畸變上訓練似乎不足以為 DNN 帶來強大的泛化能力，所以我們還在另外兩種設置上訓練了同樣的架構（ResNet-50）。圖 4 中 B1-B9 模型展示了在一種特定的畸變與均勻噪聲的組合上訓練后的結果（來自每種圖像處理方法的訓練數據各 50%）。選擇均勻噪聲的原因是這似乎是對所有網絡而言最困難的畸變，因此將這種特定畸變納入訓練數據可能是有益的。此外，我們還在除去了一種畸變（除去了均勻噪聲或椒鹽噪聲）之外的所有畸變上訓練了模型 C1 和 C2。

我們發(fā)現，相比于模型 A1-A9，模型 B1-B9 的目標識別表現有所提升——不管是它們實際訓練的畸變上（圖 4 中的對角線上的紅框），還是在其它未在訓練數據中出現的畸變上。但是，這一提升的原因很大程度上可能是模型 B1-B9 訓練了 200 epoch，而不是像 A1-A9 那樣訓練了 100 epoch，因為模型 B9（在均勻噪聲上訓練和測試，200 epoch）的表現也由于模型 A9（在均勻噪聲上訓練和測試，100 epoch）。因此，當存在嚴重畸變時，訓練更長時間可能更有用，但將其它畸變集成到訓練過程中卻似乎并不具有普適的益處。此外，我們還發(fā)現，即使對于單個模型來說，在其所訓練的所有 8 種畸變上都達到較高的準確度也是可能（模型 C1 和 C2），但是對于剩下的兩種畸變（均勻噪聲或椒鹽噪聲），目標識別準確度卻僅有 11%-14%；比起在同一畸變上訓練得到的專用網絡（準確度超過 70%），這一準確度離隨機亂選要近得多。

總的來說，這些發(fā)現表明僅使用畸變來進行數據增強可能不足以克服我們發(fā)現的泛化問題。問題也許應該變一變了——不再是“為什么 DNN 的泛化能力這么好（在獨立同分布條件下）？”[Zhang et al. (2016)]，而變成“為什么 DNN 的泛化能力這么糟（在非獨立同分布條件下）？”目前被視為人類目標識別的計算模型的 DNN 將如何解決這一難題？還有待未來研究。這個激動人心的領域處于認知科學/視覺感知和深度學習領域的交叉點，會從這兩個領域同時汲取靈感和新思想：計算機視覺的域適應子領域（參閱 Patel et al. (2015) 的綜述）正在研究不受輸入分布變化所影響的穩(wěn)健型機器推理方法，同時人類視覺研究領域也正在積累證據證明局部增益控制機制的優(yōu)勢。這些標準化過程似乎對動物和人類的穩(wěn)健視覺的很多方面而言都至關重要 [Carandini and Heeger (2012)]，也能預測人類視覺數據 [Berardino et al. (2017); Schütt and Wichmann (2017)]，并以證明可用于計算機視覺 [Jarrett et al. (2009); Ren et al. (2016)]。神經標準化過程與 DNN 的泛化能力之間是否存在關聯(lián)？這將是值得未來研究一個有趣方向。

5 總結