人類和 DNN 的目標識別穩(wěn)健性比較

深度神經(jīng)網(wǎng)絡在很多任務上都已取得了媲美乃至超越人類的表現(xiàn)，但其泛化能力仍遠不及人類。德國蒂賓根大學等多所機構近期的一篇論文對人類和 DNN 的目標識別穩(wěn)健性進行了行為比較，并得到了一些有趣的見解。機器之心對該論文進行了編譯介紹。

摘要

我們通過 12 種不同類型的圖像劣化（image degradation）方法，比較了人類與當前的卷積式深度神經(jīng)網(wǎng)絡（DNN）在目標識別上的穩(wěn)健性。首先，對比三種著名的 DNN（ResNet-152、VGG-19、GoogLeNet），我們發(fā)現(xiàn)不管對圖像進行怎樣的操作，幾乎所有情況下人類視覺系統(tǒng)都更為穩(wěn)健。我們還觀察到，當信號越來越弱時，人類和 DNN 之間的分類誤差模式之間的差異會逐漸增大。其次，我們的研究表明直接在畸變圖像上訓練的 DNN 在其所訓練的同種畸變類型上的表現(xiàn)總是優(yōu)于人類，但在其它畸變類型上測試時，DNN 卻表現(xiàn)出了非常差的泛化能力。比如，在椒鹽噪聲上訓練的模型并不能穩(wěn)健地應對均勻白噪聲，反之亦然。因此，訓練和測試之間噪聲分布的變化是深度學習視覺系統(tǒng)所面臨的一大關鍵難題，這一難題可通過終身機器學習方法而系統(tǒng)地解決。我們的新數(shù)據(jù)集包含 8.3 萬個精心度量的人類心理物理學試驗，能根據(jù)人類視覺系統(tǒng)設置的圖像劣化提供對終身穩(wěn)健性的有用參考。

圖 1：在（有可能畸變的）ImageNet 圖像上從頭開始訓練的 ResNet-50 的分類表現(xiàn)。（a）在標準的彩色圖像上訓練后的模型在彩色圖像上的測試表現(xiàn)接近完美（優(yōu)于人類觀察者）。（b）類似地，在添加了均勻噪聲的圖像上訓練和測試的模型也優(yōu)于人類。（c）顯著的泛化問題：在添加了椒鹽噪聲的圖像上訓練的模型在具有均勻噪聲的圖像上進行測試時，表現(xiàn)時好時壞——即使這兩種噪聲類型在人眼看來并沒有太大的區(qū)別。

1 引言

1.1 作為人類目標識別模型的深度神經(jīng)網(wǎng)絡

人類在日常生活中進行的視覺識別速度很快，似乎也毫不費力，而且很大程度無關視角和物體的方向 [Biederman (1987)]。在單次注視過程中完成的主要由中心凹進行的快速識別被稱為“核心目標識別（core object recognition）”[DiCarlo et al. (2012)]。比如，在查看“標準的”圖像時，我們能夠在不到 200 毫秒的單次注視內(nèi)可靠地辨別出視野中心的目標。[DiCarlo et al. (2012); Potter (1976); Thorpe et al. (1996)]。由于目標識別速度很快，所以研究者常認為核心目標識別主要是通過前饋處理實現(xiàn)的，盡管反饋連接在靈長類大腦中無處不在。靈長類大腦中的目標識別據(jù)信是通過腹側(cè)視覺通路實現(xiàn)的，這是一個由區(qū)域 V1-V2-V4-IT 組成的分層結(jié)構，來自視網(wǎng)膜的信息會首先傳遞至 V1 的皮層 [Goodale and Milner (1992)]。

就在幾年前，動物視覺系統(tǒng)還是已知的唯一能夠進行種類廣泛的視覺目標識別的視覺系統(tǒng)。但這種情況已然改變，在數(shù)百萬張有標注圖像上訓練之后的腦啟發(fā)式深度神經(jīng)網(wǎng)絡已經(jīng)在自然場景圖像中的物體分類上達到了人類水平 [Krizhevsky et al. (2012)]。DNN 現(xiàn)在可用于各種類型的任務，并且創(chuàng)造了新的當前最佳，甚至在一些幾年前還被認為需要數(shù)十年時間才能通過算法解決的任務上取得了超越人類的表現(xiàn) [He et al. (2015); Silver et al. (2016)]。因為 DNN 和人類能達到相近的準確度，所以已有一些工作開始研究 DNN 和人類視覺的相似和不同之處。一方面，由于大腦本身的復雜性和神經(jīng)元的多樣性，所以 DNN 的網(wǎng)絡單元得到了很大的簡化 [Douglas and Martin (1991)]。另一方面，一個模型的能力往往并不取決于對原有系統(tǒng)的復現(xiàn)，而在于模型取得原系統(tǒng)的重要方面并將其從實現(xiàn)的細節(jié)中抽象出來的能力 [如 Box (1976); Kriegeskorte (2015)]。

人類視覺系統(tǒng)最顯著的性質(zhì)之一是穩(wěn)健的泛化能力。即使輸入分布發(fā)生很大的變化（比如不同的光照條件和天氣類型），人類視覺系統(tǒng)也能輕松應對。比如，即使在一個物體前面有雨滴或雪花，人類對物體的識別也基本不會出錯。盡管人類在一生中肯定會遇到很多這樣的變化情況（對于 DNN，即是我們所說的“訓練時間”），但似乎人類的泛化方式非常普適，并不局限于之前看過的同種分布。否則我們將無法理解存在某些全新之處的場景，之前未見過的噪聲也會讓我們束手無策。即使一個人的頭上還從未被撒過彩片碎紙，但他仍然可以毫無壓力地辨認出花車巡游中的目標。很自然，這樣通用穩(wěn)健的機制并不只是動物視覺系統(tǒng)所需的，要讓人工視覺系統(tǒng)具備超出其訓練時間所用分布的“眼界”，從而處理各種各樣的視覺任務，也將需要類似的機制。用于自動駕駛的深度學習可能就是其中一個突出案例：即使系統(tǒng)在訓練時間從沒見過彩片碎紙雨，在花車巡游時也需要有穩(wěn)健的分類表現(xiàn)。因此，從機器學習角度看，因為終身機器學習所需的泛化能力并不依賴于在測試時間使用獨立同分布（i.i.d.）樣本的標準假設，所以對一般噪聲的穩(wěn)健性可用作終身機器學習的高度相關的案例 [Chen and Liu (2016)]。

1.2 泛化能力比較