「房間里的大象」：讓目標(biāo)檢測器一臉懵逼

可靠的圖像理解系統(tǒng)對于自動駕駛、醫(yī)學(xué)成像等應(yīng)用至關(guān)重要。對抗樣本被認(rèn)為是一種有針對性的小型擾動。約克大學(xué)和多倫多大學(xué)的研究者在本文中展示了另一種擾動。與對抗樣本相反，這些擾動不受范數(shù)的約束。它們把一幅圖像中的物體放置（「移植」）到另一幅圖像的新位置。這種做法對目標(biāo)檢測器的結(jié)果有多種非局部影響，比如房間里走動的大象讓目標(biāo)檢測器把沙發(fā)認(rèn)成椅子，或讓杯子、書消失。本文通過一系列實驗證明了這一點，并提出了一些可能的解釋。

Gary Marcus 在其推特上評論道：這個針對機(jī)器學(xué)習(xí)系統(tǒng)魯棒性的技術(shù)問題給自駕汽車的實現(xiàn)提出了相當(dāng)大的挑戰(zhàn)。

實驗

作者從一些定性結(jié)果開始。圖 1（a）展示了一種當(dāng)前最優(yōu)目標(biāo)檢測方法（具備 NASNet 骨干網(wǎng)絡(luò) [20] 的 Faster-RCNN [9]）應(yīng)用于來自 Microsoft COCO 目標(biāo)檢測基準(zhǔn) [6] 的客廳圖像的結(jié)果，目標(biāo)檢測器是在該基準(zhǔn)數(shù)據(jù)集上訓(xùn)練的。作者利用真實數(shù)據(jù)，從另一幅圖像中提取了一個目標(biāo)（大象）及其掩碼，并將其「移植」到客廳圖像的不同位置上。作者把移植的目標(biāo)稱為 T。結(jié)果可以在圖 1 b-i 中看到。當(dāng)目標(biāo) T 沿著圖像平移時，作者發(fā)現(xiàn)了幾個有趣的現(xiàn)象：

檢測不穩(wěn)定：目標(biāo)有時無法被檢測到，或者能夠被檢測到但置信度出現(xiàn)急劇變化。

目標(biāo) T 被檢測到的身份不一致（在圖 1-f 中被當(dāng)成椅子）：根據(jù)位置變化，目標(biāo)可能被檢測為各種不同的東西。

目標(biāo)帶來非局部影響：未與 T 重疊的目標(biāo)可能會變換類別、邊界框，或者完全消失。

圖 1：在房間中檢測一只大象。（a）：當(dāng)前最優(yōu)目標(biāo)檢測器在客廳圖像里檢測到多個目標(biāo)；（b,d,e,g,i）：移植的目標(biāo)（大象）在很多情況下和任意位置未被檢測到;（f）：目標(biāo)類別被誤認(rèn)為是「椅子」。該目標(biāo)（大象）具有非局部影響，導(dǎo)致其它目標(biāo)消失（圖 d、f 中的杯子，e、i 中的書）或變換類別（圖 e 中的椅子被誤認(rèn)為是沙發(fā)）。

論文：The Elephant in the Room

論文鏈接：https://arxiv.org/abs/1808.03305

摘要：我們展示了一系列當(dāng)前最優(yōu)目標(biāo)檢測器的常見故障。這些故障是通過用包含訓(xùn)練目標(biāo)的另一個子圖像替換圖像子區(qū)域而獲得的。我們將這種做法稱為「目標(biāo)移植」（object transplanting）。結(jié)果表明，以這種方式修改圖像會對目標(biāo)檢測造成非局部影響。根據(jù)目標(biāo)檢測器的結(jié)果，目標(biāo)位置的微小變化會影響目標(biāo)以及圖像中其他對象的類別確認(rèn)。對此，我們提供了一些分析，并提出了一些可能的解釋。

實驗中采用的圖像均來自 MS-COCO 數(shù)據(jù)集 2017 版的驗證集。除非另有說明，我們采用的所有模型均來自 Tensorflow 目標(biāo)檢測 API [5]。因此，我們的實驗易于復(fù)現(xiàn)，并且可以訪問一組不同的當(dāng)前最優(yōu)目標(biāo)檢測架構(gòu)。此外，如無特殊情況，我們僅使用在 MS-COCO 上訓(xùn)練的模型。這些模型可以從相應(yīng)的 API 網(wǎng)頁下載，還可以利用官方提供的代碼將模型應(yīng)用于圖像。表 2 列出了我們使用的模型。

測試圖像生成：圖 1 中的例子看起來有點不自然，我們提供了更多隨機(jī)生成的例子。簡而言之，通過挑選一對隨機(jī)圖像 I、J，將隨機(jī)目標(biāo)從圖像 J 移植到圖像 I 中，然后測試目標(biāo)檢測的效果。

表 2：實驗中所用模型，及其平均準(zhǔn)確率（mAP）。

共現(xiàn)目標(biāo)

我們已經(jīng)展示了隨機(jī)選擇一對圖像和待移植目標(biāo)的結(jié)果?？梢哉f，想讓一個從未在同一圖像中看到兩個類別組合的網(wǎng)絡(luò)能夠在測試時成功地處理此類圖像有點期望過高。我們認(rèn)為，無論是在實際中還是理論上，要求每對目標(biāo)類別在訓(xùn)練集中共現(xiàn)都是不合理的。當(dāng)然，這對人類來說要求不高。人類不依靠語境也能識別物體，盡管需要的時間更長 [2]。

然而，我們現(xiàn)在轉(zhuǎn)向生成另一個極端的圖像：我們從圖像中復(fù)制一個目標(biāo)，并將其復(fù)制到同一圖像中的另一個位置。圖 2 顯示了 4 幅隨機(jī)挑選圖像的生成圖像的檢測結(jié)果。我們看到，這種效果也發(fā)生在這些圖像上。部分遮擋和語境似乎在這里發(fā)揮了作用。例如，在（b）欄的最下面一行，當(dāng)靠近電視機(jī)時，牛的腳會變成「遙控器」。當(dāng)植物的一部分被遮擋（d 欄，最后 2、3 行），但一個人的手在附近時，植物的底部被檢測為手提包或杯子。圖 2 中的結(jié)果都是使用 faster_rcnn_nas_coco 模型生成的。

圖 2：把目標(biāo)從圖像的某個位置移植到該圖像另一位置的效果。最上一行：原始檢測。后續(xù)每一行：通過復(fù)制移植目標(biāo)，相對于前一行新檢測到的目標(biāo)。

特征干擾

以下將展示特征干擾對檢測過程的不利影響，這可能是對檢測誤差的合理解釋。例如，考慮圖 3（a）中的檢測結(jié)果。一只部分可見的貓被檢測到并歸類為斑馬。我們證實，從不屬于實際目標(biāo)（cat）的像素中獲得的特征對指定的類有影響。這點同樣適用于目標(biāo)感興趣區(qū)域（ROI）以內(nèi)及以外的像素：在圖 3（b）中，我們將邊界框外的所有像素都設(shè)置為零。檢測結(jié)果不變。當(dāng)我們把邊界框內(nèi)的像素也歸零，留下屬于貓的像素時，得到的標(biāo)簽也會變成「貓」。這顯示了 ROI 內(nèi)像素的影響。然而，當(dāng)我們將 ROI 之外的背景強(qiáng)度隨機(jī)化時，標(biāo)簽會變成「狗」。這表明 ROI 之外的特征會影響檢測的最終結(jié)果。此次實驗是用 Yolov3[8] 方法的 PyTorch 端口執(zhí)行的，速度非?？?，產(chǎn)生的結(jié)果與目標(biāo)檢測的最新水平相當(dāng)。這種情況下的最終分類需要依賴來自卷積層單個網(wǎng)格單元的特征。

圖 3：特征干擾。（a）：一只部分可見的貓被檢測為斑馬；（b）：丟棄檢測邊界框外的所有像素并不能固定對象的分類，這表明 ROI 內(nèi)的特征可能會導(dǎo)致混淆；（c）：丟棄 ROI 內(nèi)的所有非「貓」像素也會導(dǎo)致固定的分類；（d）：在邊界框之外的范圍內(nèi)添加隨機(jī)噪聲再次導(dǎo)致錯誤的檢測結(jié)果，顯示了 ROI 外特征的影響。

超出檢測范圍的全局影響

在一項初步實驗中，我們將幾張沒有檢測到任何物體的圖像上傳至谷歌的 Vision API 網(wǎng)站。這些圖像是任意挑選的。本文中呈現(xiàn)出實驗結(jié)果，因為我們發(fā)現(xiàn)它值得進(jìn)一步探索。似乎其方法的 OCR 部分對移植目標(biāo)也表現(xiàn)出驚人的非局部影響。圖 4 顯示了這一點：鍵盤放置在圖像的兩個不同位置。盡管每個位置中鍵盤都遠(yuǎn)離標(biāo)志，但在每種情況下，標(biāo)志的檢測結(jié)果都是不同的。

圖 4：谷歌 OCR 上目標(biāo)移植的非局部影響。放置在圖像中兩個不同位置的鍵盤會導(dǎo)致對右側(cè)標(biāo)志中文本的不同解釋。頂部圖像的輸出是「dog bi」，底部是「La Cop」。

討論

我們提出了當(dāng)前目標(biāo)檢測器出現(xiàn)這些奇異行為的幾個可能原因。盡管我們報告了很多種現(xiàn)象，我們相信這些現(xiàn)象不是獨立的，某些現(xiàn)象之間存在一些共同的潛在原因。

部分遮擋：人們普遍認(rèn)為部分遮擋目前仍然是目標(biāo)檢測器的一大挑戰(zhàn)。能應(yīng)對部分遮擋被認(rèn)為是泛化的良好信號。實際上，我們測試的很多現(xiàn)代目標(biāo)檢測器都對部分遮擋具備很高的魯棒性。

上下文推理：對目前的目標(biāo)檢測器而言，明確地考慮語義級別的上下文并不常見，這意味著目標(biāo)類別之間的相互作用以及它們的相對空間布局（或可能的額外關(guān)系）是被編碼在網(wǎng)絡(luò)的推理過程中的。盡管很多方法聲稱整合了上下文推理，但更多地是在特征層面上，意味著全局圖像信息在某種程度上編碼在每一次推斷中。這和以前流行的明確使用上下文推理的研究相反。

特征干擾：現(xiàn)代目標(biāo)檢測器使用從卷積層中獲得的特征來生成最終的目標(biāo)類別和邊框預(yù)測。這些區(qū)域的尺寸是固定或矩形的。ROI 池化運算在感興趣區(qū)域的卷積特征圖子窗口上執(zhí)行特征的最大池化。這種運算受到以下事實的影響：

感興趣區(qū)域是矩形的。這意味著不屬于目標(biāo)的區(qū)域部分也會被池化，包括背景外觀以及目標(biāo)外觀。

特征圖的每個部分可能擁有一個很大的有效感受野。在實踐中，這意味著特征是從檢測目標(biāo)的邊框以外池化得到的。

一方面，來自目標(biāo)周圍的特征可以提供有用的語境線索來提升目標(biāo)檢測，特別是對于那些由于尺寸、部分遮擋等原因而不能提供足夠信息的目標(biāo)。另一方面，一味將額外特征混合至最終類別分?jǐn)?shù)可能會影響結(jié)果的正確性。

其它可能原因還包括：超出樣本分布、缺乏信號完整性、非極大值抑制等（詳見原文）。

我們相信特征干擾（如圖 3 所示）可能是多數(shù)觀察到的現(xiàn)象的根本原因，而那些由于部分遮擋或語境推理導(dǎo)致的現(xiàn)象則可能是該問題的特殊案例。

責(zé)任編輯：lq