重新思考跨域行人檢測(cè)：無(wú)實(shí)例單階段檢測(cè)器的背景聚焦分布對(duì)齊框架

大家好！我是蔡彥成https://cademic.html，目前是即將入學(xué)的劍橋大學(xué)一年級(jí)博士生。

我很高興向大家介紹我于復(fù)旦大學(xué)陳濤老師組完成的第一作者研究工作Rethinking Cross-Domain Pedestrian Detection: A Background-Focused Distribution Alignment Framework for Instance-free One-Stage Detectors，該文章已經(jīng)被頂級(jí)期刊IEEE Transactions on Image Processing （T-IP）接收。

文章鏈接：

https://ieeexplore.ieee.org/document/10231122

在CVer公眾號(hào)后臺(tái)回復(fù)：BFDA，可下載本論文pdf

在進(jìn)行跨域目標(biāo)檢測(cè)和行人檢測(cè)任務(wù)時(shí)，研究人員針對(duì)諸如 Faster RCNN 等雙階段檢測(cè)器，提出了許多有效的算法框架，例如實(shí)例級(jí)特征對(duì)齊等。然而，從實(shí)際應(yīng)用的角度來(lái)看，像 YOLOv5 這樣的單階段檢測(cè)器具備更快的處理速度。然而，由于單階段檢測(cè)器實(shí)例級(jí)特征難以獲得，其跨域?qū)R存在前景-背景錯(cuò)誤對(duì)齊問(wèn)題，即【源域圖像中的前景特征與目標(biāo)域圖像中的背景特征被錯(cuò)誤地對(duì)齊】或【源域背景與目標(biāo)域前景被錯(cuò)誤地對(duì)齊】。下圖展示了前景-背景錯(cuò)誤對(duì)齊問(wèn)題。

Figure 1. 前景-背景特征錯(cuò)誤對(duì)齊問(wèn)題和背景特征的重要性。

Figure 2. 典型圖像級(jí)跨域自適應(yīng)（第一行）和BFDA（第二行）的特征圖演化過(guò)程圖示。

為了解決這一問(wèn)題，我們系統(tǒng)地分析了前景和背景在圖像級(jí)跨域?qū)R中的重要性，并認(rèn)識(shí)到在圖像級(jí)跨域?qū)R中，背景起著更為關(guān)鍵的作用。因此，本文提出了一種新穎的框架，即背景聚焦分布對(duì)齊（Background-Focused Distribution Alignment，BFDA），來(lái)訓(xùn)練域自適應(yīng)的單階段行人檢測(cè)器。具體來(lái)說(shuō)，BFDA 首先將背景特征與整個(gè)圖像特征圖解耦，然后通過(guò)一種長(zhǎng)短程域判別器將它們進(jìn)行對(duì)齊。

Figure 3. 完整的BFDA框架結(jié)構(gòu)，分為四個(gè)核心部分：YOLOv5基檢測(cè)器，背景解耦模塊（BDM），特征生成模塊（FGM），長(zhǎng)短程域判別器（LSD）。

大量實(shí)驗(yàn)表明，與主流領(lǐng)域適應(yīng)技術(shù)相比，BFDA 顯著增強(qiáng)了單階段和雙階段檢測(cè)器的跨域行人檢測(cè)性能。此外，通過(guò)采用高效的單階段檢測(cè)器（YOLOv5），BFDA在NVIDIA Tesla V100上可以達(dá)到217.4 FPS（640×480像素）（是現(xiàn)有框架FPS的7~12倍），這對(duì)于實(shí)際應(yīng)用具有非常重要的意義。

Figure 4. 在 Cityscapes -> Foggy Cityscapes 和 Cityscapes -> Caltech 兩個(gè)實(shí)驗(yàn)設(shè)置下的跨域行人檢測(cè)結(jié)果對(duì)比，明顯BFDA可以解決傳統(tǒng)圖像級(jí)跨域?qū)R方法存在的前景-背景特征錯(cuò)誤對(duì)齊問(wèn)題。

我們的貢獻(xiàn)總結(jié)如下：

（1）我們的研究揭示了單階段行人檢測(cè)器在執(zhí)行圖像級(jí)特征對(duì)齊時(shí)所面臨的前景-背景特征錯(cuò)誤對(duì)齊問(wèn)題。此外，我們發(fā)現(xiàn)在實(shí)現(xiàn)跨域行人檢測(cè)時(shí)，確保背景特征的域間一致性是至關(guān)重要但未被充分重視的方面。據(jù)我們所知，我們是第一個(gè)提出在跨域檢測(cè)中專注于背景對(duì)齊的研究。

（2）我們提出了一種新的背景聚焦跨域行人檢測(cè)框架，包括三個(gè)關(guān)鍵模塊：背景解耦模塊（BDM）、特征生成模塊（FGM）和基于并行Transformer-CNN的長(zhǎng)短程域鑒別器（LSD）。這一框架通過(guò)將背景特征從原始特征圖中解耦，實(shí)現(xiàn)了純背景特征對(duì)齊，從而有效緩解了前景-背景特征不匹配問(wèn)題。

（3）我們使用BFDA在跨域行人檢測(cè)上進(jìn)行了實(shí)驗(yàn)，結(jié)果表明所提出的BFDA在單階段檢測(cè)器YOLOv5上能夠?qū)崿F(xiàn)最先進(jìn)的性能。