DiffusionDet檢測(cè)范式實(shí)現(xiàn)良好性能

Diffusion model是目前非常火的圖片生成模型，其主要步驟是將原始圖像作為真實(shí)值，然后在上面添加多輪噪聲，后一輪的噪聲圖像只在上一輪圖像的基礎(chǔ)上生成，是一個(gè)十分標(biāo)準(zhǔn)的馬爾科夫鏈。訓(xùn)練時(shí)即學(xué)習(xí)其噪聲生成的過(guò)程，推理時(shí)即使用其逆過(guò)程。噪聲是以像素為基本單位。在本文中，以噪聲框?yàn)榛締挝唬ㄟ^(guò)生成的隨機(jī)噪聲框來(lái)推理出真實(shí)值，是一種十分新穎的推理思路。

常見的生成框有這么幾種，最簡(jiǎn)單的即滑動(dòng)窗口，然后是通過(guò)訓(xùn)練生成的檢測(cè)框，隨著并行計(jì)算的發(fā)展，滑動(dòng)窗口演化為錨框，隨后則是比較新的基于查詢的檢測(cè)范式。

我們提出了 DiffusionDet，這是一個(gè)新的框架，它將對(duì)象檢測(cè)表述為從噪聲框到對(duì)象框的去噪擴(kuò)散過(guò)程。在訓(xùn)練階段，目標(biāo)框從真實(shí)框擴(kuò)散到隨機(jī)分布，模型學(xué)會(huì)逆轉(zhuǎn)這個(gè)噪聲過(guò)程。在推理中，該模型以漸進(jìn)的方式將一組隨機(jī)生成的框細(xì)化為輸出結(jié)果。對(duì)包括 MS-COCO 和 LVIS 在內(nèi)的標(biāo)準(zhǔn)基準(zhǔn)進(jìn)行的廣泛評(píng)估表明，與之前行之有效的檢測(cè)器相比，DiffusionDet 實(shí)現(xiàn)了良好的性能。我們的工作在物體檢測(cè)方面帶來(lái)了兩個(gè)重要發(fā)現(xiàn)。首先，隨機(jī)框雖然與預(yù)定義錨點(diǎn)或?qū)W習(xí)查詢有很大不同，但也是有效的候選對(duì)象。其次，目標(biāo)檢測(cè)是代表性的感知任務(wù)之一，可以通過(guò)生成的方式解決。

1.介紹

對(duì)象檢測(cè)旨在為一幅圖像中的目標(biāo)對(duì)象預(yù)測(cè)一組邊界框和相關(guān)類別標(biāo)簽。作為一項(xiàng)基本的視覺識(shí)別任務(wù)，它已成為許多相關(guān)識(shí)別場(chǎng)景的基石，例如實(shí)例分割 ［33， 48］，姿態(tài)估計(jì) ［9， 20］，動(dòng)作識(shí)別 ［29， 73］，對(duì)象跟蹤 ［41， 58］ 和視覺關(guān)系檢測(cè) ［40， 56］。

現(xiàn)代對(duì)象檢測(cè)方法隨著候選對(duì)象的發(fā)展而不斷發(fā)展，即從經(jīng)驗(yàn)對(duì)象先驗(yàn) ［24、53、64、66］ 到可學(xué)習(xí)對(duì)象查詢 ［10，81，102］）。具體來(lái)說(shuō)，大多數(shù)檢測(cè)器通過(guò)對(duì)經(jīng)驗(yàn)設(shè)計(jì)的候選對(duì)象定義代理回歸和分類來(lái)解決檢測(cè)任務(wù)，例如滑動(dòng)窗口 ［25、71］、區(qū)域建議 ［24、66］、錨框 ［50、64］ 和參考點(diǎn) ［ 17， 97， 101］。最近，DETR ［10］ 提出可學(xué)習(xí)的對(duì)象查詢來(lái)消除手工設(shè)計(jì)的組件并建立端到端的檢測(cè)管道，引起了人們對(duì)基于查詢的檢測(cè)范式的極大關(guān)注 ［21、46、81、102］。

圖 1. 用于對(duì)象檢測(cè)的擴(kuò)散模型。（a） 擴(kuò)散模型，其中 q 是擴(kuò)散過(guò)程，pθ 是逆過(guò)程。（b） 圖像生成任務(wù)的擴(kuò)散模型。（c） 我們建議將目標(biāo)檢測(cè)表述為從噪聲框到目標(biāo)框的去噪擴(kuò)散過(guò)程

雖然這些作品實(shí)現(xiàn)了簡(jiǎn)單有效的設(shè)計(jì)，但它們?nèi)匀灰蕾囉谝唤M固定的可學(xué)習(xí)查詢。一個(gè)自然的問(wèn)題是：是否有一種更簡(jiǎn)單的方法甚至不需要可學(xué)習(xí)查詢的替代？

我們通過(guò)設(shè)計(jì)一個(gè)新穎的框架來(lái)回答這個(gè)問(wèn)題，該框架直接從一組隨機(jī)框中檢測(cè)對(duì)象。從不包含需要在訓(xùn)練中優(yōu)化的可學(xué)習(xí)參數(shù)的純隨機(jī)框開始，我們期望逐漸細(xì)化這些框的位置和大小，直到它們完美地覆蓋目標(biāo)對(duì)象。這種噪聲到框的方法不需要啟發(fā)式對(duì)象先驗(yàn)，也不需要可學(xué)習(xí)的查詢，進(jìn)一步簡(jiǎn)化了對(duì)象候選并推動(dòng)了檢測(cè)流程的發(fā)展。

我們的動(dòng)機(jī)如圖 1 所示。我們認(rèn)為噪聲到框范式的哲學(xué)類似于去噪擴(kuò)散模型 ［15、35、79］ 中的噪聲到圖像過(guò)程，它們是一類可能性基于模型通過(guò)學(xué)習(xí)去噪模型逐漸去除圖像中的噪聲來(lái)生成圖像。擴(kuò)散模型在許多生成任務(wù) ［3， 4， 37， 63， 85］ 中取得了巨大成功，并開始在圖像分割等感知任務(wù)中進(jìn)行探索 ［1， 5， 6， 12， 28， 42， 89］。然而，據(jù)我們所知，還沒有成功地將其應(yīng)用于目標(biāo)檢測(cè)的現(xiàn)有技術(shù)。

在這項(xiàng)工作中，我們提出了 DiffusionDet，它通過(guò)在邊界框的位置（中心坐標(biāo)）和大?。▽挾群透叨龋┑目臻g上將檢測(cè)作為生成任務(wù)來(lái)處理擴(kuò)散模型的對(duì)象檢測(cè)任務(wù)圖片。在訓(xùn)練階段，將由方差時(shí)間表 ［35］ 控制的高斯噪聲添加到真實(shí)值以獲得噪聲框。然后，這些噪聲框用于從骨干編碼器的輸出特征圖中裁剪感興趣區(qū)域 （RoI） 的 ［33、66］ 特征，例如 ResNet ［34］、Swin Transformer ［54］。最后，這些 RoI 特征被發(fā)送到檢測(cè)解碼器，該解碼器被訓(xùn)練來(lái)預(yù)測(cè)沒有噪聲的真實(shí)值。有了這個(gè)訓(xùn)練目標(biāo)，DiffusionDet 就能夠從隨機(jī)框中預(yù)測(cè)出真實(shí)框。在推理階段，DiffusionDet 通過(guò)反轉(zhuǎn)學(xué)習(xí)的擴(kuò)散過(guò)程生成邊界框，該過(guò)程將嘈雜的先驗(yàn)分布調(diào)整為邊界框上的學(xué)習(xí)分布。

DiffusionDet 的 noise-to-box 管道具有 Once-for-All 的吸引人優(yōu)勢(shì)：我們可以訓(xùn)練網(wǎng)絡(luò)一次，并在推理的不同設(shè)置下使用相同的網(wǎng)絡(luò)參數(shù)。（1） 動(dòng)態(tài)框：利用隨機(jī)框作為候選對(duì)象，DiffusionDet 將訓(xùn)練和評(píng)估分離。DiffusionDet 可以用 Ntrain 隨機(jī)框進(jìn)行訓(xùn)練，同時(shí)用 Neval 隨機(jī)框進(jìn)行評(píng)估，其中 Neval 是任意的，不需要等于 Ntrain。（2） 漸進(jìn)細(xì)化：擴(kuò)散模型通過(guò)迭代細(xì)化使 DiffusionDet 受益。我們可以調(diào)整去噪采樣步數(shù)以提高檢測(cè)精度或加快推理速度。這種靈活性使 Diffusion-Det 能夠適應(yīng)對(duì)精度和速度有不同要求的不同檢測(cè)場(chǎng)景

我們?cè)?MS-COCO ［51］ 數(shù)據(jù)集上評(píng)估 DiffusionDet。使用 ResNet-50 ［34］ 主干，DiffusionDet 使用單個(gè)采樣步驟實(shí)現(xiàn) 45.5 AP，這顯著優(yōu)于 Faster R-CNN ［66］（40.2 AP）、DETR ［10］（42.0 AP）并且與稀疏 R 相當(dāng)-CNN ［81］ （45.0 ）。此外，我們可以通過(guò)增加采樣步驟的數(shù)量進(jìn)一步將 DiffusionDet 提高到 46.2 AP。相反，現(xiàn)有的方法 ［10， 81， 102］ 不具有這種細(xì)化特性，并且在以迭代方式進(jìn)行評(píng)估時(shí)會(huì)出現(xiàn)顯著的性能下降。此外，我們進(jìn)一步在具有挑戰(zhàn)性的 LVIS ［31］ 數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，DiffusionDet 在這個(gè)長(zhǎng)尾數(shù)據(jù)集上也表現(xiàn)良好，使用 Swin-Base ［54］ 主干實(shí)現(xiàn)了 42.1 AP

我們的貢獻(xiàn)總結(jié)如下：

? 我們將目標(biāo)檢測(cè)制定為生成去噪過(guò)程，據(jù)我們所知，這是第一項(xiàng)將擴(kuò)散模型應(yīng)用于目標(biāo)檢測(cè)的研究。

? 我們的噪聲到框檢測(cè)范例具有幾個(gè)吸引人的特性，例如動(dòng)態(tài)框的解耦訓(xùn)練和評(píng)估階段以及漸進(jìn)式細(xì)化。

? 我們對(duì)MS-COCO 和LVIS 基準(zhǔn)進(jìn)行了大量實(shí)驗(yàn)。DiffusionDet 相對(duì)于之前行之有效的檢測(cè)器實(shí)現(xiàn)了良好的性能

2.相關(guān)工作

物體檢測(cè)。大多數(shù)現(xiàn)代對(duì)象檢測(cè)方法對(duì)經(jīng)驗(yàn)對(duì)象先驗(yàn)執(zhí)行框回歸和類別分類，例如建議框 ［24、66］、錨點(diǎn) ［50、64、65］、點(diǎn) ［84、87、101］。最近，Carion 等人。提出 DETR ［10］ 使用一組固定的可學(xué)習(xí)查詢來(lái)檢測(cè)對(duì)象。從那時(shí)起，基于查詢的檢測(cè)范式引起了極大的關(guān)注，并激發(fā)了一系列后續(xù)工作［46、52、57、80、81、102］。在這項(xiàng)工作中，我們使用 DiffusionDet 進(jìn)一步推進(jìn)了對(duì)象檢測(cè)管道的開發(fā)，如圖 2 所示。

圖 2. 不同對(duì)象檢測(cè)范例的比較。（a） 從經(jīng)驗(yàn)對(duì)象先驗(yàn)檢測(cè) ［64， 66］；（b） 從可學(xué)習(xí)查詢中檢測(cè) ［10、81、102］；（c） 從隨機(jī)框（我們的）中檢測(cè)。

擴(kuò)散模型。作為一類深度生成模型，擴(kuò)散模型［35，77，79］從隨機(jī)分布的樣本開始，通過(guò)漸進(jìn)的去噪過(guò)程恢復(fù)數(shù)據(jù)樣本。擴(kuò)散模型最近在計(jì)算機(jī)視覺 ［4， 19， 30， 32， 36， 60， 63， 68， 69， 74， 96， 99］，自然語(yǔ)言處理 ［3， 27， 47］ 等領(lǐng)域取得了顯著成果，音頻處理［38、43、45、62、82、92、95］，跨學(xué)科應(yīng)用［2、37、39、70、85、91、94］等。擴(kuò)散模型的更多應(yīng)用可以在最近的調(diào)查 ［8， 96］。

感知任務(wù)的擴(kuò)散模型。雖然擴(kuò)散模型在圖像生成方面取得了巨大成功 ［15，35，79］，但它們?cè)谂袆e任務(wù)中的潛力尚未得到充分探索。一些先驅(qū)作品嘗試采用擴(kuò)散模型進(jìn)行圖像分割任務(wù) ［1， 5， 6， 12， 28， 42， 89］，例如，Chen 等人。［12］ 采用比特?cái)U(kuò)散模型 ［13］ 對(duì)圖像和視頻進(jìn)行全景分割 ［44］。然而，盡管對(duì)這個(gè)想法很感興趣，但以前沒有成功地將生成擴(kuò)散模型用于對(duì)象檢測(cè)的解決方案，其進(jìn)展明顯落后于分割。我們認(rèn)為這可能是因?yàn)榉指钊蝿?wù)是以圖像到圖像的方式處理的，這在概念上更類似于圖像生成任務(wù)，而對(duì)象檢測(cè)是一個(gè)集合預(yù)測(cè)問(wèn)題［10］，需要分配候選對(duì)象［ 10， 49， 66］ 到真實(shí)對(duì)象。據(jù)我們所知，這是第一個(gè)采用擴(kuò)散模型進(jìn)行目標(biāo)檢測(cè)的工作。

圖 3. DiffusionDet 框架。圖像編碼器從輸入圖像中提取特征表示。檢測(cè)解碼器將噪聲框作為輸入并預(yù)測(cè)類別分類和框坐標(biāo)。在訓(xùn)練期間，噪聲框是通過(guò)向真實(shí)值添加高斯噪聲來(lái)構(gòu)建的。在推論中，噪聲框是從高斯分布中隨機(jī)采樣的。

3.實(shí)現(xiàn)方式

3.1預(yù)備知識(shí)

物體檢測(cè)。對(duì)象檢測(cè)的學(xué)習(xí)目標(biāo)是輸入-目標(biāo)對(duì)（x， b， c），其中x是輸入圖像，b和c分別是圖像x中對(duì)象的一組邊界框和類別標(biāo)簽。更具體地說(shuō)，我們將集合中的第 i 個(gè)框表示為，其中是邊界框的中心坐標(biāo)，分別是該邊界框的寬度和高度

擴(kuò)散模型。擴(kuò)散模型 ［35， 75–77］ 是一類受非平衡熱力學(xué)啟發(fā)的基于似然的模型 ［77， 78］。這些模型通過(guò)逐漸向樣本數(shù)據(jù)中添加噪聲來(lái)定義擴(kuò)散前向過(guò)程的馬爾可夫鏈。前向噪聲過(guò)程定義為

它通過(guò)向 z0 添加噪聲將數(shù)據(jù)樣本 z0 轉(zhuǎn)換為 t ∈ {0， 1， 。..， T } 的潛在噪聲樣本 zt。

，βs 表示噪聲方差表 ［35］。在訓(xùn)練期間，神經(jīng)網(wǎng)絡(luò) fθ （zt， t） 被訓(xùn)練為通過(guò)最小化帶有 l2 損失的訓(xùn)練目標(biāo)從 zt 預(yù)測(cè) z0 ［35］：

在推理階段，使用模型 fθ 和更新規(guī)則 ［35， 76］ 以迭代方式從噪聲 zT 重建數(shù)據(jù)樣本 z0，即 zT → zT ?Δ → 。.. → z0。可以在附錄 A 中找到更詳細(xì)的擴(kuò)散模型公式。

在這項(xiàng)工作中，我們旨在通過(guò)擴(kuò)散模型解決目標(biāo)檢測(cè)任務(wù)。在我們的設(shè)置中，數(shù)據(jù)樣本是一組邊界框 z0 = b，其中 b ∈ RN ×4 是一組 N 個(gè)框。神經(jīng)網(wǎng)絡(luò) fθ （zt， t， x） 被訓(xùn)練來(lái)從噪聲框 zt 預(yù)測(cè) z0，以相應(yīng)的圖像 x 為條件。對(duì)應(yīng)的類別標(biāo)簽c據(jù)此產(chǎn)生。

3.2網(wǎng)絡(luò)結(jié)構(gòu)

由于擴(kuò)散模型迭代生成數(shù)據(jù)樣本，因此需要在推理階段多次運(yùn)行模型 fθ。然而，在每個(gè)迭代步驟中直接將 fθ 應(yīng)用于原始圖像在計(jì)算上是難以處理的。因此，我們建議將整個(gè)模型分成兩部分，圖像編碼器和檢測(cè)解碼器，其中前者只運(yùn)行一次以從原始輸入圖像 x 中提取深度特征表示，后者以此深度特征為條件，而不是原始圖像，以逐步細(xì)化來(lái)自嘈雜框 zt 的框預(yù)測(cè)。

圖像編碼器。圖像編碼器將原始圖像作為輸入，并為接下來(lái)的檢測(cè)解碼器提取其高級(jí)特征。我們使用 ResNet ［34］ 等卷積神經(jīng)網(wǎng)絡(luò)和 Swin ［54］ 等基于 Transformer 的模型來(lái)實(shí)現(xiàn) DiffusionDet。特征金字塔網(wǎng)絡(luò) ［49］ 用于根據(jù) ［49、54、81］ 為 ResNet 和 Swin 主干生成多尺度特征圖。

檢測(cè)解碼器。借鑒稀疏 R-CNN ［81］，檢測(cè)解碼器將一組建議框作為輸入，從圖像編碼器生成的特征圖中裁剪 RoI 特征 ［33、66］，并將這些 RoI 特征發(fā)送到檢測(cè)頭以獲得框回歸和分類結(jié)果。在 ［10，81，102］ 之后，我們的檢測(cè)解碼器由 6 個(gè)級(jí)聯(lián)階段組成。我們的解碼器與 Sparse R-CNN 解碼器的區(qū)別在于：

（1）DiffusionDet 從隨機(jī)框開始，而 Sparse R-CNN 在推理中使用一組固定的學(xué)習(xí)框；

（2） 稀疏 R-CNN 將建議框及其相應(yīng)的建議特征對(duì)作為輸入，而 DiffusionDet 只需要建議框；

（3） DiffusionDet 在迭代采樣步驟中重新使用檢測(cè)器頭，并且參數(shù)在不同步驟之間共享，每個(gè)步驟都通過(guò)時(shí)間步嵌入 ［35、86］ 指定到擴(kuò)散過(guò)程，而稀疏 R-CNN 使用檢測(cè)解碼器僅在前向傳播中進(jìn)行一次

3.3訓(xùn)練

在訓(xùn)練過(guò)程中，我們首先構(gòu)建從 ground-truth boxes 到 noisy boxes 的擴(kuò)散過(guò)程，然后訓(xùn)練模型來(lái)反轉(zhuǎn)這個(gè)過(guò)程。算法 1 提供了 DiffusionDet 訓(xùn)練過(guò)程的偽代碼

真實(shí)值填充。對(duì)于現(xiàn)代對(duì)象檢測(cè)基準(zhǔn) ［18、31、51、72］，感興趣實(shí)例的數(shù)量通常因圖像而異。因此，我們首先將一些額外的框填充到原始真實(shí)值，以便所有框加起來(lái)達(dá)到固定數(shù)量 Ntrain。我們探索了幾種填充策略，例如，重復(fù)現(xiàn)有的真實(shí)值、連接隨機(jī)框或圖像大小框。這些策略的比較在 4.4 節(jié)中，連接隨機(jī)框效果最好

Box corruption。我們將高斯噪聲添加到填充的真實(shí)值。噪聲尺度由 αt 控制（在等式（1）中），如 ［59］ 中所提出的，αt 在不同的時(shí)間步長(zhǎng) t 中采用單調(diào)遞減的余弦時(shí)間表。值得注意的是，真實(shí)值坐標(biāo)也需要縮放，因?yàn)樾旁氡葘?duì)擴(kuò)散模型的性能有顯著影響 ［12］。我們觀察到對(duì)象檢測(cè)比圖像生成任務(wù)更傾向于使用相對(duì)更高的信號(hào)縮放值 ［13，15，35］。更多討論在第 4.4 節(jié)

訓(xùn)練損失。檢測(cè)器將 Ntrain 個(gè)損壞的框作為輸入，并預(yù)測(cè) Ntrain 個(gè)類別分類和框坐標(biāo)的預(yù)測(cè)。我們?cè)?Ntrain 預(yù)測(cè)集上應(yīng)用集預(yù)測(cè)損失 ［10， 81， 102］。我們通過(guò)最佳傳輸分配方法 ［16、22、23、90］ 選擇成本最低的前 k 個(gè)預(yù)測(cè)，為每個(gè)基本事實(shí)分配多個(gè)預(yù)測(cè)。

3.4推理

DiffusionDet 的推理過(guò)程是從噪聲到目標(biāo)框的去噪采樣過(guò)程。從以高斯分布采樣的框開始，模型逐漸改進(jìn)其預(yù)測(cè)，如算法 2 所示。

采樣步驟。在每個(gè)采樣步驟中，隨機(jī)框或來(lái)自上一個(gè)采樣步驟的估計(jì)框被發(fā)送到檢測(cè)解碼器以預(yù)測(cè)類別分類和框坐標(biāo)。在獲得當(dāng)前步驟的框后，采用 DDIM ［76］ 來(lái)估計(jì)下一步的框。我們注意到，將沒有 DDIM 的預(yù)測(cè)框發(fā)送到下一步也是一種可選的漸進(jìn)細(xì)化策略。然而，如第 4.4 節(jié)所述，它會(huì)帶來(lái)顯著的惡化。

box更新。在每個(gè)采樣步驟之后，可以將預(yù)測(cè)框粗略地分為兩類，期望預(yù)測(cè)和非期望預(yù)測(cè)。期望的預(yù)測(cè)包含正確位于相應(yīng)對(duì)象的框，而不期望的預(yù)測(cè)是任意分布的。直接將這些不需要的框發(fā)送到下一個(gè)采樣迭代不會(huì)帶來(lái)好處，因?yàn)樗鼈兊姆植疾皇怯捎?xùn)練中的框損壞構(gòu)建的。為了使推理更好地與訓(xùn)練保持一致，我們提出了框更新策略，通過(guò)用隨機(jī)框替換它們來(lái)恢復(fù)這些不需要的框。具體來(lái)說(shuō)，我們首先過(guò)濾掉分?jǐn)?shù)低于特定閾值的不需要的框。然后，我們將剩余的框與從高斯分布中采樣的新隨機(jī)框連接起來(lái)。

Once-for-all。得益于隨機(jī)框設(shè)計(jì)，我們可以使用任意數(shù)量的隨機(jī)框和采樣步驟數(shù)來(lái)評(píng)估 DiffusionDet，而無(wú)需等于訓(xùn)練階段。作為比較，以前的方法 ［10、81、102］ 在訓(xùn)練和評(píng)估期間依賴相同數(shù)量的處理框，并且它們的檢測(cè)解碼器在前向傳遞中僅使用一次

4.實(shí)驗(yàn)

我們首先展示了 DiffusionDet 的Once-for-all屬性。然后我們將 DiffusionDet 與之前在 MS-COCO ［51］ 和 LVIS ［31］ 數(shù)據(jù)集上建立良好的檢測(cè)器進(jìn)行比較。最后，我們提供了 DiffusionDet 組件的消融研究。

MS-COCO ［51］ 數(shù)據(jù)集在 train2017 集中包含約 118K 個(gè)訓(xùn)練圖像，在 val2017 集中包含約 5K 個(gè)驗(yàn)證圖像?？偣灿?80 個(gè)對(duì)象類別。我們報(bào)告多個(gè) IoU 閾值 （AP）、閾值 0.5 （AP50） 和 0.75 （AP75） 的框平均精度

LVIS v1.0 ［31］ 數(shù)據(jù)集是一個(gè)大詞匯對(duì)象檢測(cè)和實(shí)例分割數(shù)據(jù)集，具有 100K 訓(xùn)練圖像和 20K 驗(yàn)證圖像。LVIS 與 MS-COCO 共享相同的源圖像，而其注釋捕獲 1203 個(gè)類別的長(zhǎng)尾分布。我們?cè)?LVIS 評(píng)估中采用 MS-COCO 風(fēng)格的框度量 AP、AP50 和 AP75

4.1實(shí)施細(xì)節(jié)

訓(xùn)練時(shí)間表。ResNet 和 Swin 主干分別在 ImageNet-1K 和 ImageNet-21K ［14］ 上使用預(yù)訓(xùn)練的權(quán)重進(jìn)行初始化。新添加的檢測(cè)解碼器使用 Xavier init ［26］ 進(jìn)行初始化。我們使用 AdamW ［55］ 優(yōu)化器訓(xùn)練 DiffusionDet，初始學(xué)習(xí)率為 2.5 × 10?5，權(quán)重衰減為 10?4。所有模型都在 8 個(gè) GPU 上使用大小為 16 的小批量進(jìn)行訓(xùn)練。對(duì)于 MS-COCO，默認(rèn)的訓(xùn)練計(jì)劃是 450K 次迭代，學(xué)習(xí)率在 350K 和 420K 次迭代時(shí)除以 10。對(duì)于LVIS，訓(xùn)練計(jì)劃是210K、250K、270K。數(shù)據(jù)擴(kuò)充策略包含隨機(jī)水平翻轉(zhuǎn)、調(diào)整輸入圖像大小的縮放抖動(dòng)，使得最短邊至少為 480 且最多為 800 像素，而最長(zhǎng)邊最多為 1333 ［93］，以及隨機(jī)裁剪擴(kuò)充。我們不使用 EMA 和一些強(qiáng)大的數(shù)據(jù)增強(qiáng)，如 MixUp ［98］ 或 Mosaic ［23］。

推理細(xì)節(jié)。在推理階段，檢測(cè)解碼器迭代地改進(jìn)高斯隨機(jī)框的預(yù)測(cè)。我們分別為 MS-COCO 和 LVIS 選擇前 100 名和前 300 名的評(píng)分預(yù)測(cè)。NMS 將每個(gè)采樣步驟的預(yù)測(cè)組合在一起以獲得最終預(yù)測(cè)。

（a） 動(dòng)態(tài)框。DETR 和 DiffusionDet 都經(jīng)過(guò) 300 個(gè)對(duì)象查詢或建議框的訓(xùn)練。推理中更多的建議框帶來(lái)了 DiffusionDet 的準(zhǔn)確性提升，同時(shí)退化了 DETR

（b） 漸進(jìn)細(xì)化。DiffusionDet 使用 300 個(gè)建議框進(jìn)行訓(xùn)練，并使用不同數(shù)量的建議框進(jìn)行評(píng)估。對(duì)于所有情況，準(zhǔn)確度都會(huì)隨著細(xì)化次數(shù)的增加而增加。

圖 4. DiffusionDet 的Once-for-all屬性。所有實(shí)驗(yàn)都在 COCO 2017 訓(xùn)練集上進(jìn)行訓(xùn)練，并在 COCO 2017 驗(yàn)證集上進(jìn)行評(píng)估。DiffusionDet 對(duì)圖 4a 和 4b 中的所有設(shè)置使用相同的網(wǎng)絡(luò)參數(shù)。我們提出的 DiffusionDet 能夠受益于更多的建議框和使用相同網(wǎng)絡(luò)參數(shù)的迭代改進(jìn)。

4.2主要性能

DiffusionDet 的主要屬性在于對(duì)所有推理案例進(jìn)行一次訓(xùn)練。一旦模型被訓(xùn)練好，它可以通過(guò)改變框的數(shù)量和推理中的樣本步驟的數(shù)量來(lái)使用，如圖4所示。Diffusion-Det可以通過(guò)使用更多的框或/和更多的細(xì)化步驟來(lái)獲得更好的準(zhǔn)確性，代價(jià)是更高的延遲。因此，我們可以將單個(gè) DiffusionDet 部署到多個(gè)場(chǎng)景，并在無(wú)需重新訓(xùn)練網(wǎng)絡(luò)的情況下獲得所需的速度-精度權(quán)衡

動(dòng)態(tài)盒子。我們將 DiffusionDet 與 DETR ［10］ 進(jìn)行比較，以顯示動(dòng)態(tài)框的優(yōu)勢(shì)。與其他檢測(cè)器的比較在附錄 B 中。我們使用官方代碼和 300 輪訓(xùn)練的默認(rèn)設(shè)置使用 300 個(gè)對(duì)象查詢重現(xiàn) DETR ［10］。我們用 300 個(gè)隨機(jī)框訓(xùn)練 DiffusionDet，以便候選的數(shù)量與 DETR 一致，以便進(jìn)行公平比較。評(píng)估針對(duì) {50， 100， 300， 500， 1000， 2000， 4000} 個(gè)查詢或框。

表 1. 在 COCO 2017 val set 上與不同物體檢測(cè)器的比較。每個(gè)方法后面的參考標(biāo)明其結(jié)果的來(lái)源。沒有引用的方法是我們的實(shí)現(xiàn)

表 2. 在 LVIS v1.0 驗(yàn)證集上與不同物體檢測(cè)器的比較。我們使用聯(lián)合損失 ［100］ 重新實(shí)現(xiàn)所有檢測(cè)器，除了淺灰色的行（帶有 ?）

由于在 DETR 的原始設(shè)置中訓(xùn)練后可學(xué)習(xí)的查詢是固定的，我們提出了一個(gè)簡(jiǎn)單的解決方法來(lái)使 DETR 能夠處理不同數(shù)量的查詢：當(dāng) Neval 《 Ntrain 時(shí)，我們直接從 Ntrain 查詢中選擇 Neval 查詢；當(dāng) Neval 》 Ntrain 時(shí)，我們連接額外的 Neval ? Ntrain 隨機(jī)初始化查詢（又名 concat random）。我們?cè)趫D 4a 中展示了結(jié)果。DiffusionDet 的性能隨著用于評(píng)估的框數(shù)的增加而穩(wěn)步提高。相反，當(dāng) Neval 與 Ntrain 不同時(shí)，即 300，DETR 有明顯的性能下降。此外，當(dāng) Neval 和 Ntrain 之間的差異增加時(shí)，這種性能下降會(huì)變得更大。例如，當(dāng)框數(shù)增加到 4000 時(shí)，DETR 只有 26.4 個(gè) AP 和 concat 隨機(jī)策略，比峰值低 12.4（即 38.8 個(gè) AP 和 300 個(gè)查詢）。作為比較，DiffusionDet 可以通過(guò) 4000 個(gè)盒子實(shí)現(xiàn) 1.1 的 AP 增益。

當(dāng) Neval 》 Ntrain 時(shí)，我們還為 DETR 實(shí)現(xiàn)了另一種方法，將現(xiàn)有的 Ntrain 查詢克隆到 Neval（也稱為克?。?。我們觀察到 concat 隨機(jī)策略始終比克隆策略表現(xiàn)更好。這是合理的，因?yàn)榭寺〔樵儗a(chǎn)生與原始查詢相似的檢測(cè)結(jié)果。相比之下，隨機(jī)查詢?yōu)闄z測(cè)結(jié)果引入了更多的多樣性

漸進(jìn)式細(xì)化。DiffusionDet 的性能不僅可以通過(guò)增加隨機(jī)框的數(shù)量來(lái)提高，還可以通過(guò)迭代更多的步驟來(lái)提高。我們通過(guò)將迭代步驟從 1 增加到 9，使用 100、300 和 500 個(gè)隨機(jī)框評(píng)估 DiffusionDet。結(jié)果如圖 4b 所示。我們看到具有這三種設(shè)置的 DiffusionDet 都具有穩(wěn)定的性能提升和更多的優(yōu)化步驟。此外，具有較少隨機(jī)框的 DiffusionDet 往往會(huì)隨著細(xì)化而獲得更大的增益。例如，具有 100 個(gè)隨機(jī)框的 DiffusionDet 實(shí)例的 AP 從 42.4（1 步）增加到 45.9（9 步），絕對(duì) 3.5 AP 改進(jìn)。這種精度性能與 300 個(gè)隨機(jī)框的 45.0（1 步）和 500 個(gè)隨機(jī)框的 45.5（1 步）相當(dāng)，表明 DiffusionDet 的高精度可以通過(guò)增加建議框的數(shù)量或迭代步驟來(lái)實(shí)現(xiàn)。

相比之下，我們發(fā)現(xiàn)以前的方法 ［10、81、102］ 沒有這種細(xì)化特性。他們只能使用一次檢測(cè)解碼器。使用兩個(gè)或更多迭代步驟會(huì)降低性能。更詳細(xì)的比較可以在附錄 C 中找到。

4.3檢測(cè)數(shù)據(jù)集的基準(zhǔn)測(cè)試

我們?cè)?MS-COCO 和 LVIS 數(shù)據(jù)集上將 DiffusionDet 與之前的檢測(cè)器 ［7，10， 50， 66， 81， 102］ 進(jìn)行比較。在本小節(jié)中，我們采用 500 個(gè)框進(jìn)行訓(xùn)練和推理。更詳細(xì)的實(shí)驗(yàn)設(shè)置在附錄 D 中。

表 3.MS-COCO 上的 DiffusionDet 消融實(shí)驗(yàn)。我們報(bào)告 AP、AP50 和 AP75。如果不指定，默認(rèn)設(shè)置為：backbone是ResNet-50［34］ with FPN［49］，signal scale是2.0，ground-truth boxes padding方法是拼接Gaussian random boxes，采樣使用DDIM和box renewal步驟，其中框更新的分?jǐn)?shù)閾值為0.5，訓(xùn)練和評(píng)估都使用300個(gè)框。默認(rèn)設(shè)置以灰色標(biāo)記

MS-COCO。在表 1 中，我們比較了 DiffusionDet 與之前在 MS-COCO 上的檢測(cè)器的對(duì)象檢測(cè)性能。沒有細(xì)化的 DiffusionDet（即第 1 步）使用 ResNet-50 主干實(shí)現(xiàn) 45.5 AP，以非常重要的優(yōu)勢(shì)優(yōu)于 Faster R-CNN、RetinaNet、DETR 和 Sparse R-CNN 等成熟方法。此外，DiffusionDet 在使用更多迭代細(xì)化時(shí)可以使其優(yōu)勢(shì)更加顯著。例如，當(dāng)使用 ResNet-50 作為主干時(shí)，DiffusionDet 比稀疏 R-CNN 單步高 0.5 AP（45.5 對(duì) 45.0），而 8 步高 1.2 AP（46.2 對(duì) 45.0）。

當(dāng)主干尺寸按比例增加時(shí)，DiffusionDet 顯示出穩(wěn)定的改進(jìn)。DiffusionDet with ResNet-101 達(dá)到 46.6 AP（1 步）和 47.1 AP（8 步）。當(dāng)使用 ImageNet-21k 預(yù)訓(xùn)練的 Swin-Base ［54］ 作為主干時(shí)，DiffusionDet 單步獲得 52.3 AP，8 步獲得 52.8 AP，優(yōu)于 Cascade R-CNN 和 Sparse R-CNN

LVIS v1.0。我們?cè)诒?2 中比較了在更具挑戰(zhàn)性的 LVIS 數(shù)據(jù)集上的結(jié)果。我們基于 detectron2 ［93］ 重現(xiàn)了 Faster R-CNN 和 Cascade R-CNN，而在其原始代碼上重現(xiàn)了 Sparse R-CNN。我們首先使用 detectron2 的默認(rèn)設(shè)置重現(xiàn) Faster R-CNN 和 Cascade R-CNN，分別使用 ResNet-50/101 主干實(shí)現(xiàn) 22.5/24.8 和 26.3/28.8 AP（表 2 中帶有 ?）。此外，我們使用 ［100］ 中的聯(lián)合損失來(lái)提高它們的性能。由于 LVIS 中的圖像是以聯(lián)合方式注釋的 ［31］，負(fù)類別注釋稀疏，這會(huì)惡化訓(xùn)練梯度，特別是對(duì)于稀有類別 ［83］。聯(lián)邦損失被提議通過(guò)為每個(gè)訓(xùn)練圖像采樣類的子集 S 來(lái)緩解這個(gè)問(wèn)題，其中包括所有正注釋和負(fù)注釋的隨機(jī)子集。在 ［100］ 之后，我們選擇 |S| = 50 在所有實(shí)驗(yàn)中。Faster R-CNN 和 Cascade R-CNN 通過(guò)聯(lián)邦損失獲得大約 3 個(gè) AP 收益。以下所有比較均基于此損失

我們看到 DiffusionDet 使用更多的細(xì)化步驟獲得了顯著的收益，同時(shí)具有小型和大型骨干。此外，我們注意到與 MS-COCO 相比，細(xì)化在 LVIS 上帶來(lái)了更多收益。例如，它在 MS-COCO 上的性能從 45.5 增加到 46.2（+0.7 AP），而在 LVIS 上從 30.4 增加到 31.9（+1.5 AP），這表明我們的精煉策略將對(duì)更具挑戰(zhàn)性的基準(zhǔn)更有幫助

4.4消融研究

我們?cè)?MS-COCO 上進(jìn)行消融實(shí)驗(yàn)以詳細(xì)研究 DiffusionDet。所有實(shí)驗(yàn)都使用帶有 FPN 的 ResNet-50 作為骨干和 300 個(gè)框用于訓(xùn)練和推理，沒有進(jìn)一步的說(shuō)明。

信號(hào)縮放。信號(hào)比例因子控制擴(kuò)散過(guò)程的信噪比 （SNR）。我們?cè)诒?3a 中研究了比例因子的影響。結(jié)果表明，2.0 的縮放因子實(shí)現(xiàn)了最佳 AP 性能，優(yōu)于圖像生成任務(wù)中的標(biāo)準(zhǔn)值 1.0 ［13、35］ 和用于全景分割的標(biāo)準(zhǔn)值 0.1 ［12］。我們解釋說(shuō)這是因?yàn)橐粋€(gè)框只有四個(gè)表示參數(shù)，即中心坐標(biāo)（cx，cy）和框大?。╳，h），這粗略地類似于圖像生成中只有四個(gè)像素的圖像?？虮硎颈让芗硎靖嗳酰缛胺指钪械?512×512 掩模表示 ［13］。因此，與圖像生成和全景分割相比，DiffusionDet 更喜歡具有更高信噪比的更簡(jiǎn)單的訓(xùn)練目標(biāo)

圖 5. 5 個(gè)獨(dú)立訓(xùn)練實(shí)例的統(tǒng)計(jì)結(jié)果，每個(gè)實(shí)例用不同的隨機(jī)種子評(píng)估 10 次。圖中的數(shù)字表示平均值。

GT 框填充策略。如第 3.3 節(jié)所述，我們需要將額外的框填充到原始真實(shí)值，以便每個(gè)圖像具有相同數(shù)量的框。我們?cè)诒?3b 中研究了不同的填充策略，包括（1.）均勻地重復(fù)原始真實(shí)值，直到總數(shù)達(dá)到預(yù)定義值 Ntrain；（2.） 填充服從高斯分布的隨機(jī)框；（3.） 填充服從均勻分布的隨機(jī)框；（4.） 填充與整個(gè)圖像大小相同的框，這是 ［81］ 中可學(xué)習(xí)框的默認(rèn)初始化。串聯(lián)高斯隨機(jī)框最適合 DiffusionDet。我們默認(rèn)使用這種填充策略。

抽樣策略。我們?cè)诒?3c 中比較了不同的采樣策略。在評(píng)估不使用 DDIM 的 DiffusionDet 時(shí)，我們直接將當(dāng)前步驟的輸出預(yù)測(cè)作為下一步的輸入。我們發(fā)現(xiàn)，當(dāng)既不采用 DDIM 也不采用框更新時(shí)，DiffusionDet 的 AP 會(huì)隨著評(píng)估步驟的增加而降低。此外，僅使用 DDIM 或 box renewal 在 4 步時(shí)會(huì)帶來(lái)輕微的好處，而在使用更多步時(shí)不會(huì)帶來(lái)進(jìn)一步的改進(jìn)。此外，我們的 DiffusionDet 在配備 DDIM 和更新時(shí)獲得了顯著的收益。這些實(shí)驗(yàn)共同驗(yàn)證了采樣步驟中 DDIM 和盒子更新的必要性。

盒子更新閾值。如第 3.4 節(jié)所述，提出了框更新策略以重新激活分?jǐn)?shù)低于特定閾值的預(yù)測(cè)。表 3d 顯示了框更新的分?jǐn)?shù)閾值的影響。閾值 0.0 表示不使用框更新。結(jié)果表明 0.5 的閾值比其他閾值表現(xiàn)稍好。

Ntrain 和 Neval 之間的匹配。正如在第二節(jié)中討論的那樣。4.2，DiffusionDet 具有使用任意數(shù)量的隨機(jī)框進(jìn)行評(píng)估的吸引人的特性。為了研究訓(xùn)練框的數(shù)量如何影響推理性能，我們分別使用 Ntrain ∈ {100， 300， 500} 隨機(jī)框訓(xùn)練 DiffusionDet，然后使用 Neval ∈ {100， 300， 500， 1000} 評(píng)估這些模型中的每一個(gè)。結(jié)果總結(jié)在表 3e 中。首先，無(wú)論 DiffusionDet 使用多少個(gè)隨機(jī)框進(jìn)行訓(xùn)練，精度都會(huì)隨著 Neval 的增加而穩(wěn)定增加，直到在大約 2000 個(gè)隨機(jī)框處達(dá)到飽和點(diǎn)。其次，當(dāng) Ntrain 和 Neval 相互匹配時(shí)，DiffusionDet 往往表現(xiàn)更好。例如，當(dāng) Neval = 100 時(shí)，使用 Ntrain = 100 個(gè)框訓(xùn)練的 DiffusionDet 表現(xiàn)優(yōu)于 Ntrain = 300 和 500。

精度與速度。我們?cè)诒?3f 中測(cè)試了 DiffusionDet 的推理速度。運(yùn)行時(shí)間在單個(gè) NVIDIA A100 GPU 上進(jìn)行評(píng)估，小批量大小為 1。我們對(duì) Ntrain ∈ {100， 300} 的多種選擇進(jìn)行了實(shí)驗(yàn)，并保持 Neval 與相應(yīng)的 Ntrain 相同。我們看到將 Ntrain 從 100 增加到 300 會(huì)帶來(lái) 2.5 AP 增益，而延遲成本可以忽略不計(jì)（31.6 FPS 對(duì) 31.3 FPS）我們還測(cè)試了當(dāng) Ntrain = 300 時(shí) 4 步的推理速度。我們觀察到更多的改進(jìn)成本帶來(lái)更多的推理次并導(dǎo)致更少的 FPS。將精煉步驟從 1 增加到 4 提供 0.8 AP 增益，但會(huì)使檢測(cè)器變慢。作為參考，我們將 DiffusionDet 與具有 300 個(gè)提議的稀疏 R-CNN 進(jìn)行比較，而具有 300 個(gè)框的 DiffusionDet 與稀疏 R-CNN 的 FPS 非常接近。

隨機(jī)種子。由于 DiffusionDet 在推理開始時(shí)被賦予隨機(jī)框作為輸入，因此有人可能會(huì)問(wèn)不同隨機(jī)種子之間是否存在較大的性能差異。我們通過(guò)獨(dú)立訓(xùn)練五個(gè)模型來(lái)評(píng)估 DiffusionDet 的穩(wěn)定性，除了隨機(jī)種子外，這些模型具有嚴(yán)格相同的配置。然后，我們使用 10 個(gè)不同的隨機(jī)種子評(píng)估每個(gè)模型實(shí)例，以衡量性能的分布，受到 ［61， 88］ 的啟發(fā)。如圖 5 所示，大多數(shù)評(píng)估結(jié)果都分布在 45.0 AP 附近。此外，平均值均在 45.0 AP 以上，不同模型實(shí)例之間的性能差異很小，這表明 DiffusionDet 對(duì)隨機(jī)框具有魯棒性并產(chǎn)生可靠的結(jié)果。

5.結(jié)論和未來(lái)的工作

在這項(xiàng)工作中，我們通過(guò)將對(duì)象檢測(cè)視為從噪聲框到對(duì)象框的去噪擴(kuò)散過(guò)程，提出了一種新的檢測(cè)范式 DiffusionDet。我們的 noise-to-box 管道有幾個(gè)吸引人的特性，包括動(dòng)態(tài)框和漸進(jìn)式細(xì)化，使我們能夠使用相同的網(wǎng)絡(luò)參數(shù)來(lái)獲得所需的速度-精度權(quán)衡，而無(wú)需重新訓(xùn)練模型。標(biāo)準(zhǔn)檢測(cè)基準(zhǔn)的實(shí)驗(yàn)表明，與成熟的檢測(cè)器相比，DiffusionDet 實(shí)現(xiàn)了良好的性能

為了進(jìn)一步探索擴(kuò)散模型解決對(duì)象級(jí)識(shí)別任務(wù)的潛力，未來(lái)的幾項(xiàng)工作是有益的。嘗試將 DiffusionDet 應(yīng)用于視頻級(jí)任務(wù)，例如對(duì)象跟蹤和動(dòng)作識(shí)別。另一種是將 DiffusionDet 從封閉世界擴(kuò)展到開放世界或開放詞匯對(duì)象檢測(cè)

審核編輯：郭婷