一種通過視圖合成增強(qiáng)預(yù)訓(xùn)練的2D擴(kuò)散模型的可擴(kuò)展技術(shù)

1、導(dǎo)讀

現(xiàn)有的3D物體檢測方法通常需要使用完全注釋的數(shù)據(jù)進(jìn)行訓(xùn)練，而使用預(yù)訓(xùn)練的語義特征可以帶來一些優(yōu)勢。然而，目前還沒有利用擴(kuò)散特征進(jìn)行3D感知任務(wù)的研究。因此，我們提出了一種新的框架，通過視圖合成任務(wù)來增強(qiáng)預(yù)訓(xùn)練的2D擴(kuò)散模型的3D感知能力。該方法利用已知相對姿態(tài)的圖像對進(jìn)行訓(xùn)練，并通過擴(kuò)散過程生成目標(biāo)輸出。此外，文章還介紹了如何將這些增強(qiáng)的特征用于3D物體檢測，并通過引入輔助網(wǎng)絡(luò)來保持特征質(zhì)量。最后，文章通過實(shí)驗(yàn)證明了該方法在點(diǎn)對應(yīng)和3D檢測性能上的優(yōu)越性。

2、研究內(nèi)容

一種名為3DiffTection的新框架，該框架利用預(yù)訓(xùn)練的2D擴(kuò)散模型來進(jìn)行3D物體檢測任務(wù)。該方法通過視圖合成任務(wù)，將2D擴(kuò)散特征增強(qiáng)為具有3D感知能力的特征。作者利用已知相對姿態(tài)的圖像對進(jìn)行特征提取和特征擴(kuò)散過程，從而生成目標(biāo)輸出。文章還介紹了如何將這些增強(qiáng)的特征用于3D物體檢測，并通過引入輔助控制網(wǎng)絡(luò)來進(jìn)一步適應(yīng)目標(biāo)任務(wù)和數(shù)據(jù)集。最后，作者通過多個(gè)合成視圖生成檢測提議，并通過非極大值抑制（NMS）來整合這些提議，從而提高檢測性能。

3、貢獻(xiàn)

介紹了一種通過視圖合成增強(qiáng)預(yù)訓(xùn)練的2D擴(kuò)散模型的可擴(kuò)展技術(shù)，使其具有3D感知能力；

將這些特征適應(yīng)于3D檢測任務(wù)和目標(biāo)領(lǐng)域；

利用視圖合成能力通過集成預(yù)測進(jìn)一步提高檢測性能。

4、方法

3DiffTection：它可以在3D物體檢測任務(wù)中利用預(yù)訓(xùn)練的2D擴(kuò)散模型。該方法的關(guān)鍵在于設(shè)計(jì)了一個(gè)視圖合成任務(wù)，通過使用極線幾何將源圖像中的殘差特征進(jìn)行變形，從而增強(qiáng)了2D擴(kuò)散特征的3D感知能力。通過去噪擴(kuò)散過程，這些變形的特征有助于生成目標(biāo)輸出。我們的方法利用了具有已知相對姿態(tài)的圖像對，這些圖像對通常可以從視頻數(shù)據(jù)中輕松獲取。鑒于視頻數(shù)據(jù)的不斷增加，這使得我們的表示精煉解決方案具有高度的可擴(kuò)展性。

4.1、2D擴(kuò)散模型特征提取

在3DiffTection中，我們使用預(yù)訓(xùn)練的2D擴(kuò)散模型作為特征提取器。擴(kuò)散模型已經(jīng)在圖像分割等密集感知任務(wù)中展現(xiàn)出了強(qiáng)大的性能。我們利用這些模型學(xué)習(xí)到的語義特征，并通過視圖合成任務(wù)增強(qiáng)這些特征的3D感知能力。通過提取源圖像的殘差特征，并利用極線幾何將其映射到目標(biāo)視圖，我們能夠生成目標(biāo)輸出。這樣，我們就能夠?qū)㈩A(yù)訓(xùn)練的2D擴(kuò)散模型的特征轉(zhuǎn)化為具有3D感知能力的特征。這種方法使得我們的模型能夠更好地理解圖像中的3D結(jié)構(gòu)，并在3D目標(biāo)檢測任務(wù)中取得更好的性能。

4.2、3D感知融入擴(kuò)散特征

如何將3D感知融入擴(kuò)散特征。具體而言，作者通過訓(xùn)練一個(gè)視圖合成任務(wù)來增強(qiáng)預(yù)訓(xùn)練的2D擴(kuò)散模型的3D感知能力。這個(gè)任務(wù)的關(guān)鍵是從源圖像中提取殘差特征，并使用極線幾何將它們映射到目標(biāo)視圖上。通過這種映射，可以通過去噪擴(kuò)散過程生成目標(biāo)輸出。這些經(jīng)過映射的特征有助于增強(qiáng)模型對目標(biāo)的生成能力。這種方法利用了具有已知相對姿態(tài)的圖像對，這些圖像對通?？梢詮囊曨l數(shù)據(jù)中輕松獲取。我們接下來利用這些增強(qiáng)的3D特征進(jìn)行3D檢測，通過在3D框注釋下訓(xùn)練一個(gè)標(biāo)準(zhǔn)的檢測頭。雖然我們的模型的基線性能已經(jīng)顯示出對現(xiàn)有方法的改進(jìn)，但我們的目標(biāo)是進(jìn)一步將訓(xùn)練好的特征適應(yīng)目標(biāo)任務(wù)和數(shù)據(jù)集，這可能與用于視圖合成預(yù)訓(xùn)練的數(shù)據(jù)不同。

由于訓(xùn)練數(shù)據(jù)有限，直接微調(diào)模型來彌合任務(wù)和領(lǐng)域差距可能會(huì)導(dǎo)致性能下降。為了解決這個(gè)問題，作者引入了一個(gè)輔助的ControlNet，它有助于保持特征的質(zhì)量。這個(gè)過程還保留了模型的視圖合成能力。在測試時(shí)，我們通過從多個(gè)合成視圖生成檢測提議，并通過非極大值抑制（NMS）來合并這些提議，從而充分利用幾何和語義能力。

5、實(shí)驗(yàn)結(jié)果

本研究采用了兩種實(shí)驗(yàn)方法來評估提出的3DiffTection框架的性能。

第一種實(shí)驗(yàn)方法是在Omni3D-ARKitscene數(shù)據(jù)集上進(jìn)行的。首先，使用預(yù)訓(xùn)練的2D擴(kuò)散模型進(jìn)行視圖合成，以增強(qiáng)2D特征的3D感知能力。然后，使用訓(xùn)練好的3D檢測頭在3D邊界框監(jiān)督下對特征進(jìn)行3D檢測。為了進(jìn)一步適應(yīng)目標(biāo)任務(wù)和數(shù)據(jù)集，引入了一個(gè)輔助的控制網(wǎng)絡(luò)來維持特征質(zhì)量。最后，通過生成多個(gè)合成視圖的檢測提議，并通過非最大抑制（NMS）進(jìn)行整合，來進(jìn)行3D檢測。實(shí)驗(yàn)結(jié)果表明，與現(xiàn)有方法相比，3DiffTection在Omni3D-ARKitscene數(shù)據(jù)集上取得了顯著的改進(jìn)。

第二種實(shí)驗(yàn)方法是在跨數(shù)據(jù)集上進(jìn)行的。首先，在Omni3D-ARKitscene數(shù)據(jù)集上訓(xùn)練了具有幾何控制網(wǎng)絡(luò)的3DiffTection模型，并僅在跨域數(shù)據(jù)集上訓(xùn)練了3D檢測頭。然后，將3DiffTection與CubeRCNN進(jìn)行比較。實(shí)驗(yàn)結(jié)果顯示，即使在目標(biāo)域中沒有對幾何控制網(wǎng)絡(luò)進(jìn)行訓(xùn)練，3DiffTection仍然能夠超越完全微調(diào)的CubeRCNN。

6、創(chuàng)新性

主要體現(xiàn)在以下幾個(gè)方面：

引入了幾何感知的穩(wěn)定擴(kuò)散特征：本研究通過在穩(wěn)定擴(kuò)散特征中引入幾何感知，提高了3D目標(biāo)檢測的性能。通過訓(xùn)練幾何控制網(wǎng)絡(luò)，將相機(jī)姿態(tài)信息與擴(kuò)散特征結(jié)合起來，實(shí)現(xiàn)了對3D空間的感知。這種幾何感知的穩(wěn)定擴(kuò)散特征在目標(biāo)檢測任務(wù)中表現(xiàn)出更好的性能。

提出了基于視圖合成的訓(xùn)練方法：本研究利用視圖合成技術(shù)，通過生成新的視圖來增強(qiáng)模型的泛化能力。通過訓(xùn)練模型生成與輸入圖像不同視角的合成圖像，使得模型能夠?qū)W習(xí)到更多的視角信息，從而提高了模型在不同數(shù)據(jù)集上的性能。

結(jié)合語義控制網(wǎng)絡(luò)進(jìn)行聯(lián)合訓(xùn)練：本研究還引入了語義控制網(wǎng)絡(luò)，通過與3D檢測頭部聯(lián)合訓(xùn)練，進(jìn)一步提高了2D和3D檢測的性能。語義控制網(wǎng)絡(luò)能夠適應(yīng)感知任務(wù)，并優(yōu)化特征的使用，從而提高檢測的準(zhǔn)確性。

7、總結(jié)

我們提出了一種名為3DiffTection的新框架，該框架利用預(yù)訓(xùn)練的2D擴(kuò)散模型增強(qiáng)了3D物體檢測任務(wù)的性能。作者通過視圖合成任務(wù)，將源圖像中的殘差特征提取出來，并利用極線幾何將其變形到目標(biāo)視圖中，從而增強(qiáng)了2D擴(kuò)散特征的3D感知能力。作者還通過訓(xùn)練一個(gè)標(biāo)準(zhǔn)的檢測頭來利用這些增強(qiáng)的特征進(jìn)行3D檢測。實(shí)驗(yàn)證明，這種方法在點(diǎn)對應(yīng)和物體檢測性能上都優(yōu)于基準(zhǔn)模型。此外，作者還介紹了一個(gè)輔助的控制網(wǎng)絡(luò)，用于保持特征質(zhì)量，并通過生成多個(gè)合成視圖的檢測提案來進(jìn)一步提高檢測性能?？傮w而言，作者的方法在3D物體檢測任務(wù)中取得了顯著的改進(jìn)，并展示了其在不同數(shù)據(jù)集上的泛化能力。

審核編輯：劉清