開放詞匯檢測新晉SOTA：地瓜機(jī)器人開源DOSOD實(shí)時(shí)檢測算法

在計(jì)算機(jī)視覺領(lǐng)域，目標(biāo)檢測是一項(xiàng)關(guān)鍵技術(shù)，旨在識別圖像或視頻中感興趣物體的位置與類別。傳統(tǒng)的閉集檢測長期占據(jù)主導(dǎo)地位，但近年來，開放詞匯檢測（Open-Vocabulary Object Detection-OVOD 或者 Open-Set Object Detection-OSOD）嶄露頭角，為目標(biāo)檢測帶來了新的活力與可能性。與閉集檢測相比，開放詞匯檢測打破了檢測類別固定的“枷鎖”，它在訓(xùn)練時(shí)利用豐富多樣的文本 - 區(qū)域?qū)Γ╰ext-region pairs）數(shù)據(jù)，將文本作為類別標(biāo)簽，大大拓寬了可檢測的范圍。尤其是在機(jī)器人感受周圍環(huán)境的任務(wù)中，能夠起到極大的幫助。

目前主流的開放詞匯檢測算法有Grounding-DINO系列和YOLO-World。在海量的私有數(shù)據(jù)集的加持下，前者具有非常強(qiáng)大的檢測能力，精度遙遙領(lǐng)先，其模型依賴參數(shù)量較大的Transformer結(jié)構(gòu)，實(shí)時(shí)性較弱。后者依賴輕量級的Convolution結(jié)構(gòu)，能夠達(dá)到實(shí)時(shí)推理的效率，精度上依然不錯(cuò)。

DOSOD（Decoupled Open-Set Object Detection）是地瓜機(jī)器人最新發(fā)布的開放詞匯目標(biāo)檢測算法，力求在低算力邊緣端實(shí)現(xiàn)更高的推理效率，同時(shí)帶來比YOLO-World更具競爭力的精度表現(xiàn)。在算法上，DOSOD采用了獨(dú)特的解耦特征對齊策略，摒棄了傳統(tǒng)的圖像-文本交互方式，通過基于MLPs的特征適配模塊對圖像與文本的特征進(jìn)行優(yōu)化與對齊，進(jìn)一步提升了模型的推理效率和精度。

實(shí)驗(yàn)結(jié)果顯示，DOSOD在多個(gè)公開數(shù)據(jù)集（如LVIS）上的表現(xiàn)超越了YOLO-World-v2，并在邊緣AI計(jì)算平臺上展現(xiàn)了壓倒性的效率優(yōu)勢。

文章開源地址：https://arxiv.org/abs/2412.14680

代碼開源地址：https://github.com/D-Robotics-AI-Lab/DOSOD

文章由地瓜機(jī)器人應(yīng)用算法部，中科院自動化所多模態(tài)人工智能系統(tǒng)全國重點(diǎn)實(shí)驗(yàn)室，蘇州大學(xué)未來學(xué)院，上海科技大學(xué)信息科學(xué)技術(shù)學(xué)院聯(lián)合出品。

DOSOD的基本原理

目前主流的開放詞匯檢測對齊策略主要分為以下三種：

(a) 教師 - 學(xué)生蒸餾方法

• 描述：利用 VLM（視覺語言模型）的文本編碼器生成的文本嵌入來監(jiān)督圖像特征和檢測器特征的對齊。也可以通過裁剪圖像區(qū)域來對齊特征。
• 總結(jié)：通過 VLM 的文本編碼器來指導(dǎo)圖像和檢測器特征的對齊。

(b) 基于交互的對齊策略

• 描述：文本嵌入與檢測器骨干網(wǎng)絡(luò)提取的圖像特征進(jìn)行交互，以實(shí)現(xiàn)對齊。
• 總結(jié)：通過文本嵌入與圖像特征的交互來實(shí)現(xiàn)特征對齊。

(c) 提出的解耦對齊策略

• 描述：在不進(jìn)行交互的情況下對齊特征，通過視覺 - 語言特征適配來實(shí)現(xiàn)。
• 總結(jié)：采用解耦方式，不依賴交互來進(jìn)行特征對齊。

DOSOD（Decoupled Open-Set Object Detection） 屬于第三種開放詞匯檢測對齊策略——解耦對齊策略。該方法的核心思想是通過將文本和圖像模態(tài)的特征解耦，以實(shí)現(xiàn)更高效的對齊過程，從而在保證檢測精度的同時(shí)大幅提升推理速度。

在此基礎(chǔ)上，DOSOD洞察到了閉集檢測與開放詞匯檢測之間的本質(zhì)聯(lián)系，提出了全新的結(jié)構(gòu)框架（如上圖所示）。具體來說，DOSOD將傳統(tǒng)分類分支最后的卷積操作等價(jià)地解構(gòu)為兩個(gè)模態(tài)的特征對齊操作，從而激發(fā)出解耦的特征學(xué)習(xí)和共同空間對齊的結(jié)構(gòu)。

在該框架中，類別標(biāo)簽文本首先通過一個(gè)文本編碼器（來自VLM）生成初步的Text Embedding，然后經(jīng)過一個(gè)基于MLPs的特征適應(yīng)模塊，對Text Embedding進(jìn)行特征優(yōu)化，為Joint Space中的對齊操作做準(zhǔn)備。

在圖像側(cè)，DOSOD使用經(jīng)典的單階段目標(biāo)檢測器（文中使用了YOLOv8）來提取圖像的多尺度特征圖。每個(gè)特征點(diǎn)表示圖像中的一個(gè)區(qū)域特征。最后，在Joint Space中，通過計(jì)算Text Embedding與Region Feature之間的相似度，從而完成特征對齊。

DOSOD的實(shí)驗(yàn)結(jié)果

在實(shí)驗(yàn)部分，DOSOD在公開數(shù)據(jù)集上進(jìn)行了預(yù)訓(xùn)練，并在LVIS和COCO數(shù)據(jù)集上進(jìn)行了Zero-shot驗(yàn)證。DOSOD均擁有優(yōu)秀的精度表現(xiàn)：

• 在LVIS數(shù)據(jù)集上，相較于YOLO-World-v2，DOSOD精度全面領(lǐng)先，并與YOLO-World-v1不分伯仲。

• 在COCO數(shù)據(jù)集上，DOSOD整體精度要略低于YOLO-World，但YOLO-World-v2的精度微高于YOLO-World-v1，也一定程度上說明，COCO由于詞匯豐富程度較低，不太適用于開放詞匯檢測任務(wù)評測。

在推理速度上，通過將DOSOD與YOLO-World在NVIDIA RTX 4090和D-Robotics RDK X5上進(jìn)行全面對比，我們可以看到：

• DOSOD在主流的服務(wù)器級別的芯片上，推理效率是顯著高于YOLO-World。

• 在邊緣側(cè)的AI計(jì)算平臺上，DOSOD以碾壓式的效率提升，遠(yuǎn)遠(yuǎn)超越Y(jié)OLO-World。

DOSOD的應(yīng)用效果

DOSOD開放詞匯檢測算法有著廣泛的應(yīng)用場景，既能用于常規(guī)檢測任務(wù)里的目標(biāo)檢測，也可以應(yīng)用在特殊場景下長尾目標(biāo)類型的檢測任務(wù)當(dāng)中。針對某些極端長尾的目標(biāo)類型，只需收集少量相關(guān)數(shù)據(jù)進(jìn)行微調(diào)，就能顯著提高模型的穩(wěn)定性和檢測效果。

• DOSOD 在常規(guī)目標(biāo)檢測上的檢測效果

在閉集目標(biāo)檢測任務(wù)中，COCO數(shù)據(jù)集預(yù)先定義了80個(gè)固定類別。我們可以看到，在經(jīng)過大數(shù)據(jù)量的開放詞匯數(shù)據(jù)集預(yù)訓(xùn)練后，DOSOD能夠檢測出諸多長尾類別，如圖2左下角的“heater”，圖4中的“shoe”和“wheel”，而這些詞匯并未包含在COCO數(shù)據(jù)集的80個(gè)類別之內(nèi)。

• DOSOD 在特殊場景的長尾類別上的檢測效果

以下展示的是掃地機(jī)視角下的圖像，任務(wù)要求是檢測出地面上的各類污漬或障礙物，這些類別并不是常規(guī)目標(biāo)檢測任務(wù)中的標(biāo)準(zhǔn)類別。通過少量數(shù)據(jù)的微調(diào)，DOSOD成功識別了這些特殊類別，為在該場景中準(zhǔn)確檢測出多樣化的長尾類別發(fā)揮了關(guān)鍵作用。

DOSOD作為一款新興的開放詞匯檢測算法，憑借創(chuàng)新的解耦特征對齊策略，在提升推理效率的同時(shí)，成功地保證了精度，展示出了極強(qiáng)的應(yīng)用潛力。未來，隨著計(jì)算資源的提升與算法的不斷優(yōu)化，DOSOD有望在機(jī)器人、自動駕駛、智能家居等領(lǐng)域提供更加高效精準(zhǔn)的目標(biāo)檢測解決方案。

作為地瓜機(jī)器人前沿算法研究的最新成果，DOSOD不僅在精度上超越了對標(biāo)方法，更成功解決了推理效率與低算力設(shè)備適應(yīng)性之間的挑戰(zhàn)，為智能機(jī)器人技術(shù)的普及與發(fā)展提供了有力支持。

未來，地瓜機(jī)器人將秉承“成為機(jī)器人時(shí)代的Wintel”的品牌初心，持續(xù)與客戶一同深入應(yīng)用場景，在提供擁有極致性能表現(xiàn)的硬件的同時(shí)，為行業(yè)客戶和開發(fā)者提供豐富的具有實(shí)用價(jià)值的算法，加速機(jī)器人技術(shù)的落地和廣泛應(yīng)用。