目標(biāo)檢測的后處理：NMS vs WBF

導(dǎo)讀

模型集成是組合多個模型的預(yù)測以提高系統(tǒng)整體性能的過程。這可以通過對多個模型的預(yù)測求平均值，或使用更復(fù)雜的方法（如加權(quán)框融合 （WBF））來組合預(yù)測來完成。集成方法可以通過減少過擬合的影響并提高系統(tǒng)的魯棒性來顯著提高目標(biāo)檢測系統(tǒng)的性能。

測試時(shí)增強(qiáng) （TTA） 是另一種用于提高目標(biāo)檢測系統(tǒng)性能的技術(shù)。它在測試期間將各種數(shù)據(jù)增強(qiáng)技術(shù)（例如旋轉(zhuǎn)、縮放和翻轉(zhuǎn)）應(yīng)用于輸入圖像。這可以通過使系統(tǒng)對輸入數(shù)據(jù)的微小變化更加不變來幫助提高系統(tǒng)的魯棒性。TTA還可以通過提供額外的數(shù)據(jù)供檢測器學(xué)習(xí)來幫助提高系統(tǒng)的性能。

非極大值抑制 (NMS) 是一種后處理技術(shù)，用于去除目標(biāo)檢測器生成的重疊框。它常用于計(jì)算機(jī)視覺中的目標(biāo)檢測任務(wù)，例如人臉檢測、目標(biāo)跟蹤以及圖像和視頻中的目標(biāo)檢測。

NMS 背后的基本思想是選擇置信度得分最高的框，然后刪除與其顯著重疊的其他框。重復(fù)此過程，直到考慮了所有框。這有助于減少目標(biāo)檢測中的誤報(bào)數(shù)量，因?yàn)槟繕?biāo)檢測器通常會生成對同一目標(biāo)的多次檢測。

計(jì)算兩個邊界框之間重疊的最常見方法是使用交并比 (IoU) 指標(biāo)。

IoU(A,B) = (A ∩ B) / (A ∪ B)

其中 A 和 B 是邊界框的面積，A ∩ B 是它們相交的面積。通常，為 IoU 度量設(shè)置一個閾值，任何 IoU 大于該閾值的邊界框都被認(rèn)為是重復(fù)檢測并被刪除。

加權(quán)框融合（WBF）是一種提高目標(biāo)檢測系統(tǒng)性能的強(qiáng)大技術(shù)。它是一種將多個邊界框或感興趣區(qū)域 (ROI) 的結(jié)果組合成一個更準(zhǔn)確、更穩(wěn)定的結(jié)果的方法。當(dāng)使用多個模型或算法來檢測圖像或視頻中的目標(biāo)并且需要組合結(jié)果以提高整體性能時(shí)，該技術(shù)特別有用。

從本質(zhì)上講，WBF 是一種通過根據(jù)各種標(biāo)準(zhǔn)為每個邊界框分配權(quán)重來組合多個目標(biāo)檢測器結(jié)果的方法。然后使用這些權(quán)重將邊界框組合成一個更穩(wěn)健的結(jié)果。

WBF算法的工作步驟如下：

1. 每個模型的每個預(yù)測框（或通過 TTA 獲得的預(yù)測）都會添加到單個列表 B 中，然后按置信度分?jǐn)?shù) C 的降序排序。
2. 分別為框組和融合框?qū)嵗碌目樟斜?L 和 F。因此，列表L中的每個元素都是由于重疊而形成的一組框，而F中的每個位置僅包含一個框，即融合框。
3. 在一個循環(huán)中迭代 B 中的預(yù)測框，并檢查列表 F 中的匹配框（IoU > THR）。
4. 如果未找到匹配項(xiàng)，則將 B 中的框添加到列表 L 和 F 的末尾作為新條目；繼續(xù)進(jìn)行 B 中的下一個框。
5. 如果找到匹配，則將此框添加到列表L中與F中的匹配框?qū)?yīng)的位置處。
6. 使用框組 L[pos]中的所有內(nèi)容重新計(jì)算 F[pos]中的框坐標(biāo)和置信度得分。將置信度得分設(shè)置為 L[pos]中所有框的平均置信度。融合框的坐標(biāo)是形成它的框的坐標(biāo)的加權(quán)和，其中權(quán)重是對應(yīng)框的置信度分?jǐn)?shù)。最終 ROI = Σ (權(quán)重 i * ROIi) / Σ 權(quán)重 i。其中 ROIi 是第 i 個邊界框，weighti 是分配給該邊界框的權(quán)重，并且對正在考慮進(jìn)行融合的所有邊界框進(jìn)行求和。最終的 ROI 是計(jì)算得出的組合邊界框。
7. 最后，重新調(diào)整 F 列表中的置信度分?jǐn)?shù)：將其乘以組中的框數(shù)（定義為下面的 T），然后除以模型數(shù) N。如果組中的框數(shù)量較少，則可能意味著只有少數(shù)模型可以預(yù)測它。因此，我們需要降低此類情況的置信度分?jǐn)?shù)。

WBF 可以成為提高目標(biāo)檢測系統(tǒng)性能的強(qiáng)大工具，并且越來越多地被廣泛應(yīng)用于自動駕駛汽車、監(jiān)控系統(tǒng)和計(jì)算機(jī)視覺的許多其他領(lǐng)域。通過集成WBF技術(shù)，目標(biāo)檢測系統(tǒng)可以變得更加魯棒和準(zhǔn)確，并且即使在存在噪聲和遮擋的情況下也可以表現(xiàn)得更好。

另一方面，WBF 是一種用于組合多個邊界框（或感興趣區(qū)域）的技術(shù)，以產(chǎn)生更準(zhǔn)確和穩(wěn)定的結(jié)果。它通常用于使用多個模型或算法來檢測圖像或視頻中的對象，并且需要組合結(jié)果以提高整體性能的情況。WBF 的工作原理是根據(jù)檢測置信度、與其他邊界框的重疊或其他標(biāo)準(zhǔn)等因素為每個邊界框分配權(quán)重。然后使用這些權(quán)重將邊界框組合成一個更穩(wěn)健的結(jié)果。

在上表中我們看到作者還提供了通過 TTA 組合預(yù)測的實(shí)驗(yàn)。他們使用在 COCO 數(shù)據(jù)集上訓(xùn)練的 EfficientNetB7 模型。對于 TTA，他們只采用水平翻轉(zhuǎn)。同樣，我們看到 WBF 的性能明顯優(yōu)于 NMS、Soft-NMS 和 NMW 等其他方法。

• 魯棒性：物體檢測器可能會受到雜波、遮擋和背景噪聲等因素的影響。WBF可以通過結(jié)合多個檢測器的結(jié)果來幫助提高物體檢測系統(tǒng)的魯棒性，從而可以減少這些因素的影響。
• 準(zhǔn)確性：WBF 可以通過組合同一物體的多次檢測來幫助提高物體檢測系統(tǒng)的準(zhǔn)確性。這在圖像或視頻中目標(biāo)部分被遮擋或僅部分可見的情況下特別有用。
• 穩(wěn)定性：WBF 可以通過減少誤報(bào)和漏報(bào)的影響來幫助提高目標(biāo)檢測系統(tǒng)的穩(wěn)定性。這在感興趣的物體很小或難以檢測的情況下特別有用。

• 靈活性：WBF可以與非極大值抑制（NMS）等其他技術(shù)結(jié)合使用，以進(jìn)一步提高目標(biāo)檢測系統(tǒng)的性能。

END

（添加請備注公司名和職稱）

Imagination Technologies是一家總部位于英國的公司，致力于研發(fā)芯片和軟件知識產(chǎn)權(quán)（IP），基于Imagination IP的產(chǎn)品已在全球數(shù)十億人的電話、汽車、家庭和工作 場所中使用。獲取更多物聯(lián)網(wǎng)、智能穿戴、通信、汽車電子、圖形圖像開發(fā)等前沿技術(shù)信息，歡迎關(guān)注 Imagination Tech！