哈工大提出Myriad：利用視覺專家進行工業(yè)異常檢測的大型多模態(tài)模型

一句話總結

通過應用視覺專家進行工業(yè)異常檢測，以實現(xiàn)明確的異常檢測和高質(zhì)量的異常描述，還可進行多輪對話，性能表現(xiàn)出色！優(yōu)于AnomalyGPT等網(wǎng)絡，代碼即將開源！

Myriad

Myriad: Large Multimodal Model by Applying Vision Experts for Industrial Anomaly Detection

單位：哈工大(左旺孟團隊), 琶洲實驗室

論文：https://arxiv.org/abs/2310.19070

代碼：https://github.com/tzjtatata/Myriad

現(xiàn)有的工業(yè)異常檢測（IAD）方法可以預測異常檢測和定位的異常分數(shù)。然而，它們很難對異常區(qū)域進行多輪對話和詳細描述，例如工業(yè)異常的顏色、形狀和類別。

最近，大型多模態(tài)（即視覺和語言）模型（LMM）在圖像描述、視覺理解、視覺推理等多種視覺任務上表現(xiàn)出了卓越的感知能力，使其成為更易于理解的異常檢測的有競爭力的潛在選擇。然而，現(xiàn)有的通用 LMM 中缺乏有關異常檢測的知識，而訓練特定的 LMM 進行異常檢測需要大量的注釋數(shù)據(jù)和大量的計算資源。

本文提出了一種新穎的大型多模態(tài)模型，通過應用視覺專家進行工業(yè)異常檢測（稱為Myriad），從而實現(xiàn)明確的異常檢測和高質(zhì)量的異常描述。

具體來說，采用 MiniGPT-4 作為基礎 LMM，并設計一個專家感知模塊，將視覺專家的先驗知識嵌入到大型語言模型（LLM）可以理解的標記中。

為了彌補視覺專家的錯誤和困惑，引入了域適配器來彌合通用圖像和工業(yè)圖像之間的視覺表示差距。此外，提出了一個視覺專家講師，它使 Q-Former 能夠根據(jù)視覺專家先驗生成 IAD 領域視覺語言標記。

實驗結果

在MVTec-AD 和 VisA 基準上的大量實驗表明，本文提出的方法不僅在 1-class 和少樣本設置下比最先進的方法表現(xiàn)更好，而且還提供了明確的異常預測以及 IAD 中的詳細描述領域。