一句話總結

通過應用視覺專家進行工業異常檢測，以實現明確的異常檢測和高質量的異常描述，還可進行多輪對話，性能表現出色！優于AnomalyGPT等網絡，代碼即將開源！

Myriad

Myriad: Large Multimodal Model by Applying Vision Experts for Industrial Anomaly Detection

單位：哈工大(左旺孟團隊), 琶洲實驗室

論文：https://arxiv.org/abs/2310.19070

代碼：https://github.com/tzjtatata/Myriad

現有的工業異常檢測（IAD）方法可以預測異常檢測和定位的異常分數。然而，它們很難對異常區域進行多輪對話和詳細描述，例如工業異常的顏色、形狀和類別。

最近，大型多模態（即視覺和語言）模型（LMM）在圖像描述、視覺理解、視覺推理等多種視覺任務上表現出了卓越的感知能力，使其成為更易于理解的異常檢測的有競爭力的潛在選擇。然而，現有的通用 LMM 中缺乏有關異常檢測的知識，而訓練特定的 LMM 進行異常檢測需要大量的注釋數據和大量的計算資源。

本文提出了一種新穎的大型多模態模型，通過應用視覺專家進行工業異常檢測（稱為Myriad），從而實現明確的異常檢測和高質量的異常描述。

具體來說，采用 MiniGPT-4 作為基礎 LMM，并設計一個專家感知模塊，將視覺專家的先驗知識嵌入到大型語言模型（LLM）可以理解的標記中。

為了彌補視覺專家的錯誤和困惑，引入了域適配器來彌合通用圖像和工業圖像之間的視覺表示差距。此外，提出了一個視覺專家講師，它使 Q-Former 能夠根據視覺專家先驗生成 IAD 領域視覺語言標記。

實驗結果

在MVTec-AD 和 VisA 基準上的大量實驗表明，本文提出的方法不僅在 1-class 和少樣本設置下比最先進的方法表現更好，而且還提供了明確的異常預測以及 IAD 中的詳細描述領域。