作者：Mingyu Lee,Jongwon Choi等

作者機構：Dept. of Advanced Imaging, GSAIM, Chung-Ang University, Seoul, Korea等

這篇文章提出了一種文本引導的變分圖像生成方法，旨在解決工業制造中異常檢測數據清潔的挑戰。該方法利用文本信息生成類似輸入圖像的非缺陷數據圖像，確保生成圖像與預期分布相一致。實驗證明，即使有限的非缺陷數據，該方法也比先前的方法更有效。通過在多個模型和數據集上進行驗證，證實了該方法的通用性和穩定性。另外，利用生成的圖像還可以增強異常檢測模型的有效性。

讀者理解：

這篇文章提出了一種解決大規模工業制造中異常檢測任務中數據短缺問題的新框架。該框架包括方差感知圖像生成器、關鍵詞到提示生成器和文本引導知識整合器。作者通過實驗驗證了該框架在不同場景下的有效性，特別是在只有單個非缺陷圖像的情況下。實驗結果顯示，該框架可以有效地進行異常檢測和分割，即使在缺乏數據的工業環境中也能取得令人印象深刻的性能。文章指出，通過保持非缺陷圖像的特征來提高性能，并且即使在非缺陷圖像數量有限的情況下，也能避免與缺陷圖像混合的問題。

1 引言

這篇論文介紹了一種文本引導的變分圖像生成方法，旨在解決工業制造中的異常檢測和分割問題。傳統方法通過訓練非缺陷數據的分布來進行異常檢測，但這需要大量且多樣化的非缺陷數據。該方法利用文本信息生成類似輸入圖像的非缺陷數據圖像，并確保生成的圖像與預期分布相一致。實驗證明，即使只有少量非缺陷數據，該方法也優于先前方法。

文章提出了四點貢獻：

開發了一種基于變分的圖像生成器，用于預測和保留非缺陷圖像的方差；

開發了關鍵詞到提示生成器，解決了好產品數據缺乏多樣性的問題；

開發了基于文本引導的知識整合器方法，彌合了不同模態之間的語義鴻溝；

將方法應用于幾種最先進的算法，并在各種真實工業數據集上進行了測試，結果表明，即使只有少量非缺陷圖像，該方法也表現出色。

?

2 初步分析

本節介紹了針對異常檢測任務的新生成圖像方法的初步實驗。實驗比較了基準異常檢測模型和使用額外訓練圖像的相同模型的性能。實驗使用了來自MVTecAD數據集的單個榛子圖像，并利用了各種生成圖像方法。實驗結果表明，性能受生成圖像的影響。有趣的是，良好的圖像質量并不一定有助于提高性能。在保留原始圖像的關鍵元素的情況下，可以提高性能。因此，為了有效地訓練生成圖像的非缺陷分布，需要考慮幾個因素：生成的圖像應該與提供的非缺陷圖像的外觀類似，同時保留其視覺變化；找到生成視覺結構良好的圖像的最佳提示非常重要；基于上述兩種信息內容，即使給出了不足數量的非缺陷圖像，也應該創建具有小語義差距的圖像。

3 方法

本節介紹了本文的方法，包括關鍵詞到提示生成器、方差感知圖像生成器和文本引導知識整合器。關鍵詞到提示生成器根據輸入文本中的關鍵詞生成一組提示，然后選擇最佳提示，其中包含與輸入圖像相似的信息。方差感知圖像生成器將非缺陷圖像的視覺特征編碼到正態分布中，以保持它們的方差，并通過生成器更新迭代生成圖像。文本引導知識整合器通過評估生成的文本提示與圖像集之間的潛在分布相似性，確定最佳的生成圖像集合。最后，生成的圖像集合被用作基準異常檢測模型的額外訓練集。

?

3.1 生成模塊

這部分介紹了生成模塊，包括關鍵詞到提示生成器和方差感知圖像生成器。關鍵詞到提示生成器通過將目標對象名稱與一組預定義狀態詞結合起來，生成多個候選提示，并選擇與原始圖像潛在特征最相似的最佳提示。然后，將輸入圖像轉換為多個增強圖像，并饋送到方差感知圖像生成器中。方差感知圖像生成器將圖像編碼到相應的潛在分布中，以保持它們的方差。最后，通過采樣解碼生成一組新的圖像。關鍵詞到提示生成器利用 WordNet 構建了一組不同的詞，通過計算候選提示與原始圖像之間的距離來選擇最佳提示。方差感知圖像生成器基于 VQGAN 模型，擴展了其架構以預測潛在變量的方差，從而有效地表示圖像的外觀多樣性。

3.2 文本引導的知識集成器

在這個過程中，作者使用文本引導知識集成器生成與最佳提示相匹配的非缺陷圖像，并將它們添加到用于異常檢測模型的非缺陷數據池中。首先，從關鍵詞到提示生成器中選擇最佳提示，并通過 Clip 文本編碼器提取文本剪輯特征。同時，通過方差感知圖像生成器生成一組圖像，并通過對圖像特征求平均來估計視覺剪輯特征。接著，文本引導知識集成器通過余弦相似度評分選擇最佳生成圖像集合，用于訓練異常檢測模型。在生成新圖像集合的每次迭代中，同時更新方差感知圖像生成器，以便生成與輸入非缺陷圖像相似的圖像，并增強生成圖像集合的多樣性。最后，通過利用均方誤差損失和傳統 VQGAN 損失來訓練模型，并使用 Adam 優化器更新方差感知圖像生成器的參數。

4 實驗

在這項研究中，提出了一種新穎的框架，通過結合文本引導和圖像生成來增強異常檢測性能。以下是實驗的詳細總結：

基線和數據集：選擇了幾種基線模型，包括Patchcore、Cflow、EfficientAD和Reverse Distillation，并在MVTecAD、MVTecADloco和BTAD數據集上進行了比較分析。這些數據集包含了各種對象和紋理的圖像，以及實際工業產品的缺陷圖像。

實現細節：使用了每個基線模型的原始設置，并使用預訓練的ResNet-18模型作為默認骨干網絡。還初始化了方差感知圖像生成器，并使用了預訓練的CLIP模型。每次迭代生成20張圖像，訓練時間平均為182.6秒。

定量結果：通過將最新的基線模型應用于MVTecAD數據集，對本文設計的框架進行了性能比較。結果顯示，本文的框架在一次、少量和完整訓練任務中都取得了顯著的性能提升，驗證了其泛化能力。此外，作者還分析了在一次訓練任務中性能提升最高的五個類別。

實驗分析：作者進行了實驗分析，驗證了本文提出的模塊的有效性，并發現了添加生成圖像的額外啟示。作者還對文本生成圖像的數量對文本生成器性能的影響進行了分析，并發現過多的非缺陷數據可能會成為數據表達中的重要噪聲。

優化結果：本文可視化了關鍵詞到提示生成器成功找到最佳提示以及方差感知圖像生成器和文本引導知識整合器基于最佳提示生成的圖像結果。結果表明，作者的提示具有接近非缺陷圖像的特征，并且可以提高基于文本的知識整合模塊的性能。

消融研究：進行了消融研究，評估了作者方法各組件的影響。結果顯示，本文的方法相比基線提高了4.6%。還分析了文本生成圖像的數量對文本生成器性能的影響，并發現隨著生成圖像數量的增加，模型性能不斷提高，但最終趨于飽和。

?

?

5 總結

這個實驗主要是為了解決大規模工業制造中異常檢測任務中數據短缺的問題。研究提出了一個新的框架，包括方差感知圖像生成器、關鍵詞到提示生成器和文本引導知識整合器。通過廣泛的實驗，使用四種基線模型和三個數據集進行比較分析。實驗結果表明，該框架在所有假設場景下表現出色，尤其是在單個非缺陷圖像的情況下。研究發現，潛變量的均勻分布有助于通過在再生過程中保持非缺陷圖像的特征來提高性能。通過基于文本的多模態模型，該框架在工業環境中有效執行異常檢測和分割的潛力得到展示。此外，即使在有限數量的非缺陷圖像下，該方法也表現出色，這使本文能夠在有效收集大規模非缺陷圖像集的同時避免與缺陷圖像交織的問題。

審核編輯：黃飛

?