0.這篇文章干了啥？

這篇文章提出了一種名為Test Time Training for Anomaly Segmentation (TTT4AS)的方法，用于改善工業質量控制中的異常檢測和分割（AD&S）任務的性能。在工業質量控制中，識別出顯示有缺陷樣本的圖像是至關重要的。作者指出，現有方法在生成每個像素的異常分數方面表現出色，但實際應用需要生成一個二進制分割圖來識別異常。由于許多實際場景中缺乏標記的異常樣本，標準做法是基于僅包含正常樣本的驗證集的統計數據將這些地圖進行二值化，導致分割性能較差。為了解決這個問題，作者提出了一種測試時訓練策略，以提高分割性能。在測試時，可以直接從異常樣本中提取豐富的特征來訓練一個分類器，從而有效地區分缺陷。這種方法可以適用于任何提供異常分數地圖作為輸出的AD&S方法，即使在多模態設置中也可以。作者通過在MVTec AD和MVTec 3D-AD上進行廣泛的實驗和評估，證明了該方法相對于基線的有效性。

下面一起來閱讀一下這項工作~

1. 論文信息

論文題目：Test Time Training for Industrial Anomaly Segmentation

作者：Alex Costanzino等

作者機構：CVLAB, Department of Computer Science and Engineering (DISI) – University of Bologna, Italy等

論文鏈接：https://arxiv.org/pdf/2404.03743.pdf

2. 摘要

異常檢測和分割（AD&S）對于工業質量控制至關重要。雖然現有方法在為每個像素生成異常分數方面表現出色，但實際應用需要產生一個二進制分割來識別異常。由于許多實際場景中缺乏標記的異常，標準做法是基于僅包含正常樣本的驗證集導出的一些統計數據對這些地圖進行二值化，從而導致分割性能不佳。本文通過提出一種測試時間訓練策略來解決這個問題，以改善分割性能。事實上，在測試時間，我們可以直接從異常樣本中提取豐富的特征來訓練一個能夠有效區分缺陷的分類器。我們的一般方法可以在任何提供異常分數地圖作為輸出的AD&S方法中下游工作，即使是在多模態設置中也可以。通過對MVTec AD和MVTec 3D-AD進行大量實驗和評估，我們證明了我們的方法相對于基線的有效性。

3. 效果展示

MVTec AD定性結果。我們展示了每個類別的RGB圖像，接著是地面真實情況，異常分數，使用閾值處理的二進制分割圖，以及使用TTT4AS對PatchCore進行的二進制分割圖，其中使用了WideResNet50和DINO-v2作為背景骨干。

MVTec-3DAD定性結果。我們展示了每個類別的RGB圖像、點云、地面真實情況，接著是異常分數，使用閾值處理的二進制分割圖，以及使用TTT4AS對M3DM和CMM進行的二進制分割圖。

4. 主要貢獻

首次調查AD&S中的TTT；

提出了一種新穎的方法TTT4AS，用于根據通用AD&S算法生成的異常分數和通用預訓練網絡提取的特征來完善分割地圖；

本文的方法增強了各種基于RGB或多模態的AD&S方法的二進制異常分割性能。此外，我們的方法避免了選擇特定閾值來對異常分數進行二值化的需要。

5. 基本原理是啥？

這篇文章的基本原理是通過提出一種名為Test Time Training for Anomaly Segmentation (TTT4AS)的方法來改善工業質量控制中的異常檢測和分割（AD&S）任務的性能。在工業質量控制中，識別出顯示有缺陷樣本的圖像是至關重要的。而相關的常被調查的任務是異常分割（AS），即在給定異常樣本的圖像中，目標是識別對應于缺陷的像素。大多數現有方法同時解決這兩個任務（AD&S），產生一個包含每個圖像像素異常分數的地圖作為輸出。然而，對于實際應用，必須對異常分數進行二值化，即將每個像素分類為異常或正常。標準做法是基于僅包含正常樣本的驗證集的一些統計信息將這些地圖進行二值化，這導致分割性能較差。作者通過提出一種測試時訓練策略來解決這個問題，以提高分割性能。在測試時，可以直接從異常樣本中提取豐富的特征來訓練一個分類器，從而有效地區分缺陷。該方法可以適用于任何提供異常分數地圖作為輸出的AD&S方法，即使在多模態設置中也可以。

?

6. 實驗結果

實驗結果表明，作者的方法在工業質量控制中的異常檢測和分割任務上取得了顯著的改進。他們使用了不同的特征提取器和AD&S方法，在兩個數據集上進行了評估：MVTec AD（僅RGB圖像）和MVTec 3D-AD（RGB圖像和3D數據）。

2D異常分割：在MVTec AD數據集上，作者使用PatchCore和WideResnet-50特征以及DINO-v2特征分別進行了實驗。結果顯示，TTT4AS方法在平均精度、召回率和F1分數方面均優于基線。特別是，在WideResnet-50特征下，精度提高了2.1％，召回率提高了2.7％，F1分數顯著提高了15％。在DINO-v2特征下，精度提高了17.2％，召回率提高了8.5％，F1分數提高了23.8％。這表明，TTT4AS方法可以有效地提高基線方法在2D異常分割任務上的性能。

多模態異常分割：作者還將TTT4AS方法應用于多模態方法，包括M3DM和CMM，這些方法旨在結合RGB圖像和3D數據以提高異常檢測性能。結果顯示，TTT4AS方法在平均精度和平均F1分數方面均優于基線。雖然在M3DM上，TTT4AS方法降低了召回率，但提高了精度和F1分數；在CMM上，精度提高了10.5％，F1分數提高了10.5％。這表明，TTT4AS方法對多模態異常分割任務也是有效的。

消融實驗：作者進行了一些消融實驗，驗證了他們方法中關鍵部分的有效性。他們發現，選擇用于檢測峰值的百分位數并不是關鍵，性能在不同的百分位數下保持穩定。此外，他們還發現，將預訓練模型提取的特征用作SVM分類器的輸入要優于直接使用異常分數作為輸入。

?

?

7. 總結 & 未來工作

這篇文章介紹了一種用于異常分割的新方法TTT4AS，該方法在給定AD&S算法生成的異常分數的情況下實現了更好的分割效果。該方法的基本思想是在測試時針對每個輸入的異常樣本訓練一個特定的分類器，利用從異常分數中提取的偽標簽作為訓練數據。實驗結果表明，這種方法在多個基準數據集上優于簡單的基線方法，并且具有通用性，可以應用于多種AD&S方法。然而，該方法也存在一些局限性，如在非極大值抑制中可能會錯過一些重要的峰值，需要進一步改進。未來的研究可以致力于解決這些局限性，并且該方法可能為無監督工業異常檢測領域的進一步研究提供啟示。

審核編輯：黃飛

?