本文對現有的基于經典機器學習和深度學習方法的日志異常檢測方法進行了實證研究，并提出了一種自動化日志異常檢測評估框架LightAD。

日志是AIOps領域需要處理的常見數據，是程序運行過程中由代碼打印出的一些非結構化的文本信息，日志通常由時間戳和文本信息組成。日志實時記錄了系統的運行狀態，包括正常運行狀態和故障發生時的狀態。因此通過收集和分析日志，可以快速檢測和定位出系統中存在的異常。

本文研究了深度學習方法在日志異常檢測中與更簡單技術相比的優越性，在五個公共的日志異常檢測數據集上對輕量級傳統機器學習方法（如KNN、SLFN）和深度學習方法（如CNN、NeuralLog）進行了全面的評估。

本文的研究結果表明，通過合適的數據處理方式，輕量級機器學習方法能夠在時間效率和準確性方面都優于深度學習方法。為了評估深度學習方法的必要性，本文提出了一種自動化的日志異常檢測模型評估框架LightAD。LightAD是一種基于貝葉斯優化器的優化訓練時間、推斷時間和性能得分的評估框架。通過自動化超參數調優，LightAD可以實現在日志異常檢測模型之間進行公正的比較，使運維工程師能夠針對不同的在線異常檢測目標來選擇合適的異常檢測模型。

模型收益的多目標優化公式如下：

下圖是在去除重復數據的HDFS數據集上使用LightAD進行異常檢測方法優化和評估的結果，最高模型收益的分數由黑色加粗標識。從圖中可以看出，LightAD挑選出的模型都是輕量級的機器學習方法。

本文來自華為云PaaS技術創新Lab和香港中文大學（深圳）賀品嘉助理教授團隊合作項目成果產出，相關研究成果已被軟件工程領域頂會ICSE 2024（CCF A類）正式錄用，文章詳細內容即將公開，敬請關注。