【AIOps】一種全新的日志異常檢測評(píng)估框架：LightAD，相關(guān)成果已被軟工頂會(huì)ICSE 2024錄用

本文對(duì)現(xiàn)有的基于經(jīng)典機(jī)器學(xué)習(xí)和深度學(xué)習(xí)方法的日志異常檢測方法進(jìn)行了實(shí)證研究，并提出了一種自動(dòng)化日志異常檢測評(píng)估框架LightAD。

日志是AIOps領(lǐng)域需要處理的常見數(shù)據(jù)，是程序運(yùn)行過程中由代碼打印出的一些非結(jié)構(gòu)化的文本信息，日志通常由時(shí)間戳和文本信息組成。日志實(shí)時(shí)記錄了系統(tǒng)的運(yùn)行狀態(tài)，包括正常運(yùn)行狀態(tài)和故障發(fā)生時(shí)的狀態(tài)。因此通過收集和分析日志，可以快速檢測和定位出系統(tǒng)中存在的異常。

本文研究了深度學(xué)習(xí)方法在日志異常檢測中與更簡單技術(shù)相比的優(yōu)越性，在五個(gè)公共的日志異常檢測數(shù)據(jù)集上對(duì)輕量級(jí)傳統(tǒng)機(jī)器學(xué)習(xí)方法（如KNN、SLFN）和深度學(xué)習(xí)方法（如CNN、NeuralLog）進(jìn)行了全面的評(píng)估。

本文的研究結(jié)果表明，通過合適的數(shù)據(jù)處理方式，輕量級(jí)機(jī)器學(xué)習(xí)方法能夠在時(shí)間效率和準(zhǔn)確性方面都優(yōu)于深度學(xué)習(xí)方法。為了評(píng)估深度學(xué)習(xí)方法的必要性，本文提出了一種自動(dòng)化的日志異常檢測模型評(píng)估框架LightAD。LightAD是一種基于貝葉斯優(yōu)化器的優(yōu)化訓(xùn)練時(shí)間、推斷時(shí)間和性能得分的評(píng)估框架。通過自動(dòng)化超參數(shù)調(diào)優(yōu)，LightAD可以實(shí)現(xiàn)在日志異常檢測模型之間進(jìn)行公正的比較，使運(yùn)維工程師能夠針對(duì)不同的在線異常檢測目標(biāo)來選擇合適的異常檢測模型。

模型收益的多目標(biāo)優(yōu)化公式如下：

下圖是在去除重復(fù)數(shù)據(jù)的HDFS數(shù)據(jù)集上使用LightAD進(jìn)行異常檢測方法優(yōu)化和評(píng)估的結(jié)果，最高模型收益的分?jǐn)?shù)由黑色加粗標(biāo)識(shí)。從圖中可以看出，LightAD挑選出的模型都是輕量級(jí)的機(jī)器學(xué)習(xí)方法。

本文來自華為云PaaS技術(shù)創(chuàng)新Lab和香港中文大學(xué)（深圳）賀品嘉助理教授團(tuán)隊(duì)合作項(xiàng)目成果產(chǎn)出，相關(guān)研究成果已被軟件工程領(lǐng)域頂會(huì)ICSE 2024（CCF A類）正式錄用，文章詳細(xì)內(nèi)容即將公開，敬請關(guān)注。