對于大規(guī)模系統(tǒng)日志的日志模式提煉算法的優(yōu)化

　　LARGE框架是部署在中國科學院超級計算環(huán)境中的日志分析系統(tǒng)，通過日志收集、集中分析、結(jié)果反饋等步驟對環(huán)境中的各種日志文件進行監(jiān)控和分析。在對環(huán)境中系統(tǒng)日志的監(jiān)控過程中，系統(tǒng)維護人員需要通過日志模式提煉算法將大量的過往系統(tǒng)日志記錄縮減為少量的日志模式集合。然而隨著日志規(guī)模的增長以及messages日志文件的特殊性，原有的日志模式提煉算法已經(jīng)難以滿足對大規(guī)模日志快速處理的需要。介紹了一種對于日志模式提煉算法的優(yōu)化方法，通過引入MapReduce機制實現(xiàn)在存在多個日志輸入文件的情況下對日志處理和模式提煉的流程進行加速。實驗表明，當輸入文件較多時，該優(yōu)化方法能夠顯著提高詞匯一致率算法的運行速度，大幅減少運行時間。此外，還對使用詞匯轉(zhuǎn)換函數(shù)時的算法運行時間和提煉效果進行了驗證。