基于機(jī)器學(xué)習(xí)的日志解析系統(tǒng)設(shè)計與實(shí)現(xiàn)

　　針對現(xiàn)有日志分類方法只適用于格式化的日志，且性能依賴于日志結(jié)構(gòu)的問題，基于機(jī)器學(xué)習(xí)方法對日志信息解析算法LogSig進(jìn)行了擴(kuò)展改進(jìn)，并設(shè)計開發(fā)了一個集數(shù)據(jù)處理與結(jié)果分析于一體的日志解析系統(tǒng)，包括原始數(shù)據(jù)預(yù)處理、日志解析、聚類分析評價、聚類結(jié)果散點(diǎn)圖顯示等功能，在VAST 2011挑戰(zhàn)賽的開源防火墻日志數(shù)據(jù)集上進(jìn)行了測試。實(shí)驗(yàn)結(jié)果表明，改進(jìn)后的算法在歸類整理日志事件時的平均準(zhǔn)確性達(dá)到85%以上；與原LogSig算法相比，日志解析精度提高了50%，同時解析時間僅為原先的25%，可用于大數(shù)據(jù)環(huán)境下高效準(zhǔn)確地對多源非結(jié)構(gòu)化日志數(shù)據(jù)進(jìn)行解析。