飛流大規(guī)模日志數(shù)據(jù)實(shí)時(shí)多維統(tǒng)計(jì)分析平臺(tái)

　　互聯(lián)網(wǎng)企業(yè)的主要數(shù)據(jù)來(lái)源是散落在各個(gè)業(yè)務(wù)服務(wù)器上的半結(jié)構(gòu)化日志，比如系統(tǒng)日志、程序日志、訪問(wèn)日志、審計(jì)日志等。目前國(guó)內(nèi)互聯(lián)網(wǎng)企業(yè)單日日志數(shù)據(jù)增量達(dá)到TB級(jí)很常見(jiàn)。互聯(lián)網(wǎng)企業(yè)間的競(jìng)爭(zhēng)非常激烈，實(shí)時(shí)統(tǒng)計(jì)分析日志數(shù)據(jù)并將結(jié)果指導(dǎo)決策能夠提高企業(yè)的競(jìng)爭(zhēng)力。因此最原始的日志數(shù)據(jù)記錄具有豐富和巨大的價(jià)值。

　　目前很多開(kāi)源的系統(tǒng)，如Flume、Kalka、Storm、HBase等可以對(duì)日志數(shù)據(jù)進(jìn)行處理，但是這些系統(tǒng)相互獨(dú)立，均龐大復(fù)雜，需要專門(mén)的數(shù)據(jù)處理人員根據(jù)需求編程來(lái)使用，而企業(yè)的業(yè)務(wù)和運(yùn)維部門(mén)一般沒(méi)有專業(yè)從事大數(shù)據(jù)實(shí)時(shí)處理的人員，因此設(shè)計(jì)大數(shù)據(jù)實(shí)時(shí)處理平臺(tái)，為用戶提供不需要編程就能方便使用的大規(guī)模日志數(shù)據(jù)實(shí)時(shí)多維統(tǒng)計(jì)分析功能，是各個(gè)互聯(lián)網(wǎng)企業(yè)的迫切需求，飛流應(yīng)運(yùn)而生。

　　統(tǒng)一的大規(guī)模日志數(shù)據(jù)實(shí)時(shí)多維統(tǒng)計(jì)分析平臺(tái)需要接入多種來(lái)源的日志數(shù)據(jù)，每種日志記錄了各種不同維度的運(yùn)行數(shù)據(jù)，用戶需要的是靈活的、方便的、多維度的統(tǒng)計(jì)分析。因此，飛流平臺(tái)的設(shè)計(jì)目標(biāo)主要是實(shí)現(xiàn)大規(guī)模日志數(shù)據(jù)的多源采集和聚合、實(shí)時(shí)多維度統(tǒng)計(jì)分析、用戶可以在線通過(guò)配置代替大數(shù)據(jù)編程實(shí)現(xiàn)統(tǒng)計(jì)分析任務(wù)的熱提交、熱更新和熱刪除、統(tǒng)計(jì)分析結(jié)果通過(guò)WebUI迸行展示。