面向智慧管養(yǎng)的大數(shù)據(jù)融合方法

　　針對運維大數(shù)據(jù)維度高、形式多樣化和變化迅速等特性，為提高數(shù)據(jù)融合效率以及平臺的數(shù)據(jù)統(tǒng)計和決策分析性能，降低抽取一轉(zhuǎn)換一加載（ ETL）執(zhí)行時間開銷和數(shù)據(jù)中心負擔，面向智慧管養(yǎng)需求提出一種多層次任務調(diào)度（ MTS） ETL框架（MTS-ETL）。首先，將數(shù)據(jù)倉庫分為數(shù)據(jù)臨時區(qū)、數(shù)據(jù)倉儲區(qū)、數(shù)據(jù)分類區(qū)和數(shù)據(jù)分析區(qū)，并根據(jù)所分區(qū)域?qū)⑼暾腅TL過程劃分為4個層次的ETL任務調(diào)度環(huán)節(jié)，同時設(shè)計了多頻率ETL運行調(diào)度以及順序和非順序兩種ETL工作模式；接著，基于MTS-ETL框架的非順序工作模式進行數(shù)據(jù)融合的概念建模、邏輯建模和物理建模；最后，利用Pentaho Data Integration設(shè)計ETL轉(zhuǎn)換模塊和工作模塊以實現(xiàn)數(shù)據(jù)融合方法。在交通流量數(shù)據(jù)融合實驗中，該方法融合136754條數(shù)據(jù)的時間僅為28.4 s；在千量級的數(shù)據(jù)融合實驗中比傳統(tǒng)ETL方法的總平均執(zhí)行時間降低了6. 51%；報表分析結(jié)果表明其在融合400萬條數(shù)據(jù)時依然能保證ETL過程的可靠性。所提方法能夠有效融合運維大數(shù)據(jù)，提高平臺統(tǒng)計分析性能，并維持ETL執(zhí)行時間開銷在較低水平。