基于Spark Streaming的實(shí)時(shí)能耗分項(xiàng)計(jì)量系統(tǒng)

　　能耗分項(xiàng)計(jì)量能夠準(zhǔn)確、及時(shí)、有效地發(fā)現(xiàn)能源使用問(wèn)題，形成和實(shí)現(xiàn)最有效的節(jié)能措施。能耗分項(xiàng)計(jì)量系統(tǒng)需要對(duì)各項(xiàng)能源使用量在不同粒度上進(jìn)行統(tǒng)計(jì)，既有實(shí)時(shí)性的需求，又需要涉及到聚合、去重、連接等較為復(fù)雜的統(tǒng)計(jì)需求。由于數(shù)據(jù)產(chǎn)生快、實(shí)時(shí)性強(qiáng)、數(shù)據(jù)量大，所以很難統(tǒng)一采集并入庫(kù)存儲(chǔ)后再作處理，這便導(dǎo)致傳統(tǒng)的數(shù)據(jù)處理架構(gòu)不能滿足需求。為此，提出基于Spark Streaming大數(shù)據(jù)流式技術(shù)構(gòu)建一個(gè)實(shí)時(shí)能耗分項(xiàng)計(jì)量系統(tǒng)，對(duì)實(shí)時(shí)能耗分項(xiàng)計(jì)量的系統(tǒng)架構(gòu)和內(nèi)部結(jié)構(gòu)進(jìn)行了詳細(xì)介紹，并通過(guò)實(shí)驗(yàn)數(shù)據(jù)分析了系統(tǒng)的實(shí)時(shí)數(shù)據(jù)處理能力。與傳統(tǒng)架構(gòu)不同，實(shí)時(shí)能耗分項(xiàng)計(jì)量系統(tǒng)在數(shù)據(jù)流動(dòng)的過(guò)程中實(shí)時(shí)地進(jìn)行捕捉和處理，一方面把捕捉到的異常信息及時(shí)報(bào)警到前端，同時(shí)把分類(lèi)分項(xiàng)統(tǒng)計(jì)處理的結(jié)果保存到數(shù)據(jù)庫(kù)，以便進(jìn)行離線分析和數(shù)據(jù)挖掘，能有效地解決上述數(shù)據(jù)處理過(guò)程中遇到的問(wèn)題。