在Storm環(huán)境下如何進(jìn)行拓?fù)浣Y(jié)構(gòu)的任務(wù)調(diào)度策略

　　針對Storm流式計算平臺中默認(rèn)輪詢調(diào)度策略存在通信開銷大、負(fù)載不均衡的問題，提出基于拓?fù)浣Y(jié)構(gòu)的任務(wù)調(diào)度策略（ TS2）。首先，選取CPU資源充足且可用的工作節(jié)點并各分配一個進(jìn)程，消除節(jié)點內(nèi)進(jìn)程間通信開銷，優(yōu)化進(jìn)程部署；然后，分析拓?fù)浣Y(jié)構(gòu)，找出拓?fù)渲卸茸畲蟮慕M件，優(yōu)先分配該組件的線程；最后，在滿足節(jié)點可承載最大線程數(shù)的條件下，盡可能將關(guān)聯(lián)任務(wù)部署到同一個節(jié)點來減少節(jié)點間通信開銷，改善集群負(fù)載均衡，優(yōu)化線程部署。實驗結(jié)果表明：在系統(tǒng)延遲方面，與Storm默認(rèn)調(diào)度策略和離線調(diào)度策略相比，TS的平均優(yōu)化率分別為16. 91%和5. 69%，有效提高了系統(tǒng)的實時性；在節(jié)點間通信開銷方面，TS相比于Storm默認(rèn)調(diào)度策略平均降低了15. 75%；在平均吞吐量方面，TS相比于Storm默認(rèn)調(diào)度策略平均提升了14. 21%。

　　隨著互聯(lián)網(wǎng)+時代來臨，全球數(shù)據(jù)量急劇增長。國際數(shù)據(jù)公司（ International Data Corporation，IDC）發(fā)布的白皮書《數(shù)據(jù)時代2025》中提出，預(yù)計到2025年全球數(shù)據(jù)量將達(dá)到163ZB，其中超過25%的數(shù)據(jù)將成為實時數(shù)據(jù)，而物聯(lián)網(wǎng)實時數(shù)據(jù)將占到95%［1］，面對如此龐大的實時數(shù)據(jù)量，需要時效性高、可擴展性和穩(wěn)定性強的流式計算框架。與批量計算不同，流式計算不再對數(shù)據(jù)的中間結(jié)果進(jìn)行存儲，數(shù)據(jù)直接在各個工作節(jié)點的內(nèi)存中進(jìn)行計算。在這種應(yīng)用場景下，以Twitter公司的Storm系統(tǒng)為代表的幾種實時計算框架應(yīng)運而生，也將流式計算的應(yīng)用范圍逐漸擴展到物聯(lián)網(wǎng)、金融、社交媒體以及實時交通等實時性要求高的領(lǐng)域‘糾。其中在Storm環(huán)境下，針對套牌車識別具有時效性約束的問題，相關(guān)學(xué)者提出了一種基于實時車牌識別的流式并行檢測方法，并且該方法的準(zhǔn)確率達(dá)到了98.7%_3］，實時獲取車輛的動態(tài)信息已經(jīng)成為可能。