一種應(yīng)對(duì)傾斜數(shù)據(jù)流在線連接的方法

　　并行環(huán)境下的分布式連接處理要求制定劃分策略以減少狀態(tài)遷移和通信開銷．相對(duì)于數(shù)據(jù)庫管理系統(tǒng)而言，分布式數(shù)據(jù)流管理系統(tǒng)中的在線o連接操作需要更高的計(jì)算成本和內(nèi)存資源．基于完全二部圖的連接模型可支持分布式數(shù)據(jù)流的連接操作．因?yàn)檫B接操作的每個(gè)關(guān)系僅存放于二部圖模型的一側(cè)處理單元，無需復(fù)制數(shù)據(jù)，且處理單元相互獨(dú)立，因此該模型具有內(nèi)存高效、易伸縮和可擴(kuò)展等特性．然而，由于數(shù)據(jù)流速的不穩(wěn)定性和屬性值分布的不均衡性，導(dǎo)致傾斜數(shù)據(jù)流的連接操作易出現(xiàn)集群負(fù)載不均衡的現(xiàn)象．針對(duì)傾斜數(shù)據(jù)流的連接操作，模型無法動(dòng)態(tài)分配查詢節(jié)點(diǎn)。并需要人工干預(yù)數(shù)據(jù)分組的參數(shù)設(shè)置．尤其是應(yīng)對(duì)全部歷史數(shù)據(jù)的連接查詢。模型效率更低．基于上述問題，提出了管理傾斜數(shù)據(jù)流連接的框架，使用基于鍵值和元組混合的劃分樣式有效應(yīng)對(duì)二部圖模型的各側(cè)傾斜數(shù)據(jù)．并設(shè)計(jì)了重新動(dòng)態(tài)分配查詢節(jié)點(diǎn)的策略和狀態(tài)遷移算法，以支持全歷史數(shù)據(jù)的連接查詢和自適應(yīng)的資源管理，針對(duì)合成數(shù)據(jù)和真實(shí)數(shù)據(jù)的實(shí)驗(yàn)表明，該方案可有效應(yīng)對(duì)傾斜數(shù)據(jù)的連接操作并進(jìn)一步提升分布式數(shù)據(jù)流管理系統(tǒng)的吞吐率。特別是降低云環(huán)境中的計(jì)算成本．