關(guān)聯(lián)性驅(qū)動的大數(shù)據(jù)處理任務(wù)調(diào)度方案

　　目前大數(shù)據(jù)處理過程較少關(guān)注任務(wù)所處理數(shù)據(jù)間的依賴關(guān)系，在任務(wù)執(zhí)行過程中可能產(chǎn)生大量數(shù)據(jù)遷移，影響數(shù)據(jù)處理效率．為減少數(shù)據(jù)遷移，提升任務(wù)執(zhí)行性能，從數(shù)據(jù)關(guān)聯(lián)性及數(shù)據(jù)本地性兩個角度出發(fā)，提出了一種數(shù)據(jù)關(guān)聯(lián)性驅(qū)動的大數(shù)據(jù)處理任務(wù)優(yōu)化調(diào)度方案：D3S2（data_dependency_driven scheduling scheme）.D3S2由兩部分組成：（1）數(shù)據(jù)關(guān)聯(lián)性感知的數(shù)據(jù)優(yōu)化放置機制（dependency-aware placement mechanism，簡稱DAPM），根據(jù)日志信息挖掘數(shù)據(jù)關(guān)聯(lián)性，進(jìn)而將強關(guān)聯(lián)的數(shù)據(jù)聚合并放置于相同機架上，減少了跨機架的數(shù)據(jù)遷移；（2）數(shù)據(jù)遷移代價感知的任務(wù)優(yōu)化調(diào)度機制（transfer-aware scheduling mechanism，簡稱TASM），完成數(shù)據(jù)放置后，以數(shù)據(jù)本地性為約束，對任務(wù)進(jìn)行統(tǒng)一調(diào)度，最小化任務(wù)執(zhí)行過程中的數(shù)據(jù)遷移代價.DAPM和TASM互相提供決策依據(jù)，以任務(wù)執(zhí)行代價最小化為目標(biāo)不斷迭代調(diào)整調(diào)度方案，直至最優(yōu)任務(wù)調(diào)度方案．在Hadoop平臺上進(jìn)行的實驗結(jié)果表明：較之原生Hadoop，在不增加作業(yè)完成時間的基礎(chǔ)上，D3S2減少了作業(yè)執(zhí)行過程中的數(shù)據(jù)遷移量。