Hadoop自適應(yīng)任務(wù)調(diào)度算法

　　針對(duì)異構(gòu)集群任務(wù)推測(cè)式執(zhí)行算法存在的任務(wù)進(jìn)度比例固定、落后任務(wù)被動(dòng)選取等問題，提出基于快慢節(jié)點(diǎn)集計(jì)算能力差異的自適應(yīng)任務(wù)調(diào)度算法。該算法量化節(jié)點(diǎn)集計(jì)算能力差異實(shí)現(xiàn)分集調(diào)度，并通過節(jié)點(diǎn)與任務(wù)速率的動(dòng)態(tài)反饋及時(shí)更新快慢節(jié)點(diǎn)集，提高節(jié)點(diǎn)集資源利用率與任務(wù)并行度。在兩節(jié)點(diǎn)集中，利用動(dòng)態(tài)調(diào)整任務(wù)進(jìn)度比例判別落后任務(wù)，主動(dòng)選擇采用替代執(zhí)行方式為落后任務(wù)執(zhí)行備份任務(wù)的快節(jié)點(diǎn)，從而提升任務(wù)執(zhí)行效率。與最長近似結(jié)束時(shí)間（ LATE）算法的實(shí)驗(yàn)對(duì)比結(jié)果表明，該算法在短作業(yè)集、混合型作業(yè)集、出現(xiàn)節(jié)點(diǎn)性能下降的混合型作業(yè)集執(zhí)行時(shí)間上比LATE算法分別縮短了5.2l%、20. 51%、23. 86%，啟用的備份任務(wù)數(shù)比LATE算法明顯減少。所提算法可使任務(wù)主動(dòng)適應(yīng)節(jié)點(diǎn)差異，在減少備份任務(wù)的同時(shí)有效提高作業(yè)整體執(zhí)行效率。