基于Spark的ItemBased推薦算法性能優(yōu)化

　　MapReduce計(jì)算場(chǎng)景下，復(fù)雜的大數(shù)據(jù)挖掘類(lèi)算法通常需要多個(gè)MapReduce作業(yè)協(xié)作完成，但多個(gè)作業(yè)之間嚴(yán)重的冗余磁盤(pán)讀寫(xiě)及重復(fù)的資源申請(qǐng)操作，使得算法的性能?chē)?yán)重降低。為提高ItemBased推薦算法的計(jì)算效率，首先對(duì)MapReduce平臺(tái)下ItemBased協(xié)同過(guò)濾算法存在的性能問(wèn)題進(jìn)行了分析；在此基礎(chǔ)上利用Spark迭代計(jì)算及內(nèi)存計(jì)算上的優(yōu)勢(shì)提高算法的執(zhí)行效率，并實(shí)現(xiàn)了基于Spark平臺(tái)的ItemBased推薦算法。實(shí)驗(yàn)結(jié)果表明：當(dāng)集群節(jié)點(diǎn)規(guī)模分別為10與20時(shí)，算法在Spark中的運(yùn)行時(shí)間分別只有MapReduce中的25.6%及30. 8%，Spark平臺(tái)下的算法相比MapReduce平臺(tái)，執(zhí)行效率整體提高3倍以上。
?