基于Hadoop平臺的LDA算法的并行化實現(xiàn)

　　隨著互聯(lián)網(wǎng)的飛速發(fā)展，需要處理的數(shù)據(jù)量不斷增加，在互聯(lián)網(wǎng)數(shù)據(jù)挖掘領(lǐng)域中傳統(tǒng)的單機文本聚類算法無法滿足海量數(shù)據(jù)處理的要求，針對在單機情況下，傳統(tǒng)LDA算法無法分析處理大規(guī)模語料集的問題，提出基于MapReduce計算框架，采用Gibbs抽樣方法的并行化LDA主題模型的建立方法。利用分布式計算框架MapReduce研究了LDA主題模型的并行化實現(xiàn)，并且考察了該并行計算程序的計算性能。通過對Hadoop并行計算與單機計算進行實驗對比，發(fā)現(xiàn)該方法在處理大規(guī)模語料時，能夠較大地提升算法的運行速度，并且隨著集群節(jié)點數(shù)的增加，在加速比方面也有較好的表現(xiàn)?；贖adoop平臺并行化地實現(xiàn)LDA算法具有可行性，解決了單機無法分析大規(guī)模語料集中潛藏主題信息的問題。