小型Hadoop集群的數(shù)據(jù)分層調(diào)度處理算法分析

　　隨著全球進(jìn)入互聯(lián)網(wǎng)時(shí)代，數(shù)據(jù)獲取技術(shù)的不斷發(fā)展帶來(lái)數(shù)據(jù)量不斷激增，數(shù)據(jù)的抓取調(diào)度成為關(guān)鍵信息有效采集的重點(diǎn)問(wèn)題。與此同時(shí)，計(jì)算機(jī)受物理器件性能的限制，為了滿足數(shù)據(jù)處理的要求，MySQL數(shù)據(jù)庫(kù)面對(duì)的調(diào)度處理的要求也在逐漸提高，僅依靠CPU主頻的提升并不能快速的處理大數(shù)據(jù)帶來(lái)的壓力，快速有效的算法成為目前數(shù)據(jù)挖掘的主流。本研究致力于數(shù)據(jù)挖掘分層調(diào)度處理，抓取的目標(biāo)為各數(shù)據(jù)集的維度特征信息，最終設(shè)計(jì)并實(shí)現(xiàn)一種白配置的Hadoop分布式數(shù)據(jù)調(diào)度算法。因此，為了完成數(shù)據(jù)集分層調(diào)度功能的設(shè)計(jì)與實(shí)現(xiàn)，本系統(tǒng)主要包括兩大基本模塊：數(shù)據(jù)集的分層模塊和調(diào)度模塊。采用凝聚層次聚類對(duì)數(shù)據(jù)集進(jìn)行分層處理，結(jié)合小型Hadoop分布式系統(tǒng)實(shí)現(xiàn)數(shù)據(jù)集分層調(diào)度。