改進(jìn)布隆過濾器算法在服務(wù)器去重中應(yīng)用

　　針對(duì)服務(wù)器中存儲(chǔ)的大量重復(fù)和相似數(shù)據(jù)造成的空間浪費(fèi)問題，改進(jìn)的布隆過濾器（ Bloom　Filter）算法通過增加位數(shù)組并根據(jù)位數(shù)組的重復(fù)命中次數(shù)所計(jì)算的權(quán)重來動(dòng)態(tài)優(yōu)化重復(fù)數(shù)據(jù)的副本數(shù)，然后在Hadoop分布式集群下對(duì)改進(jìn)的算法進(jìn)行并行實(shí)現(xiàn)，以進(jìn)一步提高作業(yè)處理效率。實(shí)驗(yàn)結(jié)果表明，與傳統(tǒng)網(wǎng)頁(yè)去重算法相比，改進(jìn)的Bloom Filter算法的并行實(shí)現(xiàn)不僅提高了作業(yè)的處理效率，而且通過基于位數(shù)組下動(dòng)態(tài)重復(fù)次數(shù)對(duì)副本數(shù)的優(yōu)化，在一定程度上節(jié)省了服務(wù)器的存儲(chǔ)空間。