查重元數(shù)據(jù)去冗算法設(shè)計

　　隨著重復(fù)數(shù)據(jù)刪除次數(shù)的增加，系統(tǒng)中用于存儲指紋索引的清單文件等元數(shù)據(jù)信息會不斷累積，導(dǎo)致不可忽視的存儲資源開銷。因此，如何在不影響重復(fù)數(shù)據(jù)刪除率的基礎(chǔ)上，對重復(fù)數(shù)據(jù)刪除過程中產(chǎn)生的元數(shù)據(jù)信息進行壓縮，從而減小查重索引，是進一步提高重復(fù)數(shù)據(jù)刪除效率和存儲資源利用率的重要因素。針對查重元數(shù)據(jù)中存在大量冗余數(shù)據(jù)，提出了一種基于壓縮近鄰的查重元數(shù)據(jù)去冗算法Dedup2。該算法先利用聚類算法將查重元數(shù)據(jù)分為若干類，然后利用壓縮近鄰算法消除查重元數(shù)據(jù)中相似度較高的數(shù)據(jù)以獲得查重子集，并在該查重子集上利用文件相似性對數(shù)據(jù)對象進行重復(fù)數(shù)據(jù)刪除操作。實驗結(jié)果表明，Dedup2可以在保持近似的重復(fù)數(shù)據(jù)刪除比的基礎(chǔ)上，將查重索引大小壓縮50%以上。