基于分段聚類壓縮和Hash recoding壓縮方法

　　今日頭條的服務(wù)器每天都會產(chǎn)生規(guī)模龐大的訓(xùn)練數(shù)據(jù)，為方便進行訓(xùn)練，這些數(shù)據(jù)都具有特定的格式和分布特征。使用不同類型的通用壓縮算法（字典類型及非字典類型）進行測試，發(fā)現(xiàn)單獨任何一種算法都無法在滿足業(yè)務(wù)需求（速率需求和CPU占比等）的同時獲得較為可觀的壓縮比。針對今日頭條的訓(xùn)練數(shù)據(jù)，提出了分段聚類壓縮和Hash recoding壓縮兩種策略。實驗結(jié)果表明，分段聚類壓縮方式在更好地保證了壓縮率的同時提高了壓縮速率的目的；Hash recoding壓縮方式則更好地達到了以少量壓縮速率的損失換取更可觀的壓縮率的目的。分段聚類方式搭配Gzip壓縮算法的組合能使壓縮速率提高300%以上；Hash recoding方式匹配Snappy壓縮算法能使壓縮率縮小50%以上。根據(jù)實際需求，不論選擇哪種策略，對于降低今日頭條的運營成本，提升業(yè)務(wù)處理的效率，提供更好的用戶體驗，都有一定意義。