基于圖嵌入和最大互信息組合的降維

在特征降維方面，圖嵌入框架統(tǒng)一了PCA, LDA 等一系列特征降維算法，方便求解，
但相似度矩陣計(jì)算有賴于人為假設(shè)。而最大互信息(MMI)從信息論的角度得到有效的特征降維變換，但是求解復(fù)雜。針對(duì)這種情況，本文指出了圖嵌入和最大互信息的聯(lián)系，給出了基于兩者組合的新算法GE-MMI。該算法繼承了兩者的優(yōu)點(diǎn)，是一種有效的特征降維方法。
關(guān)鍵字：圖嵌入, 互信息，特征提取，降維，GE-MMI
特征降維是模式識(shí)別任務(wù)中一個(gè)重要的預(yù)處理步驟，它把高維測(cè)量空間的數(shù)據(jù)投影到低
維特征空間，同時(shí)保持高維測(cè)量空間里數(shù)據(jù)的本征信息。通過(guò)這一變換，可以實(shí)現(xiàn)數(shù)據(jù)壓縮和去燥，特征提取, 如PCA[1,8]，提取適合分類的判別特征，如LDA[1], 或者使相近的點(diǎn)在低維特征空間相近，如LPP[2]。最近，Yan 等人將提出了圖嵌入框架[3]，將PCA，LDA，LPP 等各種算法統(tǒng)一, 并且為新的特征降維方法提供了指導(dǎo)方向。Torkkola 等人[4]從信息論的角度提出了最大互信息(MMI)的算法，利用訓(xùn)練樣本的二階以及更高階的統(tǒng)計(jì)量，得到比PCA，LDA 更優(yōu)的特征。但是，MMI 算法求解十分復(fù)雜。
本文指出了 MMI 算法和圖嵌入框架的聯(lián)系，提出了一種基于圖嵌入和MMI 組合的新
算法，記作GE-MMI。該算法繼承了圖嵌入框架和MMI 算法的優(yōu)點(diǎn)，可以得到判別能力較強(qiáng)的特征，它規(guī)避了LDA, LPP 算法對(duì)樣本分布需要人為假設(shè)，克服了它們的缺陷，同時(shí)求解方便。