您好,歡迎來電子發(fā)燒友網(wǎng)! ,新用戶?[免費注冊]

您的位置:電子發(fā)燒友網(wǎng)>源碼下載>數(shù)值算法/人工智能>

基于詞頻信息的改進的IG文本特征選擇算法

大小:0.56 MB 人氣:0 2018-01-25 需要積分:2

  向量空間的高維性和文檔表示向量的稀疏性不但增加了分類的時間復雜度和空間復雜度,而且還大大影響到分類的精度,因此,特征選擇顯得特別重要。目前,文本分類研究中常用的特征選擇算法主要有:文檔頻度、互信息、信息增益、開方擬合檢驗、期望交叉熵、特征權(quán)和文本證據(jù)權(quán)等。Ng等比較了文檔頻率( Document Frequency,DF)、信息增益(Information Cain,IG)、互信息(Mutual Information,MI)、開方擬合檢驗(X2 -test,CHI)和特征權(quán)(Term Strength,TS)五種特征選擇算法,得出IC、DF和CHI比MI和TS效果好的結(jié)論。Yang等研究得出IC是最有效的特征選擇算法之一的結(jié)論。目前IC已成為文本分類研究中常用的特征選擇算法。因此,尋找該方法中的不足,并針對不足作出有效的改進,提高特征提取的效率具有非常重要的現(xiàn)實意義。

  近年來,一些學者針對IG算法的不足作了一些改進工作。李文斌等提出了三種基于特征信息增益權(quán)重的分類算法,通過添加權(quán)重系數(shù)來平衡“正貢獻”和“負貢獻”的特征項對分類的影響,但是由于權(quán)重系數(shù)的設(shè)置是根據(jù)人為的經(jīng)驗設(shè)定.所以存在很大的偶然性,且不適用于各種情形。黃秀麗等針對傳統(tǒng)IC算法過分看重高頻特征項的缺點,提出一種強調(diào)中低頻特征項的改進的算法SIC,此算法在一定程度上提高了特征選擇的效率,但算法中沒有考慮到特征項在不同類別的分布差異對分類能力的影響。郭頌等在以上改進算法的基礎(chǔ)上,通過引入特征分布差異因子、類內(nèi)和類間加權(quán)因子,提出一種加權(quán)的IC改進算法,該方法比較全面地考慮到了詞頻對特征提取的作用,但此算法沒有考慮到特征項在類內(nèi)位置上分布對算法的影響。本文針對上述改進算法的不足之處,充分考慮特征項頻數(shù)對分類能力的作用,提出一種基于詞頻的改進的IC特征選擇算法。

非常好我支持^.^

(0) 0%

不好我反對

(0) 0%

用戶評論

      ?