如何使用針對(duì)不平衡數(shù)據(jù)進(jìn)行決策樹改進(jìn)方法資料說明

　　針對(duì)異常檢測(cè)中異常數(shù)據(jù)與正常數(shù)據(jù)的比例嚴(yán)重不平衡導(dǎo)致決策樹性能下降的問題，提出了C4.5決策樹的三種改進(jìn)方法一C4.5 +δ、均勻分布熵（ UDE）和改進(jìn)分布熵函數(shù)（IDEF）。首先，推導(dǎo)了C4.5算法中屬性選擇準(zhǔn)則會(huì)傾向于選擇偏斜劃分的屬性;然后，分析了偏斜劃分使得異常（少數(shù)類）檢測(cè)精度下降的原因;其次，分別通過引入緩和因子、均勻分布熵或替換分布熵函數(shù)改進(jìn)了C4.5算法的屬性選擇準(zhǔn)則一 信息增益率;最后，利用WEKA平臺(tái)和NSL-KDD數(shù)據(jù)集對(duì)改進(jìn)的決策樹進(jìn)行驗(yàn)證。實(shí)驗(yàn)結(jié)果表明，三種改進(jìn)方法均能提高異常檢測(cè)精度。其中，相比于C4.5，C4.5 +7、UDE和IDEF算法在KDDTest-21數(shù)據(jù)集上的少數(shù)類檢測(cè)精度（靈敏度）分別提高了3.16、3. 02和3.12個(gè)百分點(diǎn)，均優(yōu)于采用Renyi熵和Tallis熵作為分裂準(zhǔn)則的方法。此外，利用三種改進(jìn)的決策樹檢測(cè)工業(yè)控制系統(tǒng)中的異常，不僅可以提高異常的查全率還能減小誤報(bào)率。

　　異常檢測(cè)是指從某個(gè)系統(tǒng)的日常數(shù)據(jù)中識(shí)別非預(yù)期模式，即異常數(shù)據(jù)。異常通常由惡意行為或違規(guī)操作引發(fā)，因此異常檢測(cè)技術(shù)廣泛應(yīng)用于網(wǎng)絡(luò)安全、故障檢測(cè)等領(lǐng)域。

　　異常檢測(cè)可以視為一-種特殊的分類問題，即分離目標(biāo)數(shù)據(jù)集中的正常數(shù)據(jù)與異常數(shù)據(jù)。因此，絕大多數(shù)基于機(jī)器學(xué)習(xí)的分類方法，如神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)、決策樹等，都可以應(yīng)用于異常檢測(cè)。然而異常檢測(cè)面臨數(shù)據(jù)不平衡問題，即目標(biāo)數(shù)據(jù)集中異常數(shù)據(jù)與正常數(shù)據(jù)的分布是不平衡的，其中異常數(shù)據(jù)一。般遠(yuǎn)遠(yuǎn)少于正常數(shù)據(jù)。數(shù)據(jù)不平衡問題在醫(yī)療診斷、信用卡詐騙檢測(cè)，銀行風(fēng)險(xiǎn)管控、系統(tǒng)故障檢測(cè)等應(yīng)用中十分常見。在傳統(tǒng)分類問題中，整體準(zhǔn)確度由不同類別的準(zhǔn)確度加權(quán)組成，因此多數(shù)類的準(zhǔn)確度對(duì)整體準(zhǔn)確度的影響要遠(yuǎn)大于少數(shù)類。在傳統(tǒng)方法中，分類器會(huì)傾向于保證多數(shù)類的準(zhǔn)確度而犧牲少數(shù)類的準(zhǔn)確度，導(dǎo)致少數(shù)類的漏報(bào)率較高。然而在很多異常檢測(cè)的現(xiàn)實(shí)應(yīng)用中將異常（少數(shù)類）誤判為正常（多數(shù)類）的代價(jià)要遠(yuǎn)遠(yuǎn)高于相反的情況，因此需要盡可能地檢測(cè)出異常，降低漏報(bào)率。例如，在癌癥的診斷中，將癌癥（少數(shù)類）患者誤診為健康（多數(shù)類）的危害要遠(yuǎn)大于將非癌癥患者誤診為癌癥的危害，所以要保證檢測(cè)結(jié)果為陽性時(shí)盡可能地覆蓋真正的癌癥患者。