決策樹的基本概念/學(xué)習(xí)步驟/算法/優(yōu)缺點

決策樹是一種邏輯簡單的機器學(xué)習(xí)算法，它是一種樹形結(jié)構(gòu)，所以叫決策樹。

本文將介紹決策樹的基本概念、決策樹學(xué)習(xí)的3個步驟、3種典型的決策樹算法、決策樹的10個優(yōu)缺點。

什么是決策樹？

決策樹是一種解決分類問題的算法，決策樹算法采用樹形結(jié)構(gòu)，使用層層推理來實現(xiàn)最終的分類。決策樹由下面幾種元素構(gòu)成：

根節(jié)點：包含樣本的全集

內(nèi)部節(jié)點：對應(yīng)特征屬性測試

葉節(jié)點：代表決策的結(jié)果

預(yù)測時，在樹的內(nèi)部節(jié)點處用某一屬性值進行判斷，根據(jù)判斷結(jié)果決定進入哪個分支節(jié)點，直到到達葉節(jié)點處，得到分類結(jié)果。

這是一種基于if-then-else規(guī)則的有監(jiān)督學(xué)習(xí)算法，決策樹的這些規(guī)則通過訓(xùn)練得到，而不是人工制定的。

決策樹是最簡單的機器學(xué)習(xí)算法，它易于實現(xiàn)，可解釋性強，完全符合人類的直觀思維，有著廣泛的應(yīng)用。

舉個栗子：

上面的說法過于抽象，下面來看一個實際的例子。銀行要用機器學(xué)習(xí)算法來確定是否給客戶發(fā)放貸款，為此需要考察客戶的年收入，是否有房產(chǎn)這兩個指標。領(lǐng)導(dǎo)安排你實現(xiàn)這個算法，你想到了最簡單的線性模型，很快就完成了這個任務(wù)。

首先判斷客戶的年收入指標。如果大于20萬，可以貸款；否則繼續(xù)判斷。然后判斷客戶是否有房產(chǎn)。如果有房產(chǎn)，可以貸款；否則不能貸款。

這個例子的決策樹如下圖所示：

決策樹學(xué)習(xí)的3個步驟

特征選擇

特征選擇決定了使用哪些特征來做判斷。在訓(xùn)練數(shù)據(jù)集中，每個樣本的屬性可能有很多個，不同屬性的作用有大有小。因而特征選擇的作用就是篩選出跟分類結(jié)果相關(guān)性較高的特征，也就是分類能力較強的特征。

在特征選擇中通常使用的準則是：信息增益。

決策樹生成

選擇好特征后，就從根節(jié)點觸發(fā)，對節(jié)點計算所有特征的信息增益，選擇信息增益最大的特征作為節(jié)點特征，根據(jù)該特征的不同取值建立子節(jié)點；對每個子節(jié)點使用相同的方式生成新的子節(jié)點，直到信息增益很小或者沒有特征可以選擇為止。

決策樹剪枝

剪枝的主要目的是對抗「過擬合」，通過主動去掉部分分支來降低過擬合的風(fēng)險。

3種典型的決策樹算法

ID3算法

ID3是最早提出的決策樹算法，他就是利用信息增益來選擇特征的。

C4.5算法

他是ID3的改進版，他不是直接使用信息增益，而是引入“信息增益比”指標作為特征的選擇依據(jù)。

CART（ClassificationandRegressionTree）

這種算法即可以用于分類，也可以用于回歸問題。CART算法使用了基尼系數(shù)取代了信息熵模型。

決策樹的優(yōu)缺點

優(yōu)點

決策樹易于理解和解釋，可以可視化分析，容易提取出規(guī)則；

可以同時處理標稱型和數(shù)值型數(shù)據(jù)；

比較適合處理有缺失屬性的樣本；

能夠處理不相關(guān)的特征；

測試數(shù)據(jù)集時，運行速度比較快；

在相對短的時間內(nèi)能夠?qū)Υ笮蛿?shù)據(jù)源做出可行且效果良好的結(jié)果。

缺點

容易發(fā)生過擬合（隨機森林可以很大程度上減少過擬合）；

容易忽略數(shù)據(jù)集中屬性的相互關(guān)聯(lián)；

對于那些各類別樣本數(shù)量不一致的數(shù)據(jù)，在決策樹中，進行屬性劃分時，不同的判定準則會帶來不同的屬性選擇傾向；信息增益準則對可取數(shù)目較多的屬性有所偏好（典型代表ID3算法），而增益率準則（CART）則對可取數(shù)目較少的屬性有所偏好，但CART進行屬性劃分時候不再簡單地直接利用增益率盡心劃分，而是采用一種啟發(fā)式規(guī)則）（只要是使用了信息增益，都有這個缺點，如RF）。

ID3算法計算信息增益時結(jié)果偏向數(shù)值比較多的特征。
責(zé)任編輯人：CC