詳談機(jī)器學(xué)習(xí)的決策樹(shù)模型

決策樹(shù)模型是白盒模型的一種，其預(yù)測(cè)結(jié)果可以由人來(lái)解釋。我們把機(jī)器學(xué)習(xí)模型的這一特性稱為可解釋性，但并不是所有的機(jī)器學(xué)習(xí)模型都具有可解釋性。

作為可解釋性屬性的一部分，特征重要性是一個(gè)衡量每個(gè)輸入特征對(duì)模型預(yù)測(cè)結(jié)果貢獻(xiàn)的指標(biāo)，即某個(gè)特征上的微小變化如何改變預(yù)測(cè)結(jié)果。

直覺(jué)

不同于基尼不純度或熵，沒(méi)有一個(gè)通用的數(shù)學(xué)公式來(lái)定義特征的重要性，而特征的重要性在不同的模型中是不同的。

例如，對(duì)于線性回歸模型，假設(shè)所有輸入特征具有相同的尺度（如［0，1］，那么每個(gè)特征的特征重要性就是與該特征相關(guān)的權(quán)值的絕對(duì)值。從這個(gè)公式可以看出線性回歸模型的f （X） =∑i = 1 n （wixi），模型的結(jié)果是線性正比于每個(gè)組件（wixi）這是由重量決定的（wi）的組件。

對(duì)于決策樹(shù)，為了度量特征的重要性，我們需要研究模型，看看每個(gè)特征是如何在模型的最終“決策”中發(fā)揮作用的。從前面的文章中我們了解到，在決策樹(shù)模型中，在每個(gè)決策節(jié)點(diǎn)上，我們選擇最佳的特征進(jìn)行分割，以便進(jìn)一步區(qū)分到達(dá)該決策節(jié)點(diǎn)的樣本。在每一次分割中，我們都更接近最終的決定（即葉節(jié)點(diǎn)）。因此，我們可以說(shuō)，在每個(gè)決策節(jié)點(diǎn)上，所選擇的分割特征決定了最終的預(yù)測(cè)結(jié)果。直觀地說(shuō)，我們也可以說(shuō)，那些被選擇的特征比那些實(shí)際上在決策過(guò)程中沒(méi)有作用的非被選擇的特征更重要?，F(xiàn)在，剩下的問(wèn)題是我們?nèi)绾瘟炕睾饬窟@種重要性。

有人可能還記得，我們使用信息增益或基尼系數(shù)來(lái)衡量分割的質(zhì)量。當(dāng)然，還可以將增益與所選擇的特性關(guān)聯(lián)起來(lái)，并使用增益來(lái)量化該特性在這個(gè)特定的分裂發(fā)生時(shí)的貢獻(xiàn)。此外，我們可以累積決策樹(shù)中出現(xiàn)的每個(gè)特征的增益。

最后，每個(gè)特征的累積增益可以作為決策樹(shù)模型的特征重要性。

另一方面，作為一個(gè)可能會(huì)注意到，這一決定節(jié)點(diǎn)不是同樣重要的是，自從決定節(jié)點(diǎn)樹(shù)的根可以幫助過(guò)濾所有的輸入樣本，而決定節(jié)點(diǎn)樹(shù)的底部有助于區(qū)分總樣本的只有少數(shù)。因此，一個(gè)特征在每個(gè)決策節(jié)點(diǎn)獲得的增益的權(quán)重并不相同，即一個(gè)特征在一個(gè)決策節(jié)點(diǎn)獲得的增益應(yīng)按該決策節(jié)點(diǎn)幫助區(qū)分的樣本比例進(jìn)行加權(quán)。

基于上述直覺(jué)，我們可以推導(dǎo)出以下公式來(lái)計(jì)算決策樹(shù)中每個(gè)特征的重要性I：

注：我們可以用上述公式中的信息增益來(lái)代替基尼系數(shù)增益度量，只要我們對(duì)所有特征都使用相同的度量。

通過(guò)上面的公式，我們可以得到一個(gè)值來(lái)衡量決策樹(shù)中每個(gè)特征的重要性。有時(shí)，可能需要對(duì)值進(jìn)行規(guī)范化，以便更直觀地比較這些值，即將所有值縮放到（0，1）的范圍內(nèi)。例如，如果有兩個(gè)特征經(jīng)過(guò)歸一化后得分相同（即0.5），我們可以說(shuō)它們?cè)跊Q策樹(shù)中同等重要。

舉個(gè)例子

讓我們看一個(gè)具體的例子，看看我們?nèi)绾螒?yīng)用上面的公式來(lái)計(jì)算決策樹(shù)中的特征重要性。首先，我們?cè)谙聢D中展示了一個(gè)實(shí)例決策樹(shù)。

從圖中可以看出，該樹(shù)中共有3個(gè)決策節(jié)點(diǎn)。在每個(gè)決策節(jié)點(diǎn)中，我們指出了三條信息：

1、選擇要分割的特性。

2、特征獲得的基尼系數(shù)

3、分別分配給左子節(jié)點(diǎn)和右子節(jié)點(diǎn)的樣本數(shù)量。

此外，我們可以看出決策樹(shù)總共訓(xùn)練了100個(gè)樣本。

因此，我們可以計(jì)算出樹(shù)中涉及的兩個(gè)特征的特征重要性如下：

進(jìn)一步，我們可以得到歸一化特征重要性如下：

后記：路漫漫其修遠(yuǎn)兮，吾將上下而求索！