直接優(yōu)化提高模仿性 - 斯坦福探索深度神經網絡可解釋性 決策樹是關鍵

直接優(yōu)化提高模仿性

如果我們想在優(yōu)化過程中提高模仿性，則可以嘗試找到更具可解釋性的極小值。完美情況是，我們訓練一個行為非常像（但并不是）決策樹的 DNN，因為我們仍然想利用神經網絡的非線性。

另一種方式是使用簡單決策樹正則化深度神經網絡。我們稱之為樹正則化。

樹正則化

若我們有包含 N 個序列的時序數(shù)據集，每一個序列有 T_n 個時間步。當沒有限制時，我們可以假設它有二元輸出。一般傳統(tǒng)上，訓練循環(huán)神經網絡（RNN）可以使用以下?lián)p失函數(shù)：

其中ψ為正則化器（即 L1 或 L2 正則化）、λ 為正則化系數(shù)或強度、W 為一組 RNN 的權重矩陣、y_nt 為單個時間步上的標注真值、y_nt hat 為單個時間步上的預測值。此外，損失函數(shù)一般可以選為交叉熵損失函數(shù)。

添加樹正則化需要改變兩個地方。第一部分是給定一些帶權重 W 的 RNN，且權重 W 可以是部分已訓練的，我們將 N 個長度為 T 的數(shù)據 X 傳遞到 RNN 中以執(zhí)行預測。然后我們就能使用這 N 個數(shù)據對訓練決策樹算法，并嘗試匹配 RNN 的預測。

圖 4：在優(yōu)化過程中的任意點，我們能通過一個簡單的決策樹逼近部分訓練的 DNN。

因此，我們現(xiàn)在有了模擬 DT，但我們可以選擇一個十分小或十分大的決策樹，因此我們需要量化樹的大小。

為了完成量化過程，首先我們需要考慮樹的平均路徑長度（APL）。對于單個樣本，路徑長度就等于游歷樹并作出預測的長度。例如，如圖 3 所示，若有一個用來預測心臟病的決策樹，那么假設輸入 x 為 age=70。該樣本下路徑長度因為 70》62.5 而等于 2。因此平均路徑長度可以簡單地表示為 ∑ pathlength（x_n， y_n hat）。

圖 5：給定一棵決策樹與數(shù)據集，我們能計算平均路徑長度以作為模擬、解釋平均樣本的成本。通過把這一項加入到目標函數(shù)，我們就能鼓勵 DNN 生成簡單的 DT 樹并懲罰復雜而巨大的決策樹。

因此我們最后能將損失函數(shù)改寫為以下形式：

現(xiàn)在只有一個問題：決策樹是不可微的。但我們可能真的比較希望能用 SGD 以實現(xiàn)更快速和便捷的最優(yōu)化，因此我們也許可以考慮更具創(chuàng)造性的方法。

我們可以做的是添加一個代理模型，它可能是一個以 RNN 權重作為輸入的多層感知機（MLP），并期望能輸出平均路徑長度的估計量，就好像我們在訓練一個決策樹一樣。

圖 6：通過使用代理模型，我們可以利用流行的梯度下降算法來訓練 DNN。為了訓練一個代理模型，我們最小化標注真值和預測 APL 之間的 MSE。

當我們優(yōu)化 RNN/DNN 時，每一個梯度下降步都會生成一組新的權重 W_i。對于每一個 W_i，我們能訓練一個決策樹并計算平均路徑長度。在訓練幾個 epoch 之后，我們能創(chuàng)建一個大型數(shù)據集并訓練代理 MLP。

訓練過程會給定一個固定的代理，我們能定義正則化目標函數(shù)，并優(yōu)化 RNN。若給定一個固定的 RNN，我們將構建一個數(shù)據集并優(yōu)化 MLP。