問答

代理 MLP 追蹤 APL 表現(xiàn)如何？

讓人吃驚地好。在所有實驗中，我們使用帶有 25 個隱藏節(jié)點的單層 MLP（這是相當小的一個網(wǎng)絡(luò)）。這必須有一個預(yù)測 APL 權(quán)重的低維表征。

圖 12：真節(jié)點計數(shù)指的是真正訓練決策樹并計算 APL。已預(yù)測的節(jié)點計數(shù)指的是代理 MLP 的輸出。

與原決策樹相比，樹正則化模型的表現(xiàn)如何？

上述的每個對比圖展示了與正則 DNN 對比的決策樹 AUCs。為了生成這些線，我們在不同決策樹超參數(shù)（即定義葉、基尼系數(shù)等的最小樣本數(shù)）上進行了網(wǎng)格搜索。我們注意到在所有案例中，DT 表現(xiàn)要比所有正則化方法更差。這表明樹正則化不能只復制 DT。

文獻中有與此相似的嗎？

除了在文章開頭提及的相關(guān)工作，模型提取/壓縮很可能是最相似的子領(lǐng)域。其主要思想是訓練一個更小模型以模擬一個更深網(wǎng)絡(luò)。這里，我們主要在優(yōu)化中使用 DT 執(zhí)行提取。

樹正則化的運行時間如何？

讓我們看一下 TIMIT 數(shù)據(jù)集（最大的數(shù)據(jù)集）。L2 正則化 GRU 每 epoch 用時 2116 秒。帶有 10 個狀態(tài)的樹正則化 GRU 每個 epoch 用時 3977 秒，這其中包含訓練代理的時間。實際上，我們做的非常謹慎。例如，如果我們每 25 個 epoch 做一次，我們將獲得 2191 秒的一個平均的每 epoch 的成本。

在多個運行中，（最后的）模擬 DT 穩(wěn)定嗎？

如果樹正則化強大（高λ），最終的 DT 在不同運行中是穩(wěn)定的（頂多在一些節(jié)點上不同）。

DT 對深度模型的預(yù)測有多準確？

換言之，這一問題是在問如果訓練期間 DT 的預(yù)測與 DNN 預(yù)測是否密切匹配。如果沒有，那么我們無法有效地真正正則化我們的模型。但是我們并不希望匹配很精確。

在上表中，我們測量了保真度（Craven and Shavlik 1996），這是 DT 預(yù)測與 DNN 一致的測試實例的百分比。因此 DT 是準確的。

殘差 GRU-HMM 模型

（本節(jié)討論一個專為可解釋性設(shè)計的新模型。）

隱馬爾可夫模型（HMM）就像隨機 RNN，它建模潛在變量序列 ［z1，…，zT］，其中每個潛在變量是 K 離散狀態(tài)之一： z_t∈1，？，K。狀態(tài)序列通常用于生成數(shù)據(jù) x_t，并在每個時間步上輸出觀察到的 y_t。值得注意的是，它包含轉(zhuǎn)化矩陣 A，其中 A_ij=Pr（z_t=i|z_t？1=j），以及一些產(chǎn)生數(shù)據(jù)的發(fā)射參數(shù)。HMMs 通常被認為是一個更可闡釋的模型，因為聚類數(shù)據(jù)的 K 潛在變量通常在語義上是有意義的。

當使用 HMM 潛在狀態(tài)（換言之，當 HMM 捕獲數(shù)據(jù)不足時，只使用 GRU）預(yù)測二值目標之時，我們把 GRU-HMM 定義為一個可以建模殘差誤差的 GRU。根據(jù)殘差模型的性質(zhì)，我們可以使用樹正則化只懲罰 GRU 輸出節(jié)點的復雜性，從而使得 HMM 不受限制。

圖 13：GRU-HMM 圖解。x_t 表征時間步 t 上的輸入數(shù)據(jù)。s_t 表征時間步 t 的潛在狀態(tài)；r_t，h_t，h_t tilde，z_t 表征 GRU 的變量。最后的 sigmoid（緊挨著橘色三角形）投射在 HMM 狀態(tài)和 GRU 潛在狀態(tài)的總和之上。橘色三角形表示用于樹正則化的替代訓練的輸出。

總體而言，深度殘差模型比帶有大體相同參數(shù)的 GRU-only 模型的表現(xiàn)要好 1%。參見論文附錄獲得更多信息。

圖 14：就像從前，我們可以為這些殘差模型繪圖并可視化模擬 DT。盡管我們看到相似的「sweet spot」行為，我們注意到最后得到的樹有清晰的結(jié)構(gòu)，這表明 GRU 在這一殘差設(shè)置中表現(xiàn)不同。