深度學(xué)習(xí)全新打開方式Google Brain提出概念激活向量新方法

可解釋性仍然是現(xiàn)代深度學(xué)習(xí)應(yīng)用的最大挑戰(zhàn)之一。計算模型和深度學(xué)習(xí)研究的最新進(jìn)展使我們能夠創(chuàng)建極度復(fù)雜的模型，包括數(shù)千隱藏層和數(shù)千萬神經(jīng)元。效果驚人的前沿深度神經(jīng)網(wǎng)絡(luò)模型構(gòu)建相對簡單，但了解這些模型如何創(chuàng)造和使用知識仍然是一個挑戰(zhàn)。

最近，Google Brain團(tuán)隊的研究人員發(fā)表了一篇論文，提出了一種名為概念激活向量（Concept Activation Vectors, CAV）的新方法，它為深度學(xué)習(xí)模型的可解釋性提供了一個新的視角。

可解釋性 vs 準(zhǔn)確性

要理解CAV技術(shù)，需要了解深度學(xué)習(xí)模型中可解釋性難題的本質(zhì)。在當(dāng)今一代深度學(xué)習(xí)技術(shù)中，模型的準(zhǔn)確性與可解釋性之間存在著永恒的矛盾。可解釋性-準(zhǔn)確性矛盾存在于完成復(fù)雜知識任務(wù)的能力和理解這些任務(wù)是如何完成能力之間。知識與控制，績效表現(xiàn)與可核查性，效率與簡便性...任意一項抉擇其實都是準(zhǔn)確性和可解釋性之間的權(quán)衡。

你是關(guān)心獲得最佳結(jié)果，還是關(guān)心結(jié)果是如何產(chǎn)生的？這是數(shù)據(jù)科學(xué)家在每個深度學(xué)習(xí)場景中都需要回答的問題。許多深度學(xué)習(xí)技術(shù)本質(zhì)上非常復(fù)雜，盡管它們在許多場景中都很準(zhǔn)確，解釋起來卻非常困難。如果我們在一個準(zhǔn)確性-可解釋性圖表中繪制一些最著名的深度學(xué)習(xí)模型，我們將得到以下結(jié)果：

深度學(xué)習(xí)模型中的可解釋性不是一個單一的概念。我們可以從多個層次理解它：

要得到上圖每層定義的可解釋性，需要幾個基本的構(gòu)建模塊。在最近的一篇論文中，谷歌的研究人員概述了他們看來的一些可解釋性的基本構(gòu)建模塊。

Google總結(jié)了如下幾項可解釋性原則：

- 了解隱藏層的作用：深層學(xué)習(xí)模型中的大部分知識都是在隱藏層中形成的。在宏觀層面理解不同隱藏層的功能對于解釋深度學(xué)習(xí)模型至關(guān)重要。

- 了解節(jié)點的激活方式：可解釋性的關(guān)鍵不在于理解網(wǎng)絡(luò)中各個神經(jīng)元的功能，而在于理解同一空間位置被一起激發(fā)的互連神經(jīng)元群。通過互連神經(jīng)元群對神經(jīng)網(wǎng)絡(luò)進(jìn)行分割能讓我們從一個更簡單的抽象層面來理解其功能。

-理解概念的形成過程：理解深度神經(jīng)網(wǎng)絡(luò)如何形成組成最終輸出的單個概念，這是可解釋性的另一個關(guān)鍵構(gòu)建模塊。

這些原則是Google新CAV技術(shù)背后的理論基礎(chǔ)。

概念激活向量

遵循前文討論的想法，通常所認(rèn)為的可解釋性就是通過深度學(xué)習(xí)模型的輸入特征來描述其預(yù)測。邏輯回歸分類器就是一個典型的例子，其系數(shù)權(quán)重通常被解釋為每個特征的重要性。然而，大多數(shù)深度學(xué)習(xí)模型對諸如像素值之類的特征進(jìn)行操作，這些特征與人類容易理解的高級概念并不對應(yīng)。此外，模型的內(nèi)部值（例如，神經(jīng)元激活）也很晦澀難懂。雖然諸如顯著圖之類的技術(shù)可以有效測量特定像素區(qū)域的重要性，但是它們無法與更高層級的概念相關(guān)聯(lián)。

CAV背后的核心思想是衡量一個概念在模型輸出中的相關(guān)性。概念的CAV就是一組該概念的實例在不同方向的值（例如，激活）構(gòu)成的向量。在論文中，Google研究團(tuán)隊概述了一種名為Testing with CAV（TCAV）的線性可解釋方法，該方法使用偏導(dǎo)數(shù)來量化預(yù)測CAV表示的潛在高級概念的敏感度。他們構(gòu)想TCAV定義有四個目標(biāo)：

- 易懂：使用者幾乎不需要機(jī)器學(xué)習(xí)專業(yè)知識。

- 個性化：適應(yīng)任何概念（例如，性別），并且不限于訓(xùn)練中涉及的概念。

- 插入即用：無需重新訓(xùn)練或修改機(jī)器學(xué)習(xí)模型即可運作。

- 全局量化：可以使用單一定量測度來解釋所有類或所有實例，而非僅僅解釋單個數(shù)據(jù)輸入。

為實現(xiàn)上述目標(biāo)，TCAV方法分為三個基本步驟：

1）為模型定義相關(guān)概念。

2）理解預(yù)測對這些概念的敏感度。

3）推斷每個概念對每個模型預(yù)測類的相對重要性的全局定量解釋。

TCAV方法的第一步是定義相關(guān)的概念（CAV）。為實現(xiàn)此目的，TCAV選擇一組代表該概念的實例或?qū)ふ覙?biāo)記為該概念的獨立數(shù)據(jù)集。我們可以通過訓(xùn)練線性分類器區(qū)分概念實例產(chǎn)生的激活和各層中的實例來學(xué)習(xí)CAV。

第二步是生成一個TCAV分?jǐn)?shù)，用于量化預(yù)測對特定概念的敏感度。TCAV使用了用于衡量ML預(yù)測值在某一概念方向、在激活層對輸入敏感度的偏導(dǎo)數(shù)。

最后一步嘗試評估學(xué)到的CAV的全局相關(guān)性，避免依賴不相關(guān)的CAV。畢竟TCAV技術(shù)的一個缺陷就是可能學(xué)到無意義的CAV，因為使用隨機(jī)選擇的一組圖像仍然能得到CAV，在這種隨機(jī)概念上的測試不太可能有意義。為了應(yīng)對這一難題，TCAV引入了統(tǒng)計顯著性檢驗，該檢驗以隨機(jī)的訓(xùn)練次數(shù)（通常為500次）評估CAV。其基本思想是，有意義的概念應(yīng)該在多次訓(xùn)練中得到一致的TCAV分?jǐn)?shù)。

TCAV的運作

團(tuán)隊進(jìn)行了多次實驗來評估TCAV相比于其他可解釋性方法的效率。在一項最引人注目的測試中，團(tuán)隊使用了一個顯著圖，嘗試預(yù)測出租車這一概念與標(biāo)題或圖像的相關(guān)性。顯著圖的輸出如下所示：

使用這些圖像作為測試數(shù)據(jù)集，Google Brain團(tuán)隊在Amazon Mechanical Turk上邀請50人進(jìn)行了實驗。每個實驗人員執(zhí)行一系列共六個針對單個模型的隨機(jī)順序任務(wù)（3類對象 x 2種顯著圖）。

在每項任務(wù)中，實驗人員首先會看到四幅圖片和相應(yīng)的顯著性蒙版。然后，他們要評估圖像對模型的重要程度（10分制），標(biāo)題對模型的重要程度（10分制），以及他們對答案的自信程度（5分制）。實驗人員總共評定了60個不同的圖像（120個不同的顯著圖）。

實驗的基本事實是圖像概念比標(biāo)題概念更相關(guān)。然而，看顯著圖時，人們認(rèn)為標(biāo)題概念更重要（0％噪聲的模型），或者辨別不出差異（具有100％噪聲的模型）。相比之下，TCAV結(jié)果正確地表明圖像概念更重要。

TCAV是這幾年最具創(chuàng)新性的神經(jīng)網(wǎng)絡(luò)解釋方法之一。初始的代碼可以在GitHub上看到。許多主流深度學(xué)習(xí)框架可能會在不久的將來采用這些想法。