把傳統(tǒng)的貝葉斯因果網(wǎng)絡(luò)和知識圖譜，與深度強化學(xué)習(xí)融合

DeepMind聯(lián)合谷歌大腦、MIT等機構(gòu)27位作者發(fā)表重磅論文，提出“圖網(wǎng)絡(luò)”（Graph network），將端到端學(xué)習(xí)與歸納推理相結(jié)合，有望解決深度學(xué)習(xí)無法進行關(guān)系推理的問題。

作為行業(yè)的標桿，DeepMind的動向一直是AI業(yè)界關(guān)注的熱點。最近，這家世界最頂級的AI實驗室似乎是把他們的重點放在了探索“關(guān)系”上面，6月份以來，接連發(fā)布了好幾篇“帶關(guān)系”的論文，比如：

關(guān)系歸納偏置（Relational inductive bias for physical construction in humans and machines）

關(guān)系深度強化學(xué)習(xí)（Relational Deep Reinforcement Learning）

關(guān)系RNN（Relational Recurrent Neural Networks）

論文比較多，但如果說有哪篇論文最值得看，那么一定選這篇——《關(guān)系歸納偏置、深度學(xué)習(xí)和圖網(wǎng)絡(luò)》。

這篇文章聯(lián)合了DeepMind、谷歌大腦、MIT和愛丁堡大學(xué)的27名作者（其中22人來自DeepMind），用37頁的篇幅，對關(guān)系歸納偏置和圖網(wǎng)絡(luò)（Graph network）進行了全面闡述。

DeepMind的研究科學(xué)家、大牛Oriol Vinyals頗為罕見的在Twitter上宣傳了這項工作（他自己也是其中一位作者），并表示這份綜述“pretty comprehensive”。

有很不少知名的AI學(xué)者也對這篇文章做了點評。

曾經(jīng)在谷歌大腦實習(xí)，從事深度強化學(xué)習(xí)研究的Denny Britz說，他很高興看到有人將圖（Graph）的一階邏輯和概率推理結(jié)合到一起，這個領(lǐng)域或許會迎來復(fù)興。

芯片公司Graphcore的創(chuàng)始人Chris Gray評論說，如果這個方向繼續(xù)下去并真的取得成果，那么將為AI開創(chuàng)一個比現(xiàn)如今的深度學(xué)習(xí)更加富有前景的基礎(chǔ)。

康納爾大學(xué)數(shù)學(xué)博士/MIT博士后Seth Stafford則認為，圖神經(jīng)網(wǎng)絡(luò)（Graph NNs）可能解決圖靈獎得主Judea Pearl指出的深度學(xué)習(xí)無法做因果推理的核心問題。

開辟一個比單獨的深度學(xué)習(xí)更富有前景的方向

那么，這篇論文是關(guān)于什么的呢？DeepMind的觀點和要點在這一段話里說得非常清楚：

這既是一篇意見書，也是一篇綜述，還是一種統(tǒng)一。我們認為，如果AI要實現(xiàn)人類一樣的能力，必須將組合泛化（combinatorial generalization）作為重中之重，而結(jié)構(gòu)化的表示和計算是實現(xiàn)這一目標的關(guān)鍵。

正如生物學(xué)里先天因素和后天因素是共同發(fā)揮作用的，我們認為“人工構(gòu)造”（hand-engineering）和“端到端”學(xué)習(xí)也不是只能從中選擇其一，我們主張結(jié)合兩者的優(yōu)點，從它們的互補優(yōu)勢中受益。

在論文里，作者探討了如何在深度學(xué)習(xí)結(jié)構(gòu)（比如全連接層、卷積層和遞歸層）中，使用關(guān)系歸納偏置（relational inductive biases），促進對實體、對關(guān)系，以及對組成它們的規(guī)則進行學(xué)習(xí)。

他們提出了一個新的AI模塊——圖網(wǎng)絡(luò)（graph network），是對以前各種對圖進行操作的神經(jīng)網(wǎng)絡(luò)方法的推廣和擴展。圖網(wǎng)絡(luò)具有強大的關(guān)系歸納偏置，為操縱結(jié)構(gòu)化知識和生成結(jié)構(gòu)化行為提供了一個直接的界面。

作者還討論了圖網(wǎng)絡(luò)如何支持關(guān)系推理和組合泛化，為更復(fù)雜、可解釋和靈活的推理模式打下基礎(chǔ)。

圖靈獎得主Judea Pearl：深度學(xué)習(xí)的因果推理之殤

2018年初，承接NIPS 2017有關(guān)“深度學(xué)習(xí)煉金術(shù)”的辯論，深度學(xué)習(xí)又迎來了一位重要的批評者。

圖靈獎得主、貝葉斯網(wǎng)絡(luò)之父Judea Pearl，在ArXiv發(fā)布了他的論文《機器學(xué)習(xí)理論障礙與因果革命七大火花》，論述當前機器學(xué)習(xí)理論局限，并給出來自因果推理的7大啟發(fā)。Pearl指出，當前的機器學(xué)習(xí)系統(tǒng)幾乎完全以統(tǒng)計學(xué)或盲模型的方式運行，不能作為強AI的基礎(chǔ)。他認為突破口在于“因果革命”，借鑒結(jié)構(gòu)性的因果推理模型，能對自動化推理做出獨特貢獻。

在最近的一篇訪談中，Pearl更是直言，當前的深度學(xué)習(xí)不過只是“曲線擬合”（curve fitting）?！斑@聽起來像是褻瀆……但從數(shù)學(xué)的角度，無論你操縱數(shù)據(jù)的手段有多高明，從中讀出來多少信息，你做的仍舊只是擬合一條曲線罷了?！?/p>

DeepMind的提議：把傳統(tǒng)的貝葉斯因果網(wǎng)絡(luò)和知識圖譜，與深度強化學(xué)習(xí)融合

如何解決這個問題？DeepMind認為，要從“圖網(wǎng)絡(luò)”入手。

大數(shù)醫(yī)達創(chuàng)始人、CMU博士鄧侃為我們解釋了DeepMind這篇論文的研究背景。

鄧侃博士介紹，機器學(xué)習(xí)界有三個主要學(xué)派，符號主義（Symbolicism）、連接主義（Connectionism）、行為主義（Actionism）。

符號主義的起源，注重研究知識表達和邏輯推理。經(jīng)過幾十年的研究，目前這一學(xué)派的主要成果，一個是貝葉斯因果網(wǎng)絡(luò)，另一個是知識圖譜。

貝葉斯因果網(wǎng)絡(luò)的旗手是 Judea Pearl 教授，2011年的圖靈獎獲得者。但是據(jù)說 2017年 NIPS 學(xué)術(shù)會議上，老爺子演講時，聽眾寥寥。2018年，老爺子出版了一本新書，“The Book of Why”，為因果網(wǎng)絡(luò)辯護，同時批判深度學(xué)習(xí)缺乏嚴謹?shù)倪壿嬐评磉^程。而知識圖譜主要由搜索引擎公司，包括谷歌、微軟、百度推動，目標是把搜索引擎，由關(guān)鍵詞匹配，推進到語義匹配。

連接主義的起源是仿生學(xué)，用數(shù)學(xué)模型來模仿神經(jīng)元。Marvin Minsky 教授因為對神經(jīng)元研究的推動，獲得了1969年圖靈獎。把大量神經(jīng)元拼裝在一起，就形成了深度學(xué)習(xí)模型，深度學(xué)習(xí)的旗手是Geoffrey Hinton 教授。深度學(xué)習(xí)模型最遭人詬病的缺陷，是不可解釋。

行為主義把控制論引入機器學(xué)習(xí)，最著名的成果是強化學(xué)習(xí)。強化學(xué)習(xí)的旗手是 Richard Sutton 教授。近年來Google DeepMind 研究員，把傳統(tǒng)強化學(xué)習(xí)，與深度學(xué)習(xí)融合，實現(xiàn)了 AlphaGo，戰(zhàn)勝當今世界所有人類圍棋高手。

DeepMind 前天發(fā)表的這篇論文，提議把傳統(tǒng)的貝葉斯因果網(wǎng)絡(luò)和知識圖譜，與深度強化學(xué)習(xí)融合，并梳理了與這個主題相關(guān)的研究進展。

DeepMind提出的“圖網(wǎng)絡(luò)”究竟是什么

在這里，有必要對說了這么多的“圖網(wǎng)絡(luò)”做一個比較詳細的介紹。當然，你也可以跳過這一節(jié)，直接看后面的解讀。

在《關(guān)系歸納偏置、深度學(xué)習(xí)和圖網(wǎng)絡(luò)》這篇論文里，作者詳細解釋了他們的“圖網(wǎng)絡(luò)”。圖網(wǎng)絡(luò)（GN）的框架定義了一類用于圖形結(jié)構(gòu)表示的關(guān)系推理的函數(shù)。GN 框架概括并擴展了各種的圖神經(jīng)網(wǎng)絡(luò)、MPNN、以及 NLNN 方法，并支持從簡單的構(gòu)建塊（building blocks）來構(gòu)建復(fù)雜的結(jié)構(gòu)。

GN 框架的主要計算單元是GN block，即 “graph-to-graph” 模塊，它將 graph 作為輸入，對結(jié)構(gòu)執(zhí)行計算，并返回 graph 作為輸出。如下面的 Box 3 所描述的，entity 由 graph 的節(jié)點（nodes），邊的關(guān)系（relations）以及全局屬性（global attributes）表示。

論文作者用 “graph” 表示具有全局屬性的有向（directed）、有屬性（attributed）的 multi-graph。一個節(jié)點（node）表示為，一條邊（edge）表示為，全局屬性（global attributes）表示為u。和表示發(fā)送方（sender）和接收方（receiver）節(jié)點的指標（indices）。具體如下：

Directed：單向，從 “sender” 節(jié)點指向 “receiver” 節(jié)點。

Attribute：屬性，可以編碼為矢量（vector），集合（set），甚至另一個圖（graph）

Attributed：邊和頂點具有與它們相關(guān)的屬性

Global attribute：graph-level 的屬性

Multi-graph：頂點之間有多個邊

GN 框架的 block 的組織強調(diào)可定制性，并綜合表示所需關(guān)系歸納偏置（inductive biases）的新架構(gòu)。

用一個例子來更具體地解釋 GN。考慮在任意引力場中預(yù)測一組橡膠球的運動，它們不是相互碰撞，而是有一個或多個彈簧將它們與其他球（或全部球）連接起來。我們將在下文的定義中引用這個運行示例，以說明圖形表示和對其進行的計算。

“graph” 的定義

在我們的 GN 框架中，一個 graph 被定義為一個 3 元組的

u表示一個全局屬性；例如，u 可能代表重力場。

是節(jié)點集合（基數(shù)是），其中每個

是邊（基數(shù)是）的集合，其中每個

算法 1：一個完整的 GN block 的計算步驟

GN block 的內(nèi)部結(jié)構(gòu)

一個 GN block 包含三個 “update” 函數(shù)，以及三個 “aggregation” 函數(shù)

其中：

圖：GN block 中的 Updates。藍色表示正在 update 的元素，黑色表示 update 中涉及的其他元素

把知識圖譜和深度學(xué)習(xí)相結(jié)合的難點

要把知識圖譜和深度學(xué)習(xí)相結(jié)合，鄧侃博士認為有幾大難點。

1. 點向量：

知識圖譜由點和邊構(gòu)成，點（node）用來表征實體（entity），實體又包含屬性（attribute）和屬性的值（value）。傳統(tǒng)知識圖譜中的實體，通常由概念符號構(gòu)成，譬如自然語言的詞匯。

傳統(tǒng)知識圖譜中的邊，連接兩個單點，也就是兩個實體，邊表達的是關(guān)系，關(guān)系的強弱，由權(quán)重表達，傳統(tǒng)知識圖譜的邊的權(quán)重，通常是常數(shù)。

如果想把傳統(tǒng)知識圖譜與深度學(xué)習(xí)相融合，首先要做的是實現(xiàn)點的可微分化。用數(shù)值化的詞向量來替代自然語言的詞匯，是實現(xiàn)點的可微分化的有效方法，通常的做法是用語言模型來分析大量的文本，給每個詞匯找到最貼合上下文語義的詞向量。但在圖譜中，傳統(tǒng)的詞向量的生成算法，不十分奏效，需要改造。

2. 超點：

前文說到，傳統(tǒng)知識圖譜中的邊，連接兩個單點，表達兩個單點之間的關(guān)系。這個假定制約了圖譜的表達能力，因為在很多場景下，多個單點組合在一起，才與其它單點或者單點組合，存在關(guān)系。我們把單點組合，稱之為超點（hyper-node）。

問題是哪些單點組合在一起構(gòu)成超點？人為的先驗指定，當然是一個辦法。從大量訓(xùn)練數(shù)據(jù)中，通過 dropout 或者 regulation 算法，自動學(xué)習(xí)出超點的構(gòu)成，也是一個思路。

3. 超邊：

傳統(tǒng)的知識圖譜中的邊，表達了點與點之間的關(guān)系，關(guān)系的強弱由權(quán)重表達，通常權(quán)重是個常數(shù)。但在很多場景下，權(quán)重并非是常數(shù)。隨著點的取值不同，邊的權(quán)重也發(fā)生變化，而且很可能是非線性變化。

用非線性函數(shù)來表達圖譜的邊，稱為超邊（hyper-edge）。

深度學(xué)習(xí)模型可以用于模擬非線性函數(shù)。所以，知識圖譜中每條邊都是一個深度學(xué)習(xí)模型。模型的輸入是若干個單點組成的超點，模型的輸出是另一個超點。如果把每個深度學(xué)習(xí)模型，視為一棵樹，根是輸入，葉子是輸出。那么鳥瞰整個知識圖譜，實際上是深度學(xué)習(xí)模型的森林。

4. 路徑：

訓(xùn)練知識圖譜，包括訓(xùn)練點向量，超點、和超邊的時候，一條訓(xùn)練數(shù)據(jù)往往是在圖譜中行走的一條路徑，通過擬合海量的路徑，獲得最貼切的點向量、超點和超邊。

用擬合路徑來訓(xùn)練圖譜，存在的一個問題是，訓(xùn)練過程與過程結(jié)束后的評價，兩者的脫節(jié)。打個比方，給你若干篇文章的提綱，以及相應(yīng)的范文，讓你學(xué)習(xí)如何寫作文。擬合的過程，強調(diào)逐字逐句的模仿。但是評價文章的好壞，重點并不在于字句的亦步亦趨，而在于通篇文章的順暢。

如何解決訓(xùn)練過程與最終評價的脫節(jié)？很有潛力的辦法，是用強化學(xué)習(xí)。強化學(xué)習(xí)的精髓，在于把最終的評價，通過回溯和折現(xiàn)的方法，給路徑過程中每一個中間狀態(tài)，評估它的潛力。

但是強化學(xué)習(xí)面臨的困難，在于中間狀態(tài)的數(shù)量不可太多。當狀態(tài)數(shù)量太多時，強化學(xué)習(xí)的訓(xùn)練過程，無法收斂。解決收斂問題的辦法，是用一個深度學(xué)習(xí)模型，來估算所有狀態(tài)的潛力值。換句話說，不需要估算所有狀態(tài)的潛力值，而只需要訓(xùn)練一個模型的有限參數(shù)。

DeepMind 前天發(fā)表的這篇文章，提議把深度強化學(xué)習(xí)與知識圖譜等相融合，并梳理了大量的相關(guān)研究。但是，論文并沒有明確說明DeepMind 偏向于哪一種具體方案。

或許，針對不同應(yīng)用場景會有不同方案，并沒有通用的最佳方案。

圖譜深度學(xué)習(xí)是下一個AI算法的熱點？

許多重要的現(xiàn)實世界數(shù)據(jù)集都是以圖或網(wǎng)絡(luò)的形式出現(xiàn)，比如社交網(wǎng)絡(luò)、知識圖譜，萬維網(wǎng)等等。目前，已有越來越多的研究者開始關(guān)注神經(jīng)網(wǎng)絡(luò)模型對這種結(jié)構(gòu)化數(shù)據(jù)集的處理。

結(jié)合DeepMind、谷歌大腦等發(fā)表的一系列的關(guān)于圖深度學(xué)習(xí)的論文，是否預(yù)示“圖深度學(xué)習(xí)”是下一個AI算法熱點？

總之，先從這篇論文看起吧。