圖神經(jīng)網(wǎng)絡(luò)概述第三彈：來自IEEE Fellow的GNN綜述

本文來源：機器之心編譯 作者：Zonghan Wu

圖神經(jīng)網(wǎng)絡(luò)（GNN）熱度持續(xù)上升，之前我們曾介紹了清華兩篇綜述論文，參見：深度學(xué)習(xí)時代的圖模型，清華發(fā)文綜述圖網(wǎng)絡(luò)，和清華大學(xué)圖神經(jīng)網(wǎng)絡(luò)綜述：模型與應(yīng)用。最近，IEEEFellow、SeniorMember和MemberZonghanWu等人又貢獻了一篇圖神經(jīng)網(wǎng)絡(luò)綜述文章。這篇文章介紹了GNN的背景知識、發(fā)展歷史、分類與框架、應(yīng)用等，詳細介紹了各種模型與方法，包括公式、模型圖示、算法等，希望對大家有所幫助。

引言

深度網(wǎng)絡(luò)的最新進展推進了模式識別和數(shù)據(jù)挖掘領(lǐng)域的研究。目標檢測、機器翻譯、語音識別等許多機器學(xué)習(xí)任務(wù)曾高度依賴手工特征工程來提取信息特征集合，但多種端到端深度學(xué)習(xí)方式（即卷積神經(jīng)網(wǎng)絡(luò)、長短期記憶網(wǎng)絡(luò)和自編碼器）改變了這種狀況。深度學(xué)習(xí)在多個領(lǐng)域的成功主要歸功于計算資源的快速發(fā)展（如GPU）、大量訓(xùn)練數(shù)據(jù)的收集，還有深度學(xué)習(xí)從歐幾里得數(shù)據(jù)（如圖像、文本和視頻）中提取潛在表征的有效性。例如CNN可以利用平移不變性、局部連通性和圖像數(shù)據(jù)語意合成性，從而提取出與整個數(shù)據(jù)集共享的局部有意義的特征，用于各種圖像分析任務(wù)。

盡管深度學(xué)習(xí)已經(jīng)在歐幾里得數(shù)據(jù)中取得了很大的成功，但從非歐幾里得域生成的數(shù)據(jù)已經(jīng)取得更廣泛的應(yīng)用，它們需要有效分析。例如，在電子商務(wù)領(lǐng)域，一個基于圖的學(xué)習(xí)系統(tǒng)能夠利用用戶和產(chǎn)品之間的交互以實現(xiàn)高度精準的推薦。在化學(xué)領(lǐng)域，分子被建模為圖，新藥研發(fā)需要測定其生物活性。在論文引用網(wǎng)絡(luò)中，論文之間通過引用關(guān)系互相連接，需要將它們分成不同的類別。

圖數(shù)據(jù)的復(fù)雜性對現(xiàn)有機器學(xué)習(xí)算法提出了重大挑戰(zhàn)，因為圖數(shù)據(jù)是不規(guī)則的。每張圖大小不同、節(jié)點無序，一張圖中的每個節(jié)點都有不同數(shù)目的鄰近節(jié)點，使得一些在圖像中容易計算的重要運算（如卷積）不能再直接應(yīng)用于圖。此外，現(xiàn)有機器學(xué)習(xí)算法的核心假設(shè)是實例彼此獨立。然而，圖數(shù)據(jù)中的每個實例都與周圍的其它實例相關(guān)，含有一些復(fù)雜的連接信息，用于捕獲數(shù)據(jù)之間的依賴關(guān)系，包括引用、朋友關(guān)系和相互作用。

最近，越來越多的研究開始將深度學(xué)習(xí)方法應(yīng)用到圖數(shù)據(jù)領(lǐng)域。受到深度學(xué)習(xí)領(lǐng)域進展的驅(qū)動，研究人員在設(shè)計圖神經(jīng)網(wǎng)絡(luò)的架構(gòu)時借鑒了卷積網(wǎng)絡(luò)、循環(huán)網(wǎng)絡(luò)和深度自編碼器的思想。為了應(yīng)對圖數(shù)據(jù)的復(fù)雜性，重要運算的泛化和定義在過去幾年中迅速發(fā)展。例如，圖1展示了受標準2D卷積啟發(fā)得到的圖卷積。本文旨在對這些方法進行全面概述，受眾包括想要進入這一快速發(fā)展領(lǐng)域的研究人員和想要對比圖神經(jīng)網(wǎng)絡(luò)算法的專家。

圖1：2D卷積 vs.圖卷積

圖神經(jīng)網(wǎng)絡(luò)簡史

圖神經(jīng)網(wǎng)絡(luò)的概念首先由Gori等人（2005）[16]提出，并由Scarselli等人（2009）[17]進一步闡明。這些早期的研究以迭代的方式通過循環(huán)神經(jīng)架構(gòu)傳播鄰近信息來學(xué)習(xí)目標節(jié)點的表示，直到達到穩(wěn)定的固定點。該過程所需計算量龐大，而近來也有許多研究致力于解決這個難題。在本文中，圖神經(jīng)網(wǎng)絡(luò)代表的是所有用于圖數(shù)據(jù)的深度學(xué)習(xí)方法。

受到卷積網(wǎng)絡(luò)在計算機視覺領(lǐng)域所獲巨大成功的激勵，近來出現(xiàn)了很多為圖數(shù)據(jù)重新定義卷積概念的方法。這些方法屬于圖卷積網(wǎng)絡(luò)（GCN）的范疇。Bruna等人（2013）提出了關(guān)于圖卷積網(wǎng)絡(luò)的第一項重要研究，他們基于譜圖論（spectralgraphtheory）開發(fā)了一種圖卷積的變體。自此，基于譜的圖卷積網(wǎng)絡(luò)不斷改進、拓展、進階。由于譜方法通常同時處理整個圖，并且難以并行或擴展到大圖上，基于空間的圖卷積網(wǎng)絡(luò)開始快速發(fā)展。這些方法通過聚集近鄰節(jié)點的信息，直接在圖結(jié)構(gòu)上執(zhí)行卷積。結(jié)合采樣策略，計算可以在一個批量的節(jié)點而不是整個圖中執(zhí)行，這種做法有望提高效率。

除了圖卷積網(wǎng)絡(luò)，近幾年還開發(fā)出了很多替代的圖神經(jīng)網(wǎng)絡(luò)。這些方法包括圖注意力網(wǎng)絡(luò)（GAT）、圖自編碼器、圖生成網(wǎng)絡(luò)以及圖時空網(wǎng)絡(luò)。關(guān)于這些方法的分類細節(jié)詳見第三章。

圖神經(jīng)網(wǎng)絡(luò)相關(guān)研究。Bronstein等人用符號幾何深度學(xué)習(xí)概述了非歐幾里得領(lǐng)域的深度學(xué)習(xí)方法，包括圖和流形。雖然這是對圖卷積網(wǎng)絡(luò)的第一次回顧，但這一項研究遺漏了幾個基于空間的重要方法，包括[15],[19],[24],[26],[27],[28]，這些方法更新了最新的基準。此外，這項調(diào)查沒有囊括很多新開發(fā)的架構(gòu)，這些架構(gòu)的重要性不亞于圖卷積網(wǎng)絡(luò)。

對于另一項研究，Battaglia等人[29]將圖網(wǎng)絡(luò)定位為從關(guān)系數(shù)據(jù)中學(xué)習(xí)的構(gòu)建塊，并在統(tǒng)一的框架下回顧了部分圖神經(jīng)網(wǎng)絡(luò)。然而，他們整體的框架是高度抽象的，失去了每種方法在原論文中的見解。Lee等人[30]對圖注意力模型（一種圖神經(jīng)網(wǎng)絡(luò)）進行了部分調(diào)查。最近，Zhang等人[31]提出了一項關(guān)于圖深度學(xué)習(xí)的最新調(diào)查，卻忽略了對圖生成網(wǎng)絡(luò)和圖時空網(wǎng)絡(luò)的研究?？傊?，現(xiàn)有的研究沒有一個對圖神經(jīng)網(wǎng)絡(luò)進行全面的回顧，只覆蓋了部分圖卷積神經(jīng)網(wǎng)絡(luò)且檢查的研究有限，因此遺漏了圖神經(jīng)網(wǎng)絡(luò)替代方法的最新進展，如圖生成網(wǎng)絡(luò)和圖時空網(wǎng)絡(luò)。

圖神經(jīng)網(wǎng)絡(luò)vs.網(wǎng)絡(luò)嵌入。對圖神經(jīng)網(wǎng)絡(luò)的研究與圖嵌入或網(wǎng)絡(luò)嵌入緊密相關(guān)，這也是數(shù)據(jù)挖掘和機器學(xué)習(xí)社區(qū)日益關(guān)注的一個話題[32][33][34][35],[36],[37]。網(wǎng)絡(luò)嵌入旨在通過保留網(wǎng)絡(luò)拓撲架構(gòu)和節(jié)點內(nèi)容信息，將網(wǎng)絡(luò)頂點表示到低維向量空間中，以使任何后續(xù)的圖分析任務(wù)（如分類、聚類和推薦）都可以通過使用簡單的現(xiàn)成學(xué)習(xí)機算法（如用于分類的支持向量機）輕松執(zhí)行。許多網(wǎng)絡(luò)嵌入算法都是無監(jiān)督算法，它們大致可分為三組[32]，即矩陣分解[38],[39]、隨機游走[40]和深度學(xué)習(xí)方法。用于網(wǎng)絡(luò)嵌入的深度學(xué)習(xí)方法同時還屬于圖神經(jīng)網(wǎng)絡(luò)，包括基于圖自編碼器的算法（如DNGR[41]和SDNE[42]）和具有無監(jiān)督訓(xùn)練的圖卷積神經(jīng)網(wǎng)絡(luò)（如GraphSage[24]）。圖2描述了本文中網(wǎng)絡(luò)嵌入和圖神經(jīng)網(wǎng)絡(luò)的區(qū)別。

圖2：網(wǎng)絡(luò)嵌入vs圖神經(jīng)網(wǎng)絡(luò)。

本文作出的貢獻如下：

新的分類體系：考慮到深度學(xué)習(xí)在圖數(shù)據(jù)上的研究與日俱增，我們提出了圖神經(jīng)網(wǎng)絡(luò)（GNN）的新分類體系。在這種分類體系下，GNN被分成了5個類別：圖卷積網(wǎng)絡(luò)、圖注意力網(wǎng)絡(luò)、圖自編碼器、圖生成網(wǎng)絡(luò)和圖時空網(wǎng)絡(luò)。我們確定了圖神經(jīng)網(wǎng)絡(luò)和網(wǎng)絡(luò)嵌入之間的區(qū)別，并在不同的圖神經(jīng)網(wǎng)絡(luò)架構(gòu)之間建立了聯(lián)系。

全面的概述：這個綜述提供了在圖數(shù)據(jù)上的現(xiàn)代深度學(xué)習(xí)技術(shù)的全面概述。對每一種類型的圖神經(jīng)網(wǎng)絡(luò)，我們提供了表征算法的細節(jié)描述，并做了必要的對比和對應(yīng)算法的總結(jié)。

豐富的資源：這篇綜述提供了圖神經(jīng)網(wǎng)絡(luò)的豐富資源，其中包括當前最佳算法、基準數(shù)據(jù)集、開源代碼和實踐應(yīng)用。這篇綜述可以作為理解、使用和開發(fā)不同實際應(yīng)用的深度學(xué)習(xí)方法的實踐指南。

未來方向：這篇綜述還強調(diào)了已有算法的當前限制，指出了這個快速發(fā)展領(lǐng)域未來的可能方向。

論文：AComprehensiveSurveyonGraphNeuralNetworks

論文鏈接：https://arxiv.org/pdf/1901.00596v1.pdf

摘要：近年來，從圖像分類到視頻處理再到語音識別和自然語言處理，深度學(xué)習(xí)已經(jīng)變革了多項機器學(xué)習(xí)任務(wù)。這些任務(wù)中的數(shù)據(jù)通常表示在歐幾里得空間中。然而，越來越多的應(yīng)用使用非歐幾里得域生成的數(shù)據(jù)，并將它們表示為具有復(fù)雜關(guān)系和相互依賴關(guān)系的圖。雖然圖數(shù)據(jù)的復(fù)雜性對現(xiàn)有機器學(xué)習(xí)算法提出了重大挑戰(zhàn)，但最近許多研究開始將深度學(xué)習(xí)方法擴展到圖數(shù)據(jù)。

本文綜述了數(shù)據(jù)挖掘和機器學(xué)習(xí)領(lǐng)域中的圖神經(jīng)網(wǎng)絡(luò)（GNN），并按照新的方法對圖神經(jīng)網(wǎng)絡(luò)的最新進展進行了分類。在關(guān)注圖卷積網(wǎng)絡(luò)的同時，他們還回顧了最近開發(fā)的其他架構(gòu)，例如圖注意力網(wǎng)絡(luò)、圖自編碼器，圖生成網(wǎng)絡(luò)以及圖時空網(wǎng)絡(luò)等。我們還進一步討論了圖神經(jīng)網(wǎng)絡(luò)在多個領(lǐng)域的應(yīng)用并總結(jié)了不同學(xué)習(xí)任務(wù)現(xiàn)有算法的開源代碼及基準。最后，我們提出了這一快速發(fā)展領(lǐng)域的研究方向。

2.定義

在這一節(jié)，我們提供基礎(chǔ)圖概念的定義。為了方便查詢，我們在表1總結(jié)了常用的符號。

表1：常用符號。

3.分類與框架

這一部分內(nèi)容給出了圖神經(jīng)網(wǎng)絡(luò)的分類方法。我們考慮到了所有能與神經(jīng)架構(gòu)組合成圖神經(jīng)網(wǎng)絡(luò)的可微圖模型，把圖神經(jīng)網(wǎng)絡(luò)最終分類為：圖卷積網(wǎng)絡(luò)、圖注意力網(wǎng)絡(luò)、圖自編碼器、圖生成網(wǎng)絡(luò)和圖時空網(wǎng)絡(luò)。這些網(wǎng)絡(luò)中，圖卷積網(wǎng)絡(luò)在捕捉架構(gòu)依存關(guān)系上扮演著核心角色。如下圖3所示，屬于其他類別的方法部分使用圖卷積網(wǎng)絡(luò)作為基礎(chǔ)。表2總結(jié)了每個類別的代表性方法。

圖3：圖神經(jīng)網(wǎng)絡(luò)分類

表2：圖神經(jīng)網(wǎng)絡(luò)代表性論文

下圖4展示了圖卷積網(wǎng)絡(luò)節(jié)點表征學(xué)習(xí)的過程。

圖4：有多層GCN層的圖卷積網(wǎng)絡(luò)變體。通過從鄰域聚合特征信息，一個GCN層把每個節(jié)點的隱藏表征進行壓縮。在特征聚合之后，非線性置換被應(yīng)用到生成的輸出上。通過多層堆疊，每個節(jié)點的最終隱藏表征從后續(xù)鄰域獲得信息。

下圖5展示了多個建立在GCN上的圖神經(jīng)網(wǎng)絡(luò)模型。

圖5：建立在GCN上的不同圖神經(jīng)網(wǎng)絡(luò)模型。

下圖展示了圖卷積網(wǎng)絡(luò)和圖注意力網(wǎng)絡(luò)在聚合鄰近節(jié)點信息方面的區(qū)別。

3.2框架

表3：圖卷積網(wǎng)絡(luò)的總結(jié)。Node-level輸出與節(jié)點回歸和分類任務(wù)相關(guān)，Edge-level輸出與邊分類和鏈接預(yù)測任務(wù)相關(guān)，Graph-level輸出與圖分類任務(wù)相關(guān)。

端到端訓(xùn)練框架。圖卷積網(wǎng)絡(luò)可以以（半）監(jiān)督或純無監(jiān)督的方式在端到端學(xué)習(xí)框架中訓(xùn)練，依賴于學(xué)習(xí)任務(wù)和可用的標簽信息。

節(jié)點級分類的半監(jiān)督學(xué)習(xí)。給定部分節(jié)點被標記的單個網(wǎng)絡(luò)，圖卷積網(wǎng)絡(luò)可以學(xué)習(xí)到一個魯棒的模型，高效識別未標記節(jié)點的類別標簽[14]。為此，可以通過堆疊一系列的圖卷積層和softmax層來建立端到端框架進行多類別分類。

圖級分類的監(jiān)督學(xué)習(xí)。給定一個圖數(shù)據(jù)集，圖級分類旨在預(yù)測整個圖的類別標簽[55],[56],[74],[75]。這一任務(wù)的端到端學(xué)習(xí)可以利用一個結(jié)合了圖卷積層和池化步驟的框架實現(xiàn)[55],[56]。

圖嵌入的無監(jiān)督學(xué)習(xí)。如果圖中無可用類別標簽，我們可以在一個端到端框架中以完全無監(jiān)督的方式學(xué)習(xí)圖嵌入。這些算法通過兩種方式利用邊級（edge-level）信息。一種簡單的方法是采用自編碼器框架，其中編碼器使用圖卷積層將圖嵌進潛在表征中，然后使用解碼器重構(gòu)圖結(jié)構(gòu)[59],[61]。另一種方法是利用負采樣方法，采樣一部分節(jié)點對作為負對（negativepair），而圖中已有的節(jié)點作為正對（positivepair）。然后在卷積層之后應(yīng)用logistic回歸層，以用于端到端學(xué)習(xí)[24]。

4.圖卷積網(wǎng)絡(luò)

這一章概覽圖卷積網(wǎng)絡(luò)（GCN），這是很多復(fù)雜圖神經(jīng)網(wǎng)絡(luò)模型的基礎(chǔ)。GCN方法分為兩類，分別基于譜和空間。基于譜的方法通過從圖信號處理的角度引入濾波器來定義圖卷積，其中圖卷積運算被解釋為從圖信號中去除噪聲[76]?；诳臻g的方法將圖卷積表征為聚合來自近鄰的特征信息。雖然GCN在節(jié)點級別上運行，但是圖池化模塊可以與GCN層交替，將圖粗?；癁楦呒壸咏Y(jié)構(gòu)。如圖5a所示，這種架構(gòu)設(shè)計可用于提取圖級表征、執(zhí)行圖分類任務(wù)。下文會分別介紹、基于空間的GCN和圖池化模塊。

基于譜的GCN部分介紹了其背景、方法等，這些方法包括SpectralCNN、ChebyshevSpectralCNN(ChebNet)、FirstorderofChebNet(1stChebNet)和AdaptiveGraphConvolutionNetwork(AGCN)。

基于空間的GCN分為兩類：Recurrent-basedSpatialGCN和CompositionBasedSpatialGCN。前者包括圖神經(jīng)網(wǎng)絡(luò)（GraphNeuralNetworks，GNN）、門控圖神經(jīng)網(wǎng)絡(luò)（GatedGraphNeuralNetworks，GGNN）和StochasticSteady-stateEmbedding(SSE)。后者涉及了：MessagePassingNeuralNetworks(MPNN)、GraphSage。此外，這部分還介紹了這兩大類之外的空間GCN變體，包括DiffusionConvolutionNeuralNetworks(DCNN)、PATCHY-SAN、Large-scaleGraphConvolutionNetworks(LGCN)、MixtureModelNetwork(MoNet)。

SSE算法。

這一章還從效率、通用性和靈活性方面，對比了基于譜的GCN和基于空間的GCN，認為基于空間的GCN更具優(yōu)勢，也因此吸引了更多研究興趣。

5圖卷積網(wǎng)絡(luò)之外的模型

這部分概述了圖卷積網(wǎng)絡(luò)之外的其他圖神經(jīng)網(wǎng)絡(luò)，包括圖注意力神經(jīng)網(wǎng)絡(luò)、圖自編碼器、圖生成模型和圖時空網(wǎng)絡(luò)。下表總結(jié)了每個類別下的主要方法。

表4：圖卷積網(wǎng)絡(luò)之外的其他圖神經(jīng)網(wǎng)絡(luò)概覽。該表根據(jù)網(wǎng)絡(luò)的輸入、輸出、目標任務(wù)和是否基于GCN總結(jié)了每種網(wǎng)絡(luò)下的多種方法。輸入列代表每種方法適合分布式圖(A)、有向圖(D)還是時空圖(S)。

5.1圖注意力網(wǎng)絡(luò)

注意力機制幾乎成為序列任務(wù)中的標配。它的價值在于能夠聚焦于對象最重要的部分。該機制被證明在多項任務(wù)中有用，如機器翻譯和自然語言理解。由于注意力機制的模型容量越來越大，圖神經(jīng)網(wǎng)絡(luò)在聚合信息、集成多個模型的輸出、生成重要性導(dǎo)向的隨機游走時，可以從注意力機制中獲益良多。

這部分介紹了圖注意力網(wǎng)絡(luò)的多種方法，包括圖注意力網(wǎng)絡(luò)（GraphAttentionNetwork，GAT）、門控注意力網(wǎng)絡(luò)（GatedAttentionNetwork，GAAN）、圖注意力模型（GraphAttentionModel，GAM）、注意力游走（AttentionWalks）。

注意力機制對圖神經(jīng)網(wǎng)絡(luò)的貢獻有三部分，即在聚合特征信息時向不同近鄰分配注意力權(quán)重、根據(jù)注意力權(quán)重集成多個模型，以及使用注意力權(quán)重引導(dǎo)隨機游走。盡管我們把GAT和GAAN分類為圖注意力網(wǎng)絡(luò)的兩種方法，但是它們都可以作為基于空間的卷積網(wǎng)絡(luò)。二者的優(yōu)勢是它們可以適應(yīng)性地學(xué)習(xí)近鄰的重要性權(quán)重（如圖6所示）。但是，由于我們必須計算每對近鄰之間的注意力權(quán)重，因此計算成本和內(nèi)存消耗會快速增長。

5.2圖自編碼器

圖自編碼器是一類網(wǎng)絡(luò)嵌入方法，旨在通過神經(jīng)網(wǎng)絡(luò)架構(gòu)將網(wǎng)絡(luò)頂點表征到低維向量空間。典型的解決方案是使用多層感知機作為編碼器來獲取節(jié)點嵌入，解碼器重建節(jié)點的近鄰統(tǒng)計，如正逐點互信息（positivepointwisemutualinformation，PPMI）或一階、二階接近度（proximities）[42]。最近，研究人員嘗試在設(shè)計圖自編碼器時用GCN作為編碼器、結(jié)合GCN和GAN，或者結(jié)合LSTM和GAN。

這部分介紹了基于GCN的自編碼器和其他變體。基于GCN的自編碼器部分介紹了：圖自編碼器（GraphAuto-encoder，GAE）、對抗正則化圖自編碼器（AdversariallyRegularizedGraphAutoencoder，ARGA）。其他變體包括：具備對抗正則化自編碼器的網(wǎng)絡(luò)表征（NetworkRepresentationswithAdversariallyRegularizedAutoencoders，NetRA）、用于圖表征的深度神經(jīng)網(wǎng)絡(luò)（DeepNeuralNetworksforGraphRepresentations，DNGR）、結(jié)構(gòu)化深度網(wǎng)絡(luò)嵌入（StructuralDeepNetworkEmbedding，SDNE）、深度遞歸網(wǎng)絡(luò)嵌入（DeepRecursiveNetworkEmbedding，DRNE）。

DNGR和SDNE僅基于拓撲結(jié)構(gòu)學(xué)習(xí)節(jié)點嵌入，而GAE、ARGA、NetRA和DRNE需要基于拓撲信息和節(jié)點內(nèi)容特征學(xué)習(xí)節(jié)點嵌入。圖自編碼器的一個挑戰(zhàn)是鄰接矩陣的稀疏性，會導(dǎo)致解碼器正條目（positiveentry）的數(shù)量遠遠少于負條目。為了解決這個問題，DNGR重建了一個較稠密的矩陣——PPMI矩陣，SDNE對鄰接矩陣的零條目進行懲罰，GAE重新調(diào)整鄰接矩陣中項的權(quán)重，NetRA將圖線性化為序列。

5.3圖生成網(wǎng)絡(luò)

圖生成網(wǎng)絡(luò)的目標是基于一組可觀察圖來生成圖。其中的很多方法都是領(lǐng)域特定的。例如，在分子圖生成方面，一些研究將分子圖的表征建模為字符串SMILES[94],[95],[96],[97]。在自然語言處理中，生成語義圖或知識圖通常需要一個給定的句子[98],[99]。最近，研究人員又提出了多個通用方法。一些研究將生成過程看成節(jié)點或邊的形成[64],[65]，而另一些則使用生成對抗訓(xùn)練[66],[67]。該領(lǐng)域的方法要么使用GCN作為構(gòu)造塊，要么使用不同的架構(gòu)。

這部分介紹了基于GCN的圖生成網(wǎng)絡(luò)和其他圖生成網(wǎng)絡(luò)。前者包括：分子生成對抗網(wǎng)絡(luò)（MolecularGenerativeAdversarialNetworks，MolGAN）和深度圖生成模型（DeepGenerativeModelsofGraphs，DGMG）；后者涉及GraphRNN（通過兩級循環(huán)神經(jīng)網(wǎng)絡(luò)使用深度圖生成模型）和NetGAN（結(jié)合LSTM和WassersteinGAN從基于隨機游走的方法中生成圖）。

圖9：MolGAN框架圖示。

5.4圖時空網(wǎng)絡(luò)

圖時空網(wǎng)絡(luò)同時捕捉時空圖的時間和空間依賴。時空圖具備全局圖結(jié)構(gòu)，每個節(jié)點的輸入隨著時間而改變。例如在交通網(wǎng)絡(luò)中，使用每個傳感器作為節(jié)點來連續(xù)記錄某條道路的交通流動速度，其中交通網(wǎng)絡(luò)的邊由傳感器對之間的距離決定。圖時空網(wǎng)絡(luò)的目標是預(yù)測未來節(jié)點值或標簽，或預(yù)測時空圖標簽。近期研究探索了僅使用GCN、結(jié)合GCN和RNN或CNN，以及專用于圖結(jié)構(gòu)的循環(huán)架構(gòu)。

這部分介紹了基于GCN的圖時空網(wǎng)絡(luò)和其他圖時空網(wǎng)絡(luò)。前者包括：DiffusionConvolutionalRecurrentNeuralNetwork(DCRNN)、CNN-GCN、時空GCN（SpatialTemporalGCN，ST-GCN）。其他方法有Structural-RNN，一種循環(huán)結(jié)構(gòu)化框架。

DCRNN的優(yōu)勢是能夠處理長期依賴，因為它具備循環(huán)網(wǎng)絡(luò)架構(gòu)。盡管CNN-GCN比DCRNN簡單一些，但CNN-GCN能夠更高效地處理時空圖，這要歸功于1DCNN的快速實現(xiàn)。時空GCN將時間流作為圖的邊，這導(dǎo)致鄰接矩陣的大小呈平方增長。一方面，它增加了圖卷積層的計算成本。另一方面，要捕捉長期依賴，圖卷積層必須多次堆疊。StructuralRNN在同一個語義組內(nèi)共享相同的RNN，從而改善了模型效率，但是StructuralRNN需要人類先驗知識來分割語義組。

6應(yīng)用

圖神經(jīng)網(wǎng)絡(luò)應(yīng)用廣泛。下面將首先介紹在文獻中頻繁使用的基準數(shù)據(jù)集。接著將報告各種方法在四種常用數(shù)據(jù)集上的基準性能，并列出可用的圖神經(jīng)網(wǎng)絡(luò)開源實現(xiàn)。最后，我們將介紹圖神經(jīng)網(wǎng)絡(luò)在各個領(lǐng)域的實際應(yīng)用案例。

6.1數(shù)據(jù)集

表5：常用數(shù)據(jù)集總結(jié)。

6.2基準和開源實現(xiàn)

表6：各種方法在四種最常用數(shù)據(jù)集上的基準性能。以上列出的方法都使用相同的訓(xùn)練、驗證和測試數(shù)據(jù)集進行評估。

表7：開源實現(xiàn)概覽。

6.3實際應(yīng)用案例

本文按領(lǐng)域介紹了GNN的應(yīng)用，包括計算機視覺、推薦系統(tǒng)、交通、化學(xué)等。

7未來方向

加深網(wǎng)絡(luò)。深度學(xué)習(xí)的成功在于深度神經(jīng)架構(gòu)。例如在圖像分類中，模型ResNet具有152層。但在圖網(wǎng)絡(luò)中，實證研究表明，隨著網(wǎng)絡(luò)層數(shù)增加，模型性能急劇下降[147]。根據(jù)論文[147]，這是由于圖卷積的影響，因為它本質(zhì)上推動相鄰節(jié)點的表示更加接近彼此，所以理論上，通過無限次卷積，所有節(jié)點的表示將收斂到一個點。這導(dǎo)致了一個問題：加深網(wǎng)絡(luò)是否仍然是學(xué)習(xí)圖結(jié)構(gòu)數(shù)據(jù)的好策略？

感受野。節(jié)點的感受野是指一組節(jié)點，包括中心節(jié)點和其近鄰節(jié)點。節(jié)點的近鄰（節(jié)點）數(shù)量遵循冪律分布。有些節(jié)點可能只有一個近鄰，而有些節(jié)點卻有數(shù)千個近鄰。盡管采用了采樣策略[24],[26],[27]，但如何選擇節(jié)點的代表性感受野仍然有待探索。

可擴展性。大部分圖神經(jīng)網(wǎng)絡(luò)并不能很好地擴展到大型圖上。主要原因是當堆疊一個圖卷積的多層時，節(jié)點的最終狀態(tài)涉及其大量近鄰節(jié)點的隱藏狀態(tài)，導(dǎo)致反向傳播變得非常復(fù)雜。雖然有些方法試圖通過快速采樣和子圖訓(xùn)練來提升模型效率[24],[27]，但它們?nèi)詿o法擴展到大型圖的深度架構(gòu)上。

動態(tài)性和異質(zhì)性。大多數(shù)當前的圖神經(jīng)網(wǎng)絡(luò)都處理靜態(tài)同質(zhì)圖。一方面，假設(shè)圖架構(gòu)是固定的。另一方面，假設(shè)圖的節(jié)點和邊來自同一個來源。然而，這兩個假設(shè)在很多情況下是不現(xiàn)實的。在社交網(wǎng)絡(luò)中，一個新人可能會隨時加入，而之前就存在的人也可能退出該社交網(wǎng)絡(luò)。在推薦系統(tǒng)中，產(chǎn)品可能具有不同的類型，而其輸出形式也可能不同，也許是文本，也許是圖像。因此，應(yīng)當開發(fā)新方法來處理動態(tài)和異質(zhì)圖結(jié)構(gòu)。