規(guī)則引導的知識圖譜聯(lián)合嵌入方法

規(guī)則引導的知識圖譜聯(lián)合嵌入方法

人工智能技術(shù)與咨詢?

本文來自《計算機研究與發(fā)展》?，作者姚思雨等

摘 要?近年來，大量研究工作致力于知識圖譜的嵌入學習，旨在將知識圖譜中的實體與關(guān)系映射到低維連續(xù)的向量空間中.且所學習到的嵌入表示已被成功用于緩解大規(guī)模知識圖譜的計算效率低下問題.然而，大多數(shù)現(xiàn)有嵌入學習模型僅考慮知識圖譜的結(jié)構(gòu)信息.知識圖譜中還包含有豐富的上下文信息和文本信息，它們也可被用于學習更準確的嵌入表示.針對這一問題，提出了一種規(guī)則引導的知識圖譜聯(lián)合嵌入學習模型，基于圖卷積網(wǎng)絡，將上下文信息與文本信息融合到實體與關(guān)系的嵌入表示中.特別是針對上下文信息的卷積編碼，通過計算單條上下文信息的置信度與關(guān)聯(lián)度來度量其重要程度.對于置信度，定義了一個簡單有效的規(guī)則并依據(jù)該規(guī)則進行計算.對于關(guān)聯(lián)度，提出了一種基于文本表示的計算方法.最后，在2個基準數(shù)據(jù)集上進行的實驗結(jié)果證明了模型的有效性.

關(guān)鍵詞?知識圖譜；表示學習；圖卷積網(wǎng)絡；上下文信息；文本信息

近年來，由于具有表達能力強、歧義性低、模式統(tǒng)一、且支持推理等優(yōu)點，知識圖譜已被廣泛用于組織和發(fā)布各領域的結(jié)構(gòu)化數(shù)據(jù).通常，知識圖譜由實體、實體所具有的屬性以及實體間的關(guān)系所組成.例如，其中可能包含有實體中國、關(guān)系首都以及實體屬性“China”. 如圖1所示，知識圖譜的基礎構(gòu)成則是描述2個實體之間的關(guān)系或?qū)嶓w及其屬性之間關(guān)系的三元組，如(中國，首都，北京)、(中國，英語標簽，“China”).

Fig. 1 Several triples which contain the entity Beijing and the related literals
圖1 包含實體“北京”的若干三元組及文本信息

目前，知識圖譜已被廣泛應用在智能問答[1]、推薦系統(tǒng)[2]和信息檢索[3]等任務中，其突出表現(xiàn)在學術(shù)與工業(yè)界均獲得了廣泛關(guān)注[4].但是，受益于知識圖譜所包含豐富信息的同時，其龐大的規(guī)模與數(shù)據(jù)稀疏性問題也給知識圖譜的應用帶來了挑戰(zhàn).例如，F(xiàn)reebase[5], Yago[6]和Dbpedia[7]等開放領域知識圖譜中通常包含有數(shù)百萬個實體，以及上億條描述實體關(guān)系的三元組.將子圖匹配等傳統(tǒng)圖算法應用在這些大規(guī)模知識圖譜上往往存在計算低效性問題.為此，研究人員提出了知識圖譜嵌入學習模型(knowledge graph embedding learning model)，將知識圖譜映射到低維、連續(xù)的向量空間中，學習實體與關(guān)系的嵌入表示[8].

通過設計特定的表示學習機制，知識圖譜的結(jié)構(gòu)和語義等信息可被編碼在所學習到的嵌入表示中.一方面，原本需要對大規(guī)模知識圖譜進行頻繁訪問的操作，例如結(jié)構(gòu)化查詢構(gòu)建(structured query construction)[9]、邏輯查詢執(zhí)行(logical query pro-cessing)[10]和查詢放縮(query relaxation)[11]，均可在所學習到的嵌入表示空間中通過數(shù)值計算完成，極大地提高了效率.另一方面，知識圖譜的嵌入學習提供了一種抽取并高效表示知識圖譜特征信息的方法，類似于自然語言處理領域中被廣泛應用的詞嵌入(word embedding)，知識圖譜的嵌入表示也為基于知識圖譜的深度學習工作提供了極大的便利.

現(xiàn)有知識圖譜嵌入學習模型大多僅關(guān)注知識圖譜中以三元組表示的結(jié)構(gòu)信息.例如，Bordes等人提出了基于翻譯機制(translation mechanism)的TransE模型[12]，其目標任務為鏈接預測(link prediction)與三元組分類(triple classification)，概括而言就是判斷知識圖譜中給定的2個實體之間是否存在某個關(guān)系.因此TransE模型僅關(guān)注所學習到的嵌入表示對單條三元組結(jié)構(gòu)信息的編碼，其在嵌入學習過程中將知識圖譜簡化為互不相關(guān)的三元組的有限集合.因此，TransE及其后續(xù)改進模型[13-16]對知識圖譜中上下文信息的編碼能力非常弱，很難應用于語義相關(guān)的任務.針對這一問題，相繼有一些基于上下文信息的嵌入表示模型被提出，如GAKE[17]， RDF2Vec[18].但是它們?nèi)匀粌H關(guān)注知識圖譜中由子圖、路徑等結(jié)構(gòu)所表示的上下文信息.例如，在學習圖1中實體北京的嵌入表示時，上述方法僅關(guān)注(中國，首都，北京)與(北京，位于，華北)等描述實體間關(guān)系的三元組，而忽略了北京的簡介、英文標簽等文本信息.顯然，文本信息的缺失限制了所學到嵌入表示對語義信息的表達.

為解決這一問題，本文提出了一種規(guī)則引導的知識圖譜聯(lián)合嵌入學習模型.受Vashishth等人[19]所提出的圖卷積網(wǎng)絡啟發(fā)，模型首先通過多關(guān)系型圖卷積將實體在知識圖譜中的上下文信息編碼到實體的嵌入表示中.與Vashishth等人的工作所不同的是，本文認為實體的多條上下文信息應該具有不同的重要程度，并且某條上下文信息的重要程度取決于2個因素：該條上下文信息的置信度，以及其相對于實體的關(guān)聯(lián)度.為此，本文提出了一條簡單有效的規(guī)則引導上下文信息置信度的計算，并基于知識圖譜中的文本信息表示提出了實體與其上下文信息之間關(guān)聯(lián)度的計算方法.最后，模型將圖卷積網(wǎng)絡所編碼的嵌入表示與文本信息的向量表示整合，以鏈接預測任務的結(jié)果作為訓練目標，學習知識圖譜中實體與關(guān)系的嵌入表示.

本文貢獻主要體現(xiàn)在3個方面：

1) 基于圖卷積網(wǎng)絡，創(chuàng)新地提出了一種聯(lián)合考慮知識圖譜中上下文信息與文本信息，由規(guī)則引導的嵌入表示學習模型.

2) 針對上下文信息在圖卷積中的重要程度，提出了應用規(guī)則以及知識圖譜中文本信息來計算單條上下文信息置信度與關(guān)聯(lián)度的新方法.

3) 在基準數(shù)據(jù)集上進行了充分的實驗，并與相關(guān)的知識圖譜嵌入學習方法進行了對比，實驗結(jié)果驗證了本文模型的有效性.

1 相關(guān)工作

本節(jié)對與本文工作較相關(guān)的知識圖譜嵌入學習模型進行介紹，由于本文所提出的模型是基于圖神經(jīng)網(wǎng)絡的，因此分別介紹基于圖神經(jīng)網(wǎng)絡的知識圖譜嵌入學習模型和其他非圖神經(jīng)網(wǎng)絡的嵌入學習模型.

1.1 基于圖神經(jīng)網(wǎng)絡的模型

基于圖神經(jīng)網(wǎng)絡的模型主要包括R-GCN[20], W-GCN[21], CompGCN[19]等.該類模型通常將圖卷積網(wǎng)絡作為編碼器，對圖結(jié)構(gòu)數(shù)據(jù)進行編碼，并結(jié)合對應的解碼器進行知識圖譜上的鏈接預測、節(jié)點分類等任務.在R-GCN中，每層網(wǎng)絡中節(jié)點與關(guān)系的特征利用權(quán)重矩陣進行計算，并通過領域聚合的方式傳遞至后續(xù)網(wǎng)絡層.具體而言，R-GCN利用基分解和塊對角分解構(gòu)造特定關(guān)系的權(quán)重矩陣，以處理不同類型的鄰居關(guān)系，將其與鄰居節(jié)點信息進行融合，并傳遞到目標實體上進行更新.W-GCN在圖卷積網(wǎng)絡聚合過程中為每個權(quán)重矩陣分配可學習的權(quán)重參數(shù)，使模型獲得更優(yōu)的實體嵌入表示.CompGCN則提出了針對中心節(jié)點的領域信息聚合方法，在理論上使用多種“實體-關(guān)系”組合算法對當前主流的基于多關(guān)系的圖卷積網(wǎng)絡模型進行了概括.

1.2 非圖神經(jīng)網(wǎng)絡的模型

非圖神經(jīng)網(wǎng)絡的嵌入學習模型類別較多，主要包括基于翻譯機制的模型，如TransE[12]及其后續(xù)改進模型，包括TransH[13]，TransR[14]，TransD[15]，TransAH[16],基于上下文信息的模型，如GAKE[17]，RDF2Vec[18]，基于張量分解的模型，如ComplEx[22]，RESCAL[23].

其中，基于翻譯機制的模型應用較為廣泛.該類模型通常僅關(guān)注知識圖譜的結(jié)構(gòu)信息，將實體之間的關(guān)系表示為嵌入向量空間中的某種翻譯操作(translation operation).以TransE為例，其將知識圖譜中的實體與關(guān)系都表示在同一個低維歐幾里得空間中，以向量表示一個實體或關(guān)系.具體而言，對于知識圖譜中的一條三元組(h,r,t)，TransE 將其中的關(guān)系r看作在歐幾里得空間中從頭實體h到尾實體t的平移操作，即其期望頭實體所對應的向量h經(jīng)過關(guān)系所對應的向量r的平移操作后可以非常逼近尾實體所對應的向量t，即h+r≈t.

TransE的翻譯機制較為簡單，因此可以高效地應用于大規(guī)模知識圖譜，但同時又限制了其模型的表達能力，使其難以處理一對多、多對一以及多對多類型的復雜關(guān)系[14].為解決這一問題，TransE之后相繼有一些翻譯機制更加復雜的模型被提出.例如，TransH[15]相對于所給定三元組中關(guān)系的超平面空間設計翻譯機制，TransR[16]則針對知識圖譜中的每一個關(guān)系額外學習一個矩陣，借助該矩陣將頭、尾實體通過線性變換映射到相應的關(guān)系向量空間中，然后再計算其翻譯機制的損失值.

2 聯(lián)合嵌入表示學習

本節(jié)首先對知識圖譜嵌入學習問題進行形式化定義，介紹相關(guān)概念的符號表示，然后詳細介紹所提出的規(guī)則引導的聯(lián)合嵌入學習模型.

2.1 問題定義

本文將知識圖譜表示為

其中

分別代表知識圖譜中的實體與關(guān)系集合.對于某個三元組

其中頭尾實體均屬于實體集合，即

其中關(guān)系屬于關(guān)系集合，即

知識圖譜的嵌入學習問題在于學習給定知識圖譜

中任意實體

與任意關(guān)系

的向量表示e,r∈

d，其中為d嵌入表示的維度.本文通過鏈接預測任務評價所學習到的嵌入表示，該任務可能包括2種情形：給定實體

與關(guān)系

基于它們的嵌入表示e,r∈

d，預測另外一個實體

使得存在三元組

或

或者給定2個實體

基于它們的嵌入表示e,e′∈

d，預測一個關(guān)系

使得存在三元組

或

對于任意實體

與關(guān)系

本文將它們所對應的文本信息表示為le與lr.對于實體

本文將其所有鄰居三元組的集合

視為e的上下文,具體而言

為集合

與集合

的并集，且對于

中任意鄰居三元組，本文認為其表達了節(jié)點e的一條上下文信息.

與Vashishth等人[19]的做法類似，本文也對知識圖譜的關(guān)系集合進行擴充：

其中

為逆關(guān)系集合.具體而言，對于任意三元組

本文在關(guān)系集合中增加一條逆關(guān)系r-1，并相應地將三元組(et,r-1,eh)添加到知識圖譜

中，即

代表自環(huán)關(guān)系集合，即對于任意實體

在知識圖譜

中添加自環(huán)三元組，即

此外，本文使用

代表實體e周圍鄰居實體的集合，

代表實體e周圍鄰居關(guān)系的集合，例如對于圖1中的實體北京，其鄰居實體集合為{華北，中國，…}，鄰居關(guān)系集合為{位于，首都，簡介，英文標簽，…}.

2.2 模型整體架構(gòu)

本文基于知識圖譜的上下文信息與文本信息聯(lián)合學習實體與關(guān)系的嵌入表示.圖2展示了模型的整體架構(gòu)，針對節(jié)點eh，其上下文信息

由包括三元組(eh,ri,eti)在內(nèi)的所有鄰居三元組表達.本文模型利用圖卷積網(wǎng)絡，基于

將eh的上下文信息編碼到其嵌入表示中.并且，本文認為eh的不同鄰居三元組所各自表達的上下文信息具有不同的重要程度，通過計算單條上下文信息的置信度與關(guān)聯(lián)度對其重要程度進行度量.

對于置信度計算，本文針對上下文信息中所包含的關(guān)系提出一條簡單有效的規(guī)則，并基于該規(guī)則在嵌入學習之前預先計算特定于一對關(guān)系的置信度矩陣C，并在圖卷積過程中利用該矩陣計算某條上下文信息的置信度，如圖2中標有置信度計算的虛線所示.

Fig. 2 An overview of the core part of the model
圖2 模型核心部分框架圖
?

對于關(guān)聯(lián)度計算，本文首先利用預訓練語言模型對知識圖譜中實體與關(guān)系的文本信息進行編碼.如圖2所示，對于實體eh與關(guān)系ri的文本leh與lri，它們的文本向量分別記為Leh與Lri.本文基于實體與關(guān)系的文本向量表示計算單條上下文信息與其對應實體之間的關(guān)聯(lián)度，如圖2中標有關(guān)聯(lián)度計算的虛線所示.

值得一提的是，本文所提出的模型采用“編碼器-解碼器”框架(encoder-decoder).上述基于圖卷積網(wǎng)絡的上下文信息編碼即為編碼器的主要內(nèi)容.除此之外，編碼器還將上述過程學習到的實體與關(guān)系的嵌入表示與它們的文本表示相結(jié)合.本文模型的解碼器則主要基于ConvE模型[24]實現(xiàn).下面對模型的細節(jié)進行詳細的介紹.

2.3 編碼器

規(guī)則引導的置信度計算. 知識圖譜中的關(guān)系并非相互獨立.對于一個實體

當e擁有一條鄰居關(guān)系

時，這可能暗示其還同時擁有另一條鄰居關(guān)系

例如，當某個實體的一條鄰居關(guān)系為首都時，其很可能擁有另外一個鄰居關(guān)系市長.因為顯然只有城市才可能是“首都”，并且其往往擁有“市長”這一上下文信息.本文認為這種關(guān)系間的聯(lián)系可用于對上下文信息的置信度進行估算.因此，本文提出以下規(guī)則：對于實體

當其某條上下文信息中包含有關(guān)系

并且

中同時存在關(guān)系r2，r1≠r2.此時，對于知識圖譜中任意實體

出現(xiàn)

的概率越高，相對于e而言包含r1的上下文信息置信度越高.例如，當某個實體擁有一條包含有關(guān)系市長的上下文信息時，如果該實體同時擁有關(guān)系首都，那么包含有市長的上下文信息置信度較高，因為首都與市長通常同時出現(xiàn)在實體的上下文中.

基于上述規(guī)則，本文在進行圖卷積網(wǎng)絡的訓練前首先計算置信度矩陣C∈

表示集合的大小.對于矩陣中的任意參數(shù)Ci,j，0≤i,j≤

其計算如下：

(1)

其中,分母表示知識圖譜中擁有鄰居關(guān)系ri的實體的個數(shù)，分子表示同時擁有鄰居關(guān)系ri與rj的實體的個數(shù)，i與j在此表示關(guān)系ri與rj在關(guān)系集合

中的索引.

對于圖2中實體eh，當利用其鄰居三元組

通過圖卷積編碼其向量表示eh時，模型會首先基于置信度矩陣C評價eh的各個鄰居三元組.例如，圖2中鄰居三元組(eh,ri,eti)的置信度可以通過式(2)來計算：

(2)

其中，

代表實體eti鄰居關(guān)系集合，id(·)表示關(guān)系在

中的索引.值得一提的是，在本文模型的實現(xiàn)中，置信度計算被整合到了關(guān)聯(lián)度計算中對其進行詳細介紹.

基于文本信息的關(guān)聯(lián)度計算.考慮到知識圖譜中實體與其不同上下文信息之間關(guān)聯(lián)度的差異，在進行實體嵌入表示的卷積編碼時，關(guān)聯(lián)度高的上下文信息應該獲得更多的關(guān)注.為此，本文借助實體和關(guān)系的文本描述作為輔助信息計算實體與其單條上下文信息之間的關(guān)聯(lián)度，用于后續(xù)圖卷積網(wǎng)絡中實體嵌入表示的更新.本文首先將知識圖譜中實體和關(guān)系的文本描述輸入到預訓練的BERT[25]語言模型中，得到它們所對應的初始文本表示，然后再分別利用實體文本轉(zhuǎn)換矩陣與關(guān)系文本轉(zhuǎn)換矩陣計算它們的最終文本表示.具體而言，對于任意實體

與關(guān)系

其對應文本分別為le與lr，它們通過BERT得到的初始文本表示為

與

轉(zhuǎn)換后的最終文本表示為Le與Lr，其中

本文利用實體與關(guān)系的文本表示計算對于某一實體而言，其單條上下文信息的關(guān)聯(lián)度.如圖2所示，實體eh的一條鄰居三元組為(eh,ri,eti)，本文計算參數(shù)βi與γi來度量該條鄰居三元組所表示的上下文信息與eh之間的關(guān)聯(lián)度，具體公式為：

(3)

其中，Lej與Leh分別為實體ej與eh的文本表示，

為實體eti的鄰居實體集合.

(4)

其中，Lrj與Lri分別為關(guān)系rj與ri的文本表示，

為實體eti的鄰居關(guān)系集合，Cid(ri),id(rj)如式(2)所定義.

基于圖卷積網(wǎng)絡的嵌入更新.本文采用Vashishth等人所提出的CompGCN[19]模型作為圖卷積網(wǎng)絡的架構(gòu)，對知識圖譜上下文信息進行編碼.

初始狀態(tài)下，對于任意實體

與關(guān)系

其嵌入表示為隨機向量e0與r0，且e0,r0∈

d.以圖2中的實體eh為例，其嵌入表示通過以下圖卷積過程進行更新：

(5)

其中,

表示實體eh的鄰居三元組集合，

或

針對包含有鄰居關(guān)系ri與鄰居節(jié)點eti的一條上下文信息，αi基于置信度計算與關(guān)聯(lián)度計算度量該條上下文信息的重要程度，具體如下：

αi=λ1βi+λ2γi,

(6)

其中，βi由式(3)計算得到，γi則由式(4)計算得到；Wt(ri)為CompGCN[19]中定義的關(guān)系類別矩陣，由于知識圖譜中被加入了逆關(guān)系與自環(huán)關(guān)系，Wt(ri)∈

d′×d可能為3種不同的表示，具體為：

(7)

其中函數(shù)f(·)表示循環(huán)關(guān)聯(lián)操作(circular correla-tion)[26]，可以將2個向量x,y∈

d進行融合，得到x°y∈

d，每個維度的數(shù)值計算為

(8)

遵循CompGCN框架，在對實體進行圖卷積編碼的同時，本文通過轉(zhuǎn)換矩陣Wr∈

d′×d更新關(guān)系的嵌入表示：

(9)

最后，本文將任意實體

與關(guān)系

的文本表示加入到其嵌入表示中，具體為：

e=e+Le,

(10)

r=r+Lr.

(11)

2.4 解碼器

本文采用ConvE[24]模型作為解碼器，基于所學習到的嵌入表示進行鏈接預測，通過提高鏈接預測的表現(xiàn)更新模型參數(shù).當知識圖譜經(jīng)過編碼器編碼后，對于某個任意構(gòu)成的三元組(eh,r,et)，可知其頭尾實體eh與et的嵌入表示為eh與et，關(guān)系r的嵌入表示為r.ConvE模型首先將eh與r轉(zhuǎn)換成二維形式，即

與

然后計算該三元組的分數(shù)值：

sc(eh,r,et)=
?

(12)

其中,[·]表示相連接，ω表示卷積過濾器，vec(·)為ConvE所定義的維度變換，Wcov為參數(shù)矩陣，f′(·)為非線性函數(shù).當式(12)計算得到的分數(shù)值越高，(eh,r,et)越有可能是正確的三元組.

3 實 驗

本節(jié)首先對實驗所使用的數(shù)據(jù)集、對比模型和評價指標等進行說明，然后介紹本文所提模型的實驗結(jié)果，并與其他基準模型進行比較與分析.

3.1 數(shù)據(jù)集及對比模型介紹

本文在2個廣泛使用的數(shù)據(jù)集上進行試驗，分別是FB15K-237[27]和WN18[12]，其統(tǒng)計數(shù)據(jù)如表1所示:

Table 1 Summary Statistics of Knowledge Graphs
表1 數(shù)據(jù)集的統(tǒng)計信息

為驗證所提模型的有效性，本文廣泛選取了當前被應用較多的知識圖譜嵌入學習模型作為對比方法，具體包括TransE[11],DistMult[28],ComplEx[22],R-GCN[20],KBGAN[29],ConvE[24],ConvKB[30],SACN[21],HypER[31],RotatE[32],ConvR[33],VR-GCN[34],CompGCN[19].其中，TransE[11]為基于翻譯機制的嵌入學習模型，上文已對其進行了詳細介紹.DistMult[28]將實體表示為通過神經(jīng)網(wǎng)絡學習到的低維向量，將關(guān)系表示為雙線性或線性映射函數(shù).ComplEx[22]與RESCAL[23]模型類似，屬于基于矩陣/張量分解進行鏈接預測的模型.R-GCN[20],VR-GCN[34]與CompGCN[19]屬于基于圖卷積網(wǎng)絡的嵌入表示模型，以R-GCN[20]為例，其將知識圖譜中的關(guān)系編碼為矩陣，通過關(guān)系矩陣傳遞相鄰實體的嵌入信息，并采用了多層圖卷積網(wǎng)絡.KBGAN則應用了對抗生成網(wǎng)絡(generative adversarial network, GAN)，在訓練過程中生成更具迷惑性的負例來提高嵌入表示的訓練效果.本文應用了ConvE[24]模型作為解碼器，在第2節(jié)中對其進行了詳細介紹.ConvKB[30],ConvR[33],SACN[21]與HypER[31]均是基于卷積神經(jīng)網(wǎng)絡的方法.以HypER[31]為例，其可以生成簡化的與關(guān)系相關(guān)的卷積過濾器，且可被構(gòu)造為張量分解.RotatE[32]與TransE[11]等基于翻譯機制的模型類似，其將實體之間的關(guān)系表示為向量空間中從頭實體到尾實體的旋轉(zhuǎn).

3.2 評價方法說明

本文通過鏈接預測任務來對模型的有效性進行評價.在實驗中，針對被事先去掉頭實體或尾實體的測試三元組，本文基于學習到的嵌入表示推測其被去掉的頭實體或尾實體.具體對于每個測試三元組，本文選取知識圖譜中的任意實體作為可能的預測結(jié)果，并計算利用該實體補全測試三元組后的分數(shù)值，如式(12)所示，最后對分數(shù)值進行排序.在此以缺失頭實體的預測為例，對于測試集中每個三元組(eh,r,et)，事先刪除其頭實體eh，然后試圖使用G中的任意實體

補齊該測試三元組，從而產(chǎn)生候選三元組集合

最后，基于所學習到的嵌入表示計算候選三元組的分數(shù)值并進行排序，分數(shù)值越高表明學習到的模型，即嵌入表示，認為該結(jié)果更可靠，通過與真實結(jié)果進行比較從而判段所學習嵌入表示的優(yōu)劣.

最后采用MR(mean rank),MRR(mean reciprocal rank)和Hit@k作為評價指標[12].其中，MR與MRR均為預測結(jié)果平均排名的指標，Hit@k則指預測結(jié)果排在前k名中的比例，本文具體采用Hit@10，Hit@3和Hit@1.總之，越好的預測結(jié)果，其MR值越低、MRR值越高、Hit@k也越高.

3.3 實驗設置

本文實驗代碼使用Python實現(xiàn)，在配置Ubuntu 16.04.6 LTS操作系統(tǒng)的服務器上完成，其CPU配置為16核Intel Core i7-6900K 3.20 GHz， 內(nèi)存128 GB，GPU配置為4張GeForce GTX 1080 GPU卡.

對于實體和關(guān)系文本表示向量的編碼，本文借助pretrained-bert-base-uncased預訓練模型(1)https://github.com/google-research/bert，文本向量初始維度為768，轉(zhuǎn)換后的維度為200.在圖卷積網(wǎng)絡中，實體和關(guān)系的初始化向量維度為100，即d=100，GCN的維度為200，即d′=200.解碼器中維度轉(zhuǎn)換的高度和寬度分別為10和20，卷積過濾器的大小為7×7，數(shù)量為200.利用Adam優(yōu)化器對整體模型進行訓練，批大小(batch size)為256，學習率(learning rate)為0.001.

本文對TransE模型進行了復現(xiàn)，其余模型則引用對比模型論文中所報告的結(jié)果.

3.4 實驗結(jié)果分析

表2報告了本文模型與對比模型在鏈接預測任務中的實驗結(jié)果.

通過表2可觀察到如下結(jié)果：

1) 本文模型在各個評價指標上顯著優(yōu)于TransE,DistMult和ComplEx等基準模型，與SACN,HypER和CompGCN等最新提出的模型十分接近，由此可證明本文模型的有效性.對于FB15K-237數(shù)據(jù)集，本文在Hit@10指標上排名第一.

2) 在Hit@1和Hit@3指標上也與CompGCN，ConvR，SACN相差極小.具體在Hit@1指標上僅比最高的CompGCN低1.51%，在MRR指標上與CompGCN相比僅低0.8%.而對于WN18數(shù)據(jù)集，本文模型在MR指標上排名第一，在Hit@10和Hit@3指標上也與第一名差距微小.具體在Hit@10指標上比RotatE低0.2%，在Hit@3指標上比ConvR和HypER僅低0.9%.

3) 基于圖神經(jīng)網(wǎng)絡的嵌入學習方法的表現(xiàn)普遍優(yōu)于TransE等僅關(guān)注結(jié)構(gòu)化信息的模型.就本文模型而言，由于其基于圖卷積網(wǎng)絡對知識圖譜的上下文信息與文本信息進行了聯(lián)合嵌入表示，顯著提高了在鏈接預測任務中的表現(xiàn).

Table 2 Link Prediction Results on FB15K-237 and WN18
表2 鏈接預測在FB15K-237和WN18上的結(jié)果

Note: The best performance is in bold.
?

4 總 結(jié)

現(xiàn)有多數(shù)知識圖譜嵌入學習方法僅考慮由三元組表示的知識圖譜結(jié)構(gòu)信息，而忽視了知識圖譜中豐富的上下文信息與文本信息，限制了嵌入表示在鏈接預測等任務中的表現(xiàn).針對現(xiàn)有方法的這一局限性，本文提出一種利用圖卷積神經(jīng)網(wǎng)絡，結(jié)合知識圖譜的上下文信息與文本信息學習嵌入表示的方法.為了對上下文信息的重要程度進行細粒度分析，本文提出一條簡單有效的規(guī)則來計算上下文信息的置信度，并基于文本信息的向量表示提出計算上下文信息關(guān)聯(lián)度的方法，加強了對上下文信息的約束和引導.最后，通過在2個廣泛使用的基準數(shù)據(jù)集上進行對比實驗，驗證了本文模型的有效性.

關(guān)注微信公眾號：人工智能技術(shù)與咨詢。了解更多咨詢！

審核編輯：符乾江