0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

深入研究網(wǎng)絡傳播背后的理論和直覺

新機器視覺 ? 來源:DeepHub ? 作者:DeepHub ? 2021-06-25 11:15 ? 次閱讀

你可能聽說過圖卷積,因為它在當時是一個非常熱門的話題。雖然不太為人所知,但網(wǎng)絡傳播是計算生物學中用于網(wǎng)絡學習的主要方法。在這篇文章中,我們將深入研究網(wǎng)絡傳播背后的理論和直覺,并將看到網(wǎng)絡傳播是圖卷積的一種特殊情況。

網(wǎng)絡傳播是計算生物學中基于內疚關聯(lián)原理的一種流行方法。

兩種不同的網(wǎng)絡傳播觀點:隨機游走和擴散,以HotNet2為例。

網(wǎng)絡傳播是圖卷積的一種特例。

1計算生物學中的網(wǎng)絡傳播

網(wǎng)絡自然產(chǎn)生于許多真實世界的數(shù)據(jù),如社交網(wǎng)絡,交通網(wǎng)絡,生物網(wǎng)絡,僅舉幾個例子。網(wǎng)絡結構編碼了關于網(wǎng)絡中每個個體角色的豐富信息。

在計算生物學中,像蛋白質相互作用(PPI)這樣的生物網(wǎng)絡,節(jié)點是蛋白質,邊緣代表兩個蛋白質相互作用的可能性,在重建生物過程,甚至揭示疾病基因方面非常有用[1,2]。這種重建可以簡單地通過直接觀察目標蛋白的鄰近蛋白是否是生物過程或疾病的一部分來完成。這種通過鄰近蛋白質來推斷蛋白質隸屬度的過程稱為網(wǎng)絡傳播。我們將在下一節(jié)中更仔細地研究精確的數(shù)學公式,但是現(xiàn)在讓我們想想為什么這樣一個簡單的方法有效。

這一切都歸結為內疚關聯(lián)(GBA)原則,即通過物理交互作用或其他相似度量(如基因共同表達),蛋白質彼此緊密相關,可能參與相同的生物過程或途徑。GBA原理來自于觀察到許多蛋白質復合物(如酵母[3]中的SAGA/TFIID復合物)定位于一個內聚網(wǎng)絡模塊。同樣,在人類疾病基因網(wǎng)絡[4]中,我們可以看到,例如,與耳、鼻、喉疾病或血液病相關的疾病基因都局限在網(wǎng)絡模塊中。作為旁注,在這篇文章中,蛋白質和基因這兩個詞將互換使用。

2網(wǎng)絡傳播的數(shù)學公式——兩種不同的觀點

符號

給定一個(無向)圖G=(V, E, w),有n個頂點的頂點集V,邊集E,權函數(shù)w,設A為相應的n × n維鄰接矩陣:

ae754f60-d4f1-11eb-9e57-12bb97331649.png

利用對角度矩陣D,它的對角項是相應節(jié)點的度,我們可以將A按行或按列規(guī)格化,得到兩個新的矩陣P和W。

ae7f021c-d4f1-11eb-9e57-12bb97331649.png

最后,設p0為°熱編碼的標簽向量,其中p0對應的正標簽節(jié)點的項為1,其余均為0。

隨機游走

我們可以在網(wǎng)絡上以隨機游走的方式進行網(wǎng)絡傳播。在這種情況下,我們要問的關鍵問題如下。

通過一跳傳播,從目標節(jié)點開始并最終到達任何一個具有正標簽的節(jié)點的概率是多少?

在數(shù)學上,該操作對應于P和p0之間的矩陣向量乘法,得到預測得分向量y

ae8a225a-d4f1-11eb-9e57-12bb97331649.png

讓我們看一個例子。考慮基因g1、g2、g3和g4的以下子網(wǎng)。假設g2和g3被注釋到一種疾病中,這意味著已知這兩個基因與此處研究的疾病有關。另一方面,g1和g4沒有對該疾病進行注釋(注意:這并不意味著它們對該疾病沒有影響,而是目前還不知道它們與該疾病有關)。

為了確定g1是否與疾病相關,我們可以簡單地設計一個從g1開始的單跳隨機行走,看看它落在疾病基因(g2或g3)上的概率是多少。經(jīng)過簡單的計算,我們看到預測得分是2/3,這是相當高的。這是有道理的,因為g1的三個鄰近基因中有兩個與疾病相關,而根據(jù)GBA原理,g1很可能與這種疾病相關。

擴散

網(wǎng)絡傳播的另一種觀點是通過網(wǎng)絡進行擴散。在這種情況下,我們要問的關鍵問題如下。

有多少“熱度”被擴散到目標節(jié)點?或者換句話說,從帶有正標簽的節(jié)點開始,通過一跳傳播最終到達目標節(jié)點的概率是多少?

數(shù)學上,該操作對應于波浪號P和p0 (p0的標準化版本)之間的矩陣向量乘法,產(chǎn)生預測得分向量y波浪號。

aec2aeae-d4f1-11eb-9e57-12bb97331649.png

注:p0歸一化保證了從一個概率分布映射到一個概率分布,即y波浪號等于1。

讓我們回到上面的例子,通過網(wǎng)絡傳播疾病基因預測。這一次,我們想將標簽傳播作為擴散來執(zhí)行。結果,兩個注釋疾病基因產(chǎn)生的總“熱”中有很大一部分(5/12)被g1收集。因此g1很可能與本病相關。

3超越了單跳傳播

單跳傳播方法簡單有效。然而,當標記數(shù)據(jù)稀缺時(這是計算生物學中典型的情況),單跳傳播方法只能計算疾病基因直接鄰居的非平凡預測分數(shù)??紤]到人類基因組中有超過2萬個基因,這顯然導致了次優(yōu)預測。因此,我們可以擴展到2-hop, 3-hop,甚至更多,而不是局限于1-hop社區(qū)。圖中顯示了k-hop從k = 1到k = 2的傳播過程。

HotNet2擴散

有許多不同的變體來執(zhí)行多跳擴散或隨機游走。我們將以HotNet2為例。與上面介紹的擴散類似,HotNet2算法迭代更新初始“heat”分布p0波浪線如下。

af29a47e-d4f1-11eb-9e57-12bb97331649.png

其中beta值從0到1,是將“熱量”帶回其源頭的“重啟概率”。包含這個重啟概率的原因有幾個(有些相關)。首先,之前定義的擴散算子給出了當前節(jié)點擁有的所有“熱量”,因此在第t步,之前所有的擴散信息都丟失了。添加beta有效地在每一步中保留了一些熱量,因此在第t步,分布包含了之前步驟的所有信息。其次,(非零)beta參數(shù)保證了t趨近于無窮時熱分布的收斂性,從而給出了t=∞時熱分布的封閉形式解

af34014e-d4f1-11eb-9e57-12bb97331649.png

最后,在[1]中已經(jīng)證明,在生物通路重建、疾病基因預測等方面,這種HotNet2擴散方法比上一節(jié)定義的單跳網(wǎng)絡傳播能夠產(chǎn)生持續(xù)更好的預測。

4與圖卷積的關系

回想一下,圖卷積網(wǎng)絡遵循如下的分層傳播規(guī)則。

af69358a-d4f1-11eb-9e57-12bb97331649.png

其中H(l)是第l層的隱藏特征,W(l)是可學習參數(shù),非線性σ (DAD)內部的主導部分是具有自連接的譜歸一化鄰接矩陣。自連接的作用類似于重新啟動概率,以保留當前迭代的一些信息。

通過下面的替換,我們可以完全重建標簽傳播作為圖卷積的一種特殊情況。

用行歸一化§或列歸一化(W)版本替換譜歸一化自連接鄰接矩陣

用p(l)代替H(l)

用恒等式代替非線性和W(l)(或者干脆忽略這些變換)

af764964-d4f1-11eb-9e57-12bb97331649.png

注意,第一次替換不會改變圖的頻譜,因此仍然會執(zhí)行相同的卷積操作。

現(xiàn)在你知道了,網(wǎng)絡傳播是圖卷積的一種特殊情況!

5總結

基于關聯(lián)原理,網(wǎng)絡傳播由于細胞組織的模塊化,在計算生物學中被廣泛應用于疾病基因預測等各種任務。我們已經(jīng)深入研究了網(wǎng)絡傳播的兩個觀點及其與圖卷積的聯(lián)系。

編輯:jq

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權轉載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • GBA
    GBA
    +關注

    關注

    0

    文章

    10

    瀏覽量

    8779
  • 圖卷積網(wǎng)絡

    關注

    0

    文章

    8

    瀏覽量

    1565

原文標題:神經(jīng)網(wǎng)絡的學習方式網(wǎng)絡傳播和圖卷積,兩者到底什么關系?

文章出處:【微信號:vision263com,微信公眾號:新機器視覺】歡迎添加關注!文章轉載請注明出處。

收藏 0人收藏

    評論

    相關推薦
    熱點推薦

    直流電機控制方法的Matlab仿真研究

    針對無刷直流電機的控制方法進行了深入研究 。根據(jù)無刷直流電機實際物理模型建立相應的數(shù)學模型,電機使用雙閉環(huán)進行控制 。根據(jù)電機的實際工作特點,使用模糊自適應 PID 算法替代常規(guī) PID 算法建立
    發(fā)表于 03-27 12:15

    什么是BP神經(jīng)網(wǎng)絡的反向傳播算法

    BP神經(jīng)網(wǎng)絡的反向傳播算法(Backpropagation Algorithm)是一種用于訓練神經(jīng)網(wǎng)絡的有效方法。以下是關于BP神經(jīng)網(wǎng)絡的反向傳播
    的頭像 發(fā)表于 02-12 15:18 ?666次閱讀

    電容器深入研究:電路保護、濾波和能量存儲

    校參加了一些課程,并獲得了一些關于何時使用電容器以及它們如何工作的真實示例。從電路保護到濾波,從能量存儲到傳感,我正在深入研究簡單而復雜的電容器世界。 這些東西是如何運作的? 事實上,構成電容器的只是由絕緣體隔開的兩個導體。
    的頭像 發(fā)表于 01-25 15:13 ?499次閱讀
    電容器<b class='flag-5'>深入研究</b>:電路保護、濾波和能量存儲

    微透鏡陣列后光傳播研究

    傳播進行模擬。在這個應用案例中,我們將分別研究元件后近場、焦區(qū)以及遠場特性。 2.系統(tǒng)配置 ** 3.系統(tǒng)建模模塊-組件 ** 4.總結—組件 …… 仿真結果 1.場追跡結果—近場 2.場追跡結果—焦平面 ** 3.場追跡結果—遠場
    發(fā)表于 01-08 08:56

    通過微透鏡陣列的傳播

    使用最新發(fā)布的版本中引入的一個新的MLA組件來設置和模擬這樣的系統(tǒng),允許對微透鏡組件后面的近場以及遠場和焦點區(qū)域的傳輸場進行徹底的研究。 微透鏡陣列后光傳播研究 本用例研究微透鏡陣
    發(fā)表于 01-08 08:49

    bp神經(jīng)網(wǎng)絡和反向傳播神經(jīng)網(wǎng)絡區(qū)別在哪

    反向傳播神經(jīng)網(wǎng)絡(Backpropagation Neural Network,簡稱BP神經(jīng)網(wǎng)絡)是一種多層前饋神經(jīng)網(wǎng)絡,它通過反向傳播算法
    的頭像 發(fā)表于 07-04 09:51 ?915次閱讀

    神經(jīng)網(wǎng)絡反向傳播算法的優(yōu)缺點有哪些

    神經(jīng)網(wǎng)絡反向傳播算法(Backpropagation Algorithm)是一種廣泛應用于深度學習和機器學習領域的優(yōu)化算法,用于訓練多層前饋神經(jīng)網(wǎng)絡。本文將介紹反向傳播算法的優(yōu)缺點。
    的頭像 發(fā)表于 07-03 11:24 ?1899次閱讀

    神經(jīng)網(wǎng)絡反向傳播算法的推導過程

    神經(jīng)網(wǎng)絡反向傳播算法(Backpropagation Algorithm)是一種用于訓練多層前饋神經(jīng)網(wǎng)絡的監(jiān)督學習算法。它通過最小化損失函數(shù)來調整網(wǎng)絡的權重和偏置,從而提高
    的頭像 發(fā)表于 07-03 11:13 ?988次閱讀

    神經(jīng)網(wǎng)絡前向傳播和反向傳播在神經(jīng)網(wǎng)絡訓練過程中的作用

    神經(jīng)網(wǎng)絡是一種強大的機器學習模型,它通過模擬人腦神經(jīng)元的連接方式來處理復雜的數(shù)據(jù)。神經(jīng)網(wǎng)絡的核心是前向傳播和反向傳播算法。本文將詳細介紹神經(jīng)網(wǎng)絡
    的頭像 發(fā)表于 07-03 11:11 ?2430次閱讀

    反向傳播神經(jīng)網(wǎng)絡建?;驹?/a>

    反向傳播神經(jīng)網(wǎng)絡(Backpropagation Neural Network,簡稱BP神經(jīng)網(wǎng)絡)是一種多層前饋神經(jīng)網(wǎng)絡,通過反向傳播算法進
    的頭像 發(fā)表于 07-03 11:08 ?774次閱讀

    反向傳播神經(jīng)網(wǎng)絡和bp神經(jīng)網(wǎng)絡的區(qū)別

    反向傳播神經(jīng)網(wǎng)絡(Backpropagation Neural Network,簡稱BP神經(jīng)網(wǎng)絡)是一種多層前饋神經(jīng)網(wǎng)絡,它通過反向傳播算法
    的頭像 發(fā)表于 07-03 11:00 ?1178次閱讀

    神經(jīng)網(wǎng)絡前向傳播和反向傳播區(qū)別

    神經(jīng)網(wǎng)絡是一種強大的機器學習模型,廣泛應用于各種領域,如圖像識別、語音識別、自然語言處理等。神經(jīng)網(wǎng)絡的核心是前向傳播和反向傳播算法。本文將詳細介紹神經(jīng)
    的頭像 發(fā)表于 07-02 14:18 ?1402次閱讀

    神經(jīng)網(wǎng)絡反向傳播算法原理是什么

    神經(jīng)網(wǎng)絡反向傳播算法(Backpropagation Algorithm)是一種用于訓練多層前饋神經(jīng)網(wǎng)絡的監(jiān)督學習算法。它通過最小化損失函數(shù)來調整網(wǎng)絡的權重和偏置,從而提高
    的頭像 發(fā)表于 07-02 14:16 ?1266次閱讀

    反向傳播神經(jīng)網(wǎng)絡模型的特點

    反向傳播神經(jīng)網(wǎng)絡(Backpropagation Neural Network,簡稱BP神經(jīng)網(wǎng)絡)是一種多層前饋神經(jīng)網(wǎng)絡,它通過反向傳播算法
    的頭像 發(fā)表于 07-02 14:14 ?713次閱讀

    倫敦商學院深入研究中國神州數(shù)碼戰(zhàn)略轉型

    China)數(shù)字化轉型歷程的深入研究為基礎,共同撰寫了案例研究「神州數(shù)碼的轉型:駕馭數(shù)據(jù)、云和人工智能的潛力(The Transformation of Digital China
    的頭像 發(fā)表于 07-02 11:25 ?725次閱讀
    倫敦商學院<b class='flag-5'>深入研究</b>中國神州數(shù)碼戰(zhàn)略轉型

    電子發(fā)燒友

    中國電子工程師最喜歡的網(wǎng)站

    • 2931785位工程師會員交流學習
    • 獲取您個性化的科技前沿技術信息
    • 參加活動獲取豐厚的禮品