0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

深入研究網(wǎng)絡(luò)傳播背后的理論和直覺

新機(jī)器視覺 ? 來源:DeepHub ? 作者:DeepHub ? 2021-06-25 11:15 ? 次閱讀

你可能聽說過圖卷積,因?yàn)樗诋?dāng)時(shí)是一個(gè)非常熱門的話題。雖然不太為人所知,但網(wǎng)絡(luò)傳播是計(jì)算生物學(xué)中用于網(wǎng)絡(luò)學(xué)習(xí)的主要方法。在這篇文章中,我們將深入研究網(wǎng)絡(luò)傳播背后的理論和直覺,并將看到網(wǎng)絡(luò)傳播是圖卷積的一種特殊情況。

網(wǎng)絡(luò)傳播是計(jì)算生物學(xué)中基于內(nèi)疚關(guān)聯(lián)原理的一種流行方法。

兩種不同的網(wǎng)絡(luò)傳播觀點(diǎn):隨機(jī)游走和擴(kuò)散,以HotNet2為例。

網(wǎng)絡(luò)傳播是圖卷積的一種特例。

1計(jì)算生物學(xué)中的網(wǎng)絡(luò)傳播

網(wǎng)絡(luò)自然產(chǎn)生于許多真實(shí)世界的數(shù)據(jù),如社交網(wǎng)絡(luò),交通網(wǎng)絡(luò),生物網(wǎng)絡(luò),僅舉幾個(gè)例子。網(wǎng)絡(luò)結(jié)構(gòu)編碼了關(guān)于網(wǎng)絡(luò)中每個(gè)個(gè)體角色的豐富信息

在計(jì)算生物學(xué)中,像蛋白質(zhì)相互作用(PPI)這樣的生物網(wǎng)絡(luò),節(jié)點(diǎn)是蛋白質(zhì),邊緣代表兩個(gè)蛋白質(zhì)相互作用的可能性,在重建生物過程,甚至揭示疾病基因方面非常有用[1,2]。這種重建可以簡(jiǎn)單地通過直接觀察目標(biāo)蛋白的鄰近蛋白是否是生物過程或疾病的一部分來完成。這種通過鄰近蛋白質(zhì)來推斷蛋白質(zhì)隸屬度的過程稱為網(wǎng)絡(luò)傳播。我們將在下一節(jié)中更仔細(xì)地研究精確的數(shù)學(xué)公式,但是現(xiàn)在讓我們想想為什么這樣一個(gè)簡(jiǎn)單的方法有效。

這一切都?xì)w結(jié)為內(nèi)疚關(guān)聯(lián)(GBA)原則,即通過物理交互作用或其他相似度量(如基因共同表達(dá)),蛋白質(zhì)彼此緊密相關(guān),可能參與相同的生物過程或途徑。GBA原理來自于觀察到許多蛋白質(zhì)復(fù)合物(如酵母[3]中的SAGA/TFIID復(fù)合物)定位于一個(gè)內(nèi)聚網(wǎng)絡(luò)模塊。同樣,在人類疾病基因網(wǎng)絡(luò)[4]中,我們可以看到,例如,與耳、鼻、喉疾病或血液病相關(guān)的疾病基因都局限在網(wǎng)絡(luò)模塊中。作為旁注,在這篇文章中,蛋白質(zhì)和基因這兩個(gè)詞將互換使用。

2網(wǎng)絡(luò)傳播的數(shù)學(xué)公式——兩種不同的觀點(diǎn)

符號(hào)

給定一個(gè)(無向)圖G=(V, E, w),有n個(gè)頂點(diǎn)的頂點(diǎn)集V,邊集E,權(quán)函數(shù)w,設(shè)A為相應(yīng)的n × n維鄰接矩陣:

ae754f60-d4f1-11eb-9e57-12bb97331649.png

利用對(duì)角度矩陣D,它的對(duì)角項(xiàng)是相應(yīng)節(jié)點(diǎn)的度,我們可以將A按行或按列規(guī)格化,得到兩個(gè)新的矩陣P和W。

ae7f021c-d4f1-11eb-9e57-12bb97331649.png

最后,設(shè)p0為°熱編碼的標(biāo)簽向量,其中p0對(duì)應(yīng)的正標(biāo)簽節(jié)點(diǎn)的項(xiàng)為1,其余均為0。

隨機(jī)游走

我們可以在網(wǎng)絡(luò)上以隨機(jī)游走的方式進(jìn)行網(wǎng)絡(luò)傳播。在這種情況下,我們要問的關(guān)鍵問題如下。

通過一跳傳播,從目標(biāo)節(jié)點(diǎn)開始并最終到達(dá)任何一個(gè)具有正標(biāo)簽的節(jié)點(diǎn)的概率是多少?

在數(shù)學(xué)上,該操作對(duì)應(yīng)于P和p0之間的矩陣向量乘法,得到預(yù)測(cè)得分向量y

ae8a225a-d4f1-11eb-9e57-12bb97331649.png

讓我們看一個(gè)例子??紤]基因g1、g2、g3和g4的以下子網(wǎng)。假設(shè)g2和g3被注釋到一種疾病中,這意味著已知這兩個(gè)基因與此處研究的疾病有關(guān)。另一方面,g1和g4沒有對(duì)該疾病進(jìn)行注釋(注意:這并不意味著它們對(duì)該疾病沒有影響,而是目前還不知道它們與該疾病有關(guān))。

為了確定g1是否與疾病相關(guān),我們可以簡(jiǎn)單地設(shè)計(jì)一個(gè)從g1開始的單跳隨機(jī)行走,看看它落在疾病基因(g2或g3)上的概率是多少。經(jīng)過簡(jiǎn)單的計(jì)算,我們看到預(yù)測(cè)得分是2/3,這是相當(dāng)高的。這是有道理的,因?yàn)間1的三個(gè)鄰近基因中有兩個(gè)與疾病相關(guān),而根據(jù)GBA原理,g1很可能與這種疾病相關(guān)。

擴(kuò)散

網(wǎng)絡(luò)傳播的另一種觀點(diǎn)是通過網(wǎng)絡(luò)進(jìn)行擴(kuò)散。在這種情況下,我們要問的關(guān)鍵問題如下。

有多少“熱度”被擴(kuò)散到目標(biāo)節(jié)點(diǎn)?或者換句話說,從帶有正標(biāo)簽的節(jié)點(diǎn)開始,通過一跳傳播最終到達(dá)目標(biāo)節(jié)點(diǎn)的概率是多少?

數(shù)學(xué)上,該操作對(duì)應(yīng)于波浪號(hào)P和p0 (p0的標(biāo)準(zhǔn)化版本)之間的矩陣向量乘法,產(chǎn)生預(yù)測(cè)得分向量y波浪號(hào)。

aec2aeae-d4f1-11eb-9e57-12bb97331649.png

注:p0歸一化保證了從一個(gè)概率分布映射到一個(gè)概率分布,即y波浪號(hào)等于1。

讓我們回到上面的例子,通過網(wǎng)絡(luò)傳播疾病基因預(yù)測(cè)。這一次,我們想將標(biāo)簽傳播作為擴(kuò)散來執(zhí)行。結(jié)果,兩個(gè)注釋疾病基因產(chǎn)生的總“熱”中有很大一部分(5/12)被g1收集。因此g1很可能與本病相關(guān)。

3超越了單跳傳播

單跳傳播方法簡(jiǎn)單有效。然而,當(dāng)標(biāo)記數(shù)據(jù)稀缺時(shí)(這是計(jì)算生物學(xué)中典型的情況),單跳傳播方法只能計(jì)算疾病基因直接鄰居的非平凡預(yù)測(cè)分?jǐn)?shù)??紤]到人類基因組中有超過2萬個(gè)基因,這顯然導(dǎo)致了次優(yōu)預(yù)測(cè)。因此,我們可以擴(kuò)展到2-hop, 3-hop,甚至更多,而不是局限于1-hop社區(qū)。圖中顯示了k-hop從k = 1到k = 2的傳播過程。

HotNet2擴(kuò)散

有許多不同的變體來執(zhí)行多跳擴(kuò)散或隨機(jī)游走。我們將以HotNet2為例。與上面介紹的擴(kuò)散類似,HotNet2算法迭代更新初始“heat”分布p0波浪線如下。

af29a47e-d4f1-11eb-9e57-12bb97331649.png

其中beta值從0到1,是將“熱量”帶回其源頭的“重啟概率”。包含這個(gè)重啟概率的原因有幾個(gè)(有些相關(guān))。首先,之前定義的擴(kuò)散算子給出了當(dāng)前節(jié)點(diǎn)擁有的所有“熱量”,因此在第t步,之前所有的擴(kuò)散信息都丟失了。添加beta有效地在每一步中保留了一些熱量,因此在第t步,分布包含了之前步驟的所有信息。其次,(非零)beta參數(shù)保證了t趨近于無窮時(shí)熱分布的收斂性,從而給出了t=∞時(shí)熱分布的封閉形式解

af34014e-d4f1-11eb-9e57-12bb97331649.png

最后,在[1]中已經(jīng)證明,在生物通路重建、疾病基因預(yù)測(cè)等方面,這種HotNet2擴(kuò)散方法比上一節(jié)定義的單跳網(wǎng)絡(luò)傳播能夠產(chǎn)生持續(xù)更好的預(yù)測(cè)。

4與圖卷積的關(guān)系

回想一下,圖卷積網(wǎng)絡(luò)遵循如下的分層傳播規(guī)則。

af69358a-d4f1-11eb-9e57-12bb97331649.png

其中H(l)是第l層的隱藏特征,W(l)是可學(xué)習(xí)參數(shù),非線性σ (DAD)內(nèi)部的主導(dǎo)部分是具有自連接的譜歸一化鄰接矩陣。自連接的作用類似于重新啟動(dòng)概率,以保留當(dāng)前迭代的一些信息。

通過下面的替換,我們可以完全重建標(biāo)簽傳播作為圖卷積的一種特殊情況。

用行歸一化§或列歸一化(W)版本替換譜歸一化自連接鄰接矩陣

用p(l)代替H(l)

用恒等式代替非線性和W(l)(或者干脆忽略這些變換)

af764964-d4f1-11eb-9e57-12bb97331649.png

注意,第一次替換不會(huì)改變圖的頻譜,因此仍然會(huì)執(zhí)行相同的卷積操作。

現(xiàn)在你知道了,網(wǎng)絡(luò)傳播是圖卷積的一種特殊情況!

5總結(jié)

基于關(guān)聯(lián)原理,網(wǎng)絡(luò)傳播由于細(xì)胞組織的模塊化,在計(jì)算生物學(xué)中被廣泛應(yīng)用于疾病基因預(yù)測(cè)等各種任務(wù)。我們已經(jīng)深入研究了網(wǎng)絡(luò)傳播的兩個(gè)觀點(diǎn)及其與圖卷積的聯(lián)系。

編輯:jq

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • GBA
    GBA
    +關(guān)注

    關(guān)注

    0

    文章

    10

    瀏覽量

    8699
  • 圖卷積網(wǎng)絡(luò)

    關(guān)注

    0

    文章

    8

    瀏覽量

    1513

原文標(biāo)題:神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式網(wǎng)絡(luò)傳播和圖卷積,兩者到底什么關(guān)系?

文章出處:【微信號(hào):vision263com,微信公眾號(hào):新機(jī)器視覺】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 人收藏

    評(píng)論

    相關(guān)推薦

    通過微透鏡陣列的傳播

    使用最新發(fā)布的版本中引入的一個(gè)新的MLA組件來設(shè)置和模擬這樣的系統(tǒng),允許對(duì)微透鏡組件后面的近場(chǎng)以及遠(yuǎn)場(chǎng)和焦點(diǎn)區(qū)域的傳輸場(chǎng)進(jìn)行徹底的研究。 微透鏡陣列后光傳播研究 本用例研究微透鏡陣
    發(fā)表于 12-11 11:32

    智己汽車邁入“直覺”智駕新時(shí)代

    智己汽車攜手知名自動(dòng)駕駛技術(shù)公司Momenta,共同打造了創(chuàng)新的“一段式端到端直覺智駕大模型”。近日,智己汽車宣布,其IM AD 3.0系統(tǒng)已成功進(jìn)化,從“最像人”的駕駛輔助系統(tǒng)躍升至具備“直覺
    的頭像 發(fā)表于 10-30 16:06 ?260次閱讀

    bp神經(jīng)網(wǎng)絡(luò)和反向傳播神經(jīng)網(wǎng)絡(luò)區(qū)別在哪

    反向傳播神經(jīng)網(wǎng)絡(luò)(Backpropagation Neural Network,簡(jiǎn)稱BP神經(jīng)網(wǎng)絡(luò))是一種多層前饋神經(jīng)網(wǎng)絡(luò),它通過反向傳播算法
    的頭像 發(fā)表于 07-04 09:51 ?456次閱讀

    神經(jīng)網(wǎng)絡(luò)反向傳播算法的優(yōu)缺點(diǎn)有哪些

    神經(jīng)網(wǎng)絡(luò)反向傳播算法(Backpropagation Algorithm)是一種廣泛應(yīng)用于深度學(xué)習(xí)和機(jī)器學(xué)習(xí)領(lǐng)域的優(yōu)化算法,用于訓(xùn)練多層前饋神經(jīng)網(wǎng)絡(luò)。本文將介紹反向傳播算法的優(yōu)缺點(diǎn)。
    的頭像 發(fā)表于 07-03 11:24 ?1056次閱讀

    神經(jīng)網(wǎng)絡(luò)反向傳播算法的推導(dǎo)過程

    神經(jīng)網(wǎng)絡(luò)反向傳播算法(Backpropagation Algorithm)是一種用于訓(xùn)練多層前饋神經(jīng)網(wǎng)絡(luò)的監(jiān)督學(xué)習(xí)算法。它通過最小化損失函數(shù)來調(diào)整網(wǎng)絡(luò)的權(quán)重和偏置,從而提高
    的頭像 發(fā)表于 07-03 11:13 ?619次閱讀

    神經(jīng)網(wǎng)絡(luò)前向傳播和反向傳播在神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中的作用

    神經(jīng)網(wǎng)絡(luò)是一種強(qiáng)大的機(jī)器學(xué)習(xí)模型,它通過模擬人腦神經(jīng)元的連接方式來處理復(fù)雜的數(shù)據(jù)。神經(jīng)網(wǎng)絡(luò)的核心是前向傳播和反向傳播算法。本文將詳細(xì)介紹神經(jīng)網(wǎng)絡(luò)
    的頭像 發(fā)表于 07-03 11:11 ?1464次閱讀

    反向傳播神經(jīng)網(wǎng)絡(luò)建?;驹?/a>

    反向傳播神經(jīng)網(wǎng)絡(luò)(Backpropagation Neural Network,簡(jiǎn)稱BP神經(jīng)網(wǎng)絡(luò))是一種多層前饋神經(jīng)網(wǎng)絡(luò),通過反向傳播算法進(jìn)
    的頭像 發(fā)表于 07-03 11:08 ?472次閱讀

    反向傳播神經(jīng)網(wǎng)絡(luò)概念是什么

    反向傳播神經(jīng)網(wǎng)絡(luò)(Backpropagation Neural Network,簡(jiǎn)稱BP神經(jīng)網(wǎng)絡(luò))是一種多層前饋神經(jīng)網(wǎng)絡(luò),它通過反向傳播算法
    的頭像 發(fā)表于 07-03 11:06 ?638次閱讀

    反向傳播神經(jīng)網(wǎng)絡(luò)和bp神經(jīng)網(wǎng)絡(luò)的區(qū)別

    反向傳播神經(jīng)網(wǎng)絡(luò)(Backpropagation Neural Network,簡(jiǎn)稱BP神經(jīng)網(wǎng)絡(luò))是一種多層前饋神經(jīng)網(wǎng)絡(luò),它通過反向傳播算法
    的頭像 發(fā)表于 07-03 11:00 ?828次閱讀

    神經(jīng)網(wǎng)絡(luò)前向傳播和反向傳播區(qū)別

    神經(jīng)網(wǎng)絡(luò)是一種強(qiáng)大的機(jī)器學(xué)習(xí)模型,廣泛應(yīng)用于各種領(lǐng)域,如圖像識(shí)別、語音識(shí)別、自然語言處理等。神經(jīng)網(wǎng)絡(luò)的核心是前向傳播和反向傳播算法。本文將詳細(xì)介紹神經(jīng)
    的頭像 發(fā)表于 07-02 14:18 ?852次閱讀

    神經(jīng)網(wǎng)絡(luò)反向傳播算法原理是什么

    神經(jīng)網(wǎng)絡(luò)反向傳播算法(Backpropagation Algorithm)是一種用于訓(xùn)練多層前饋神經(jīng)網(wǎng)絡(luò)的監(jiān)督學(xué)習(xí)算法。它通過最小化損失函數(shù)來調(diào)整網(wǎng)絡(luò)的權(quán)重和偏置,從而提高
    的頭像 發(fā)表于 07-02 14:16 ?674次閱讀

    反向傳播神經(jīng)網(wǎng)絡(luò)模型的特點(diǎn)

    反向傳播神經(jīng)網(wǎng)絡(luò)(Backpropagation Neural Network,簡(jiǎn)稱BP神經(jīng)網(wǎng)絡(luò))是一種多層前饋神經(jīng)網(wǎng)絡(luò),它通過反向傳播算法
    的頭像 發(fā)表于 07-02 14:14 ?414次閱讀

    反向傳播神經(jīng)網(wǎng)絡(luò)建模的基本原理

    反向傳播神經(jīng)網(wǎng)絡(luò)(Backpropagation Neural Network,簡(jiǎn)稱BP神經(jīng)網(wǎng)絡(luò))是一種多層前饋神經(jīng)網(wǎng)絡(luò),通過反向傳播算法進(jìn)
    的頭像 發(fā)表于 07-02 14:05 ?308次閱讀

    倫敦商學(xué)院深入研究中國(guó)神州數(shù)碼戰(zhàn)略轉(zhuǎn)型

    China)數(shù)字化轉(zhuǎn)型歷程的深入研究為基礎(chǔ),共同撰寫了案例研究「神州數(shù)碼的轉(zhuǎn)型:駕馭數(shù)據(jù)、云和人工智能的潛力(The Transformation of Digital China
    的頭像 發(fā)表于 07-02 11:25 ?522次閱讀
    倫敦商學(xué)院<b class='flag-5'>深入研究</b>中國(guó)神州數(shù)碼戰(zhàn)略轉(zhuǎn)型

    深入理解FFmpeg閱讀體驗(yàn)》+ 書收到了,嶄新的開篇

    今天收到了《深入理解FFmpeg》 嶄新的書,一個(gè)在2022年較近距離接觸過卻尚未深入研究的領(lǐng)域圖像處理。最近剛好在作這方面的研究,希望自己可以把握這次機(jī)會(huì),好好學(xué)習(xí)下 FFMpeg,相信可以讓自己
    發(fā)表于 01-07 18:57