谷歌攜手微軟揭開(kāi)人工智能網(wǎng)絡(luò)的神秘面紗

我們生活在一個(gè)網(wǎng)絡(luò)時(shí)代。從Facebook的社交圖到身體中蛋白質(zhì)的相互作用，越來(lái)越多的世界被表現(xiàn)為網(wǎng)絡(luò)中的連接。

例如斯坦福大學(xué)的拉里佩奇和謝爾蓋布林首次建立網(wǎng)絡(luò)網(wǎng)絡(luò)，稱為“PageRank”，這是Google的基礎(chǔ)。

人工智能領(lǐng)域的一些重要人物一直在研究如何使機(jī)器學(xué)習(xí)技術(shù)更加智能地理解網(wǎng)絡(luò)。

近日，來(lái)自微軟、谷歌的谷歌大腦部門(mén)，斯坦福大學(xué)、劍橋大學(xué)和蒙特利爾學(xué)習(xí)算法研究所人工智能領(lǐng)域的一些報(bào)告稱其在使神經(jīng)網(wǎng)絡(luò)破譯Reddit等社交網(wǎng)絡(luò)的隱藏結(jié)構(gòu)方面取得了突破性進(jìn)展。

題為“ Deep Graph Infomax ”的論文由劍橋大學(xué)的主要作者，蒙特利爾學(xué)習(xí)算法研究所的Yoshua Bengio和William Hamilton，微軟的研究人員，谷歌的Google Brain部門(mén)和斯坦福大學(xué)撰寫(xiě)。他們提出了一種破解網(wǎng)絡(luò)中看不見(jiàn)部分的新方法。

他們的發(fā)明，Deep Graph Infomax，分發(fā)有關(guān)整個(gè)社交網(wǎng)絡(luò)Reddit的全球信息，雖然不完整，但要弄清楚Reddit中較小的“本地”社區(qū)的細(xì)節(jié)，這是一種從大型圖片向小型線索反向工作的方式。

網(wǎng)絡(luò)可以是通過(guò)連接的任何事物，通過(guò)Reddit、Reddit成員的個(gè)人帖子含有轉(zhuǎn)到其他帖子的鏈接，帖子之間的連接網(wǎng)絡(luò)為每個(gè)帖子提供了上下文和含義，從而實(shí)現(xiàn)通過(guò)神經(jīng)網(wǎng)絡(luò)來(lái)預(yù)測(cè)Reddit網(wǎng)絡(luò)的“社區(qū)結(jié)構(gòu)”。

但是存在擴(kuò)展問(wèn)題。在像Reddit這樣擁有數(shù)百萬(wàn)個(gè)帖子的大型網(wǎng)絡(luò)中，不可能從一開(kāi)始就收集所有帖子及其連接。這是Page和布林在90年代末建立Google時(shí)首先遇到的問(wèn)題：PageRank必須映射所有網(wǎng)絡(luò)，而無(wú)法“看到”未知的網(wǎng)絡(luò)部分。

該解決方案涉及結(jié)合神經(jīng)網(wǎng)絡(luò)中的多個(gè)突破的阻力。

作者改編了微軟的R.Devon Hjelm的早期作品“Deep Infomax”。Hjelm的Deep Infomax試圖改善圖像識(shí)別，而不是對(duì)網(wǎng)絡(luò)的理解。通過(guò)在圖像的片段和這些圖像的高級(jí)“表示”之間共享信息，稱為“互信息”的過(guò)程，Deep Infomax能夠比其他圖像識(shí)別手段更好地執(zhí)行。

作者采用Deep Infomax方法并將其從圖像轉(zhuǎn)換為網(wǎng)絡(luò)表示。他們訓(xùn)練了一個(gè)卷積神經(jīng)網(wǎng)絡(luò)(CNN)來(lái)協(xié)調(diào)有關(guān)網(wǎng)絡(luò)拓?fù)涞囊恍〔糠謪^(qū)域的已知信息以及整個(gè)網(wǎng)絡(luò)的已知信息。通過(guò)這樣，他們重新創(chuàng)建了通常由人提供的“標(biāo)簽”來(lái)訓(xùn)練AI模型，在相互信息的使用基本上重新創(chuàng)建了標(biāo)簽通常提供給神經(jīng)網(wǎng)絡(luò)的“監(jiān)督”。

作者指出，Deep Graph Infomax能夠與其他程序競(jìng)爭(zhēng)，以分析它以前從未見(jiàn)過(guò)的圖形，稱為歸納分析。雖然其他方法僅了解網(wǎng)絡(luò)的一部分的細(xì)節(jié)，但作者創(chuàng)建的模型中的每個(gè)“節(jié)點(diǎn)”都可以訪問(wèn)網(wǎng)絡(luò)的整個(gè)圖的結(jié)構(gòu)屬性。

有趣的是，通過(guò)拋棄典型的網(wǎng)絡(luò)分析方法(稱為“隨機(jī)漫步”)，作者寫(xiě)道他們的方法比其他分析更復(fù)雜。

“已知隨機(jī)游走物鏡以結(jié)構(gòu)信息為代價(jià)過(guò)度強(qiáng)調(diào)接近度信息?！?從這個(gè)意義上說(shuō)，隨機(jī)游走有一種偏見(jiàn)，這是人工智能科學(xué)家想要消除的。

相比之下，Deep Graph Infomax使網(wǎng)絡(luò)中的每個(gè)節(jié)點(diǎn)都“注意到圖形的全局結(jié)構(gòu)特性”。

報(bào)告有一個(gè)更大的要點(diǎn)：神經(jīng)網(wǎng)絡(luò)可以將有關(guān)細(xì)節(jié)的信息與有關(guān)更大圖片的信息進(jìn)行匹配，可以實(shí)現(xiàn)更好的“表示”。表示意味著對(duì)主題具有更高級(jí)別的抽象。因此，這項(xiàng)工作有助于不斷追求讓AI更高層次的理解，而不僅僅是它所關(guān)注的相關(guān)性。