探索了神經(jīng)科學技術(shù)的相關(guān)應(yīng)用，以確定人工神經(jīng)網(wǎng)絡(luò)中信息是如何結(jié)構(gòu)化的

當談及人工神經(jīng)網(wǎng)絡(luò)，黑箱問題總會引起熱議，人們對黑箱問題的評價褒貶不一。

有人認為黑盒是神經(jīng)網(wǎng)絡(luò)的優(yōu)勢，這代表神經(jīng)網(wǎng)絡(luò)的自主學習性，代表其自動學習以及自動完善的特性。但大部分人認為，黑箱問題需要被解決，當我們將神經(jīng)網(wǎng)絡(luò)應(yīng)用到一些對安全性，穩(wěn)定性要求很高的行業(yè)，如醫(yī)療，我們就必須進行精準控制，出現(xiàn)錯誤或問題時，我們要對內(nèi)部結(jié)構(gòu)進行分析改正，這時黑箱問題就希望得到解決。

圖|Lillian, Meyes & Meisen

來自 RWTH Aachen（亞琛工業(yè)大學）機械工程學院下信息管理研究所的研究人員們在解決黑箱問題上提出了自己的見解，他們探索了神經(jīng)科學技術(shù)的相關(guān)應(yīng)用，以確定人工神經(jīng)網(wǎng)絡(luò)中信息是如何結(jié)構(gòu)化的。

在他們發(fā)表在 arXiv 上的論文中，研究者在人工神經(jīng)網(wǎng)絡(luò)中使用了名為“消融”（ablation）的技術(shù)，原本是應(yīng)用于神經(jīng)科學的一種技術(shù)，即在神經(jīng)網(wǎng)絡(luò)中切除大腦的某些神經(jīng)元來確定它們的功能。。

“我們的想法源自于神經(jīng)科學領(lǐng)域的研究，該領(lǐng)域的主要目標是理解我們的大腦是如何工作的。”Richard Meyes 和 Tobias Meisen 兩位研究者說道。“許多關(guān)于大腦功能的見解看法都是通過消融研究獲得的，本質(zhì)上來說，消融即選擇性地切除或破壞大腦特定區(qū)域的組織，以可控的方式進行消融，檢測大腦該部分對諸如言語生成、運動等日常工作的影響?！?/p>

在此之前，消融已經(jīng)被應(yīng)用在一些人工神經(jīng)網(wǎng)絡(luò)的研究中，但這些研究主要關(guān)注于調(diào)整神經(jīng)網(wǎng)絡(luò)層和改變其結(jié)構(gòu)，因此更像是參數(shù)搜索而不是生物學的消融法。

Mayes Meisen 以及他們的同事 Peter Lillian 進行這項實驗的目的是想從生物學的角度檢驗人工神經(jīng)網(wǎng)絡(luò)，評估它們的結(jié)構(gòu)以及不同組成部分的不同功能。最后，他們決定用消融來做這個測試，這種技術(shù)在神經(jīng)科學研究中使用了 200 多年。

在 Mayes Meisen 和他同事的研究中，研究人員希望以破壞神經(jīng)網(wǎng)絡(luò)的特定區(qū)域的方法，觀察該區(qū)域如何影響性能。最終，通過這些觀測結(jié)果對人工神經(jīng)網(wǎng)絡(luò)和生物神經(jīng)網(wǎng)絡(luò)的組織形式進行比較。

“在人工神經(jīng)網(wǎng)絡(luò)上應(yīng)用消融的方法十分簡單的，”Meyes 和 Meisen 解釋道。“首先，我們訓(xùn)練神經(jīng)網(wǎng)絡(luò)來完成特定的任務(wù)，比如說識別手寫數(shù)字。第二步，我們切除網(wǎng)絡(luò)的某一部分，然后評估由這種破壞導(dǎo)致的性能變化。第三步，我們確定網(wǎng)絡(luò)性能的改變和被破壞的位置之間是否有聯(lián)系。通過這種方法，我們發(fā)現(xiàn)網(wǎng)絡(luò)的某些特定能力，比如控制機器人執(zhí)行前進動作，是通過局部網(wǎng)絡(luò)控制的?！?/p>

圖| 當每個部分被切除后，切除該部分后的輸出結(jié)果會被保存下來。（圖片來源：論文）

通過對訓(xùn)練用于在線圈中導(dǎo)航的人工神經(jīng)網(wǎng)絡(luò)進行消融操作，并檢查這種干預(yù)措施對輸出產(chǎn)生的影響，研究者獲得了一系列有趣的發(fā)現(xiàn)——結(jié)果顯示人工神經(jīng)網(wǎng)絡(luò)和生物的神經(jīng)網(wǎng)絡(luò)之間的確存在聯(lián)系和相似之處。這些相似之處與網(wǎng)絡(luò)如何自我安排和存儲信息有關(guān)。

Meyes 和 Meisen 說道：“最令我們感興趣的發(fā)現(xiàn)是，一般來說被損壞的神經(jīng)網(wǎng)絡(luò)性能會下降，但網(wǎng)絡(luò)的某些特定能力，比如識別數(shù)字，其中部分被損壞反而會增強識別能力。我們的研究表明，我們可以通過消融正確區(qū)域用以增加一個神經(jīng)網(wǎng)絡(luò)的性能。此外，研究還表明，神經(jīng)科學研究得方法在人工神經(jīng)網(wǎng)絡(luò)研究上的應(yīng)用，或許可以為理解人工智能開辟新的視角?！?/p>

盡管 Meyes, Meisen 和 Lillian 得到了喜人的結(jié)果，但他們的研究也存在一定的局限性。比如說，他們的研究受限于使用強化學習，依賴于實時的機器人訓(xùn)練模型，這僅僅只是檢驗生物神經(jīng)網(wǎng)絡(luò)和人工神經(jīng)網(wǎng)絡(luò)的第一步。

未來的研究工作或許可以更詳細、更大規(guī)模地研究人工神經(jīng)網(wǎng)絡(luò)與大腦神經(jīng)網(wǎng)絡(luò)之間的聯(lián)系。

“我們計劃繼續(xù)探索通過利用神經(jīng)科學來啟發(fā)人工神經(jīng)網(wǎng)絡(luò)研究的研究方向，”Meyes 和 Meisen 說道。“我們接下來的計劃是將人工神經(jīng)網(wǎng)絡(luò)中的活動可視化，就像大腦的活動可以用例如 fMRI 的成像方法可視化一樣。目標是使神經(jīng)網(wǎng)絡(luò)的決策過程更加透明，從而獲得對人工神經(jīng)網(wǎng)絡(luò)進行更全面的了解?！?/p>