人工智能可以“讀取”你的大腦了

說(shuō)話，看起來(lái)是一件毫不費(fèi)力的事情。但事實(shí)上，說(shuō)話卻是人類執(zhí)行的最復(fù)雜的活動(dòng)之一。它需要精確、動(dòng)態(tài)地協(xié)調(diào)聲道咬合結(jié)構(gòu)中的肌肉、嘴唇、舌頭、喉部和下頜。

當(dāng)由于中風(fēng)、肌萎縮側(cè)索硬化癥或其他神經(jīng)系統(tǒng)疾病而導(dǎo)致言語(yǔ)中斷時(shí)，喪失說(shuō)話能力可能是毀滅性的。

昨天，Nature 雜志發(fā)表了加州大學(xué)舊金山分校的一項(xiàng)最新成果——該校神經(jīng)外科華裔教授 Edward Chang 及同事開發(fā)出一種可以將腦活動(dòng)轉(zhuǎn)化為語(yǔ)音的解碼器，創(chuàng)造了更接近能夠恢復(fù)說(shuō)話功能的腦機(jī)接口。

腦機(jī)接口旨在幫助癱瘓患者直接從大腦中“讀取”他們的意圖，并利用這些信息控制外部設(shè)備或移動(dòng)癱瘓的肢體，這項(xiàng)技術(shù)目前能夠使癱瘓的人每分鐘最多能打出8個(gè)單詞。

而這次Nature分享的方法，使用深度學(xué)習(xí)方法直接從大腦信號(hào)中產(chǎn)生口語(yǔ)句子，達(dá)到150個(gè)單詞，接近正常人水平。

馬斯克也擁有一家腦機(jī)接口公司。他認(rèn)為，科學(xué)可以通過(guò)腦機(jī)接口擴(kuò)大人類的能力。比如說(shuō)，人們可以通過(guò)心靈感應(yīng)來(lái)傳達(dá)復(fù)雜的概念，不再需要用語(yǔ)言來(lái)表達(dá)。

找到腦軀干里對(duì)語(yǔ)言與四肢控制的操縱區(qū)域是探索腦運(yùn)動(dòng)很重要的一步。日后也許我們會(huì)向情緒控制更進(jìn)一步。這一步會(huì)更難，但是突破性理解腦的關(guān)鍵之一。

科幻小說(shuō)中的未來(lái)真的能實(shí)現(xiàn)嗎？你覺(jué)得呢？以下，Enjoy:

本文綜合自/ DeepTech深科技（ID：deeptechchina）、新智元（ID:AI_era)

許多患有神經(jīng)疾病的患者因喪失語(yǔ)言能力，需要依賴特定的通訊設(shè)備進(jìn)行溝通，這類設(shè)備利用腦機(jī)接口或者頭部、眼睛的動(dòng)作來(lái)控制光標(biāo)選擇字母，從而說(shuō)出他們想說(shuō)的話。但是，這個(gè)過(guò)程比人類的正常語(yǔ)速慢得多，往往是在蹦單詞。

4 月 25 日，Nature 雜志發(fā)表了加州大學(xué)舊金山分校（University of California San Francisco）的一項(xiàng)最新成果，該校神經(jīng)外科華裔教授 Edward Chang 及同事開發(fā)出一種可以將腦活動(dòng)轉(zhuǎn)化為語(yǔ)音的解碼器。這套人類語(yǔ)音合成系統(tǒng)，通過(guò)解碼與人類下頜、喉頭、嘴唇和舌頭動(dòng)作相關(guān)的腦信號(hào)，并合成出受試者想要表達(dá)的語(yǔ)音。

視頻 | 神經(jīng)解碼的語(yǔ)音合成演示（來(lái)源：UCSF Neurosurgery）

研究人員表示，腦機(jī)接口正迅速成為恢復(fù)功能喪失的臨床可行手段，這項(xiàng)最新的研究成果解決了癱瘓和失語(yǔ)患者所面臨的重大挑戰(zhàn)，并可能是讓他們恢復(fù)“說(shuō)話”能力的重要一步。

在Nature雜志同時(shí)配發(fā)的評(píng)論文章中，埃默里大學(xué)和佐治亞理工學(xué)院的 Chethan Pandarinath 和 Yahia Ali 認(rèn)為，這種使用控制嘴唇、舌頭、喉部和下頜運(yùn)動(dòng)的神經(jīng)信號(hào)合成語(yǔ)音的腦機(jī)接口設(shè)備，可以成為在失語(yǔ)者中恢復(fù)語(yǔ)音功能的奠基性工作。

解讀大腦的意圖

說(shuō)話似乎是一件毫不費(fèi)力的事，但實(shí)際上說(shuō)話卻是人類執(zhí)行的最復(fù)雜的活動(dòng)之一。它需要精確、動(dòng)態(tài)地協(xié)調(diào)聲道咬合結(jié)構(gòu)中的肌肉、嘴唇、舌頭、喉部和下頜。

當(dāng)一個(gè)人因中風(fēng)、肌萎縮側(cè)索硬化（霍金即患此?。┗蚱渌窠?jīng)系統(tǒng)疾病而喪失語(yǔ)言功能和溝通能力時(shí)，對(duì)他的影響和打擊可能是毀滅性的。

如果有一種技術(shù)，能將神經(jīng)活動(dòng)轉(zhuǎn)化為言語(yǔ)，那對(duì)于因神經(jīng)損傷而無(wú)法溝通的人來(lái)說(shuō)將具有變革性。理論上說(shuō)，腦機(jī)接口技術(shù)可以通過(guò)直接從大腦“讀取”人的意圖，并使用該信息來(lái)控制外部設(shè)備或移動(dòng)癱瘓的肢體，來(lái)幫助癱瘓的人完成說(shuō)話或運(yùn)動(dòng)。

在科幻世界里，意念控制的實(shí)現(xiàn)可以順手拈來(lái)、輕而易舉。而在現(xiàn)實(shí)世界中，其背后的腦機(jī)接口技術(shù)已有近百年的歷史。

科學(xué)家們也一直希望在該領(lǐng)域?qū)崿F(xiàn)科學(xué)研究與應(yīng)用技術(shù)的突破，為許多當(dāng)前仍無(wú)法解答的難題提供更好的探索工具，幫助人類進(jìn)一步了解自己的大腦，進(jìn)而預(yù)防、診斷、治療腦部疾病及其他重大疾病，并將這一技術(shù)廣泛應(yīng)用于睡眠管理、智能生活和殘疾人康復(fù)等領(lǐng)域。

圖 | 使用特制語(yǔ)音合成器的史蒂芬·霍金（來(lái)源：newzpole.com）

目前，一些用于大腦控制打字的腦機(jī)接口技術(shù)，依賴于測(cè)量頭部或眼睛的殘余非語(yǔ)言運(yùn)動(dòng)，或者依賴于控制光標(biāo)以逐個(gè)選擇字母并拼出單詞，已經(jīng)可以幫助癱瘓的人通過(guò)設(shè)備每分鐘輸出多達(dá) 8 個(gè)單詞。

這些技術(shù)已經(jīng)給有嚴(yán)重溝通障礙的患者帶來(lái)了巨大的生活改善，但與自然語(yǔ)音每分鐘 150 個(gè)單詞的平均速度比起來(lái)，現(xiàn)有技術(shù)的輸出速度還是太慢了，距離通過(guò)腦機(jī)接口實(shí)現(xiàn)自然語(yǔ)音的流暢交流還有很大差距。

直接通過(guò)大腦活動(dòng)信號(hào)來(lái)合成語(yǔ)音，是一種頗有前景的替代方案。拼寫只是離散字母的連續(xù)串聯(lián)，而語(yǔ)音則是一種高效的通信形式。

與基于拼寫的方法相比，直接語(yǔ)音合成具有幾個(gè)主要優(yōu)點(diǎn)。除了以自然語(yǔ)速傳遞無(wú)約束詞匯的能力之外，直接語(yǔ)音合成還能捕獲語(yǔ)音的韻律元素，例如音調(diào)、語(yǔ)調(diào)，這些是文本輸出所不具備的。

此外，當(dāng)前替代通信設(shè)備的實(shí)際限制是學(xué)習(xí)和使用它們所需的認(rèn)知努力。因此，對(duì)于由肌萎縮性側(cè)索硬化或腦干中風(fēng)引起的癱瘓患者，通過(guò)直接記錄來(lái)自大腦皮層的神經(jīng)控制信號(hào)來(lái)合成語(yǔ)音，是實(shí)現(xiàn)自然語(yǔ)言高通信速率的唯一手段，也是最直觀的方法。

2017 年, 本文作者 Edward Chang 以及他的研究生 Claire Tang 就曾在 Science 雜志發(fā)表論文，闡述大腦皮層顳上回神經(jīng)元在語(yǔ)言中的重要性。研究發(fā)現(xiàn)了人類大腦中用于辨別相對(duì)聲調(diào)變化的神經(jīng)元，這種神經(jīng)元可以幫助人類在語(yǔ)言中明確表達(dá)感情、交流思想。

圖 | Edward Chang 教授（來(lái)源：UCSF）

但揭示大腦信號(hào)如何控制聲道發(fā)音部位的運(yùn)動(dòng)仍具有挑戰(zhàn)性。因?yàn)檎f(shuō)話這一過(guò)程需要對(duì)聲道咬合部位進(jìn)行非常精確和快速的多維控制。

而且，語(yǔ)音合成還存在一個(gè)與以往完全不同的挑戰(zhàn)，就是解碼聲道運(yùn)動(dòng)和聲音之間復(fù)雜的對(duì)應(yīng)關(guān)系。自然語(yǔ)音產(chǎn)生涉及 100 多塊小肌肉，從肌肉運(yùn)動(dòng)到聲音的映射也不是一對(duì)一的。

每分鐘能夠生成150單詞，接近正常人類水平

加州大學(xué)舊金山分校的研究人員與5名志愿者合作，志愿者們接受了一項(xiàng)被稱為“顱內(nèi)監(jiān)測(cè)”的實(shí)驗(yàn)，其中電極被用于監(jiān)測(cè)大腦活動(dòng)，作為癲癇治療的一部分。

許多癲癇患者的藥物治療效果并不好，他們選擇接受腦部手術(shù)。在術(shù)前，醫(yī)生必須首先找到病人大腦中癲癇發(fā)作的“熱點(diǎn)”，這一過(guò)程是通過(guò)放置在大腦內(nèi)部或表面的電極來(lái)完成的，并監(jiān)測(cè)明顯的電信號(hào)高峰。

精確定位“熱點(diǎn)”的位置可能需要數(shù)周時(shí)間。在此期間，患者通過(guò)植入大腦區(qū)域或其附近的電極來(lái)度日，這些區(qū)域涉及運(yùn)動(dòng)和聽覺(jué)信號(hào)。這些患者一般會(huì)同意利用這些植入物進(jìn)行額外的實(shí)驗(yàn)。

ECoG電極陣列由記錄大腦活動(dòng)的顱內(nèi)電極組成

此次招募的五名志愿者同意測(cè)試虛擬語(yǔ)音發(fā)生器。每個(gè)患者都植入了一兩個(gè)電極陣列：圖章大小的、包含幾百個(gè)微電極的小墊，放置在大腦表面。

實(shí)驗(yàn)要求參與者背誦幾百個(gè)句子，電極會(huì)記錄運(yùn)動(dòng)皮層中神經(jīng)元的放電模式。研究人員將這些模式與患者在自然說(shuō)話時(shí)嘴唇，舌頭，喉部和下頜的微小運(yùn)動(dòng)聯(lián)系起來(lái)。然后將這些動(dòng)作翻譯成口語(yǔ)化的句子。

參與的志愿者大腦中的電極陣列位置

實(shí)驗(yàn)要求母語(yǔ)為英語(yǔ)的人聽這些句子，以測(cè)試虛擬語(yǔ)音的流暢性。研究發(fā)現(xiàn)，大約70％的虛擬系統(tǒng)生成的內(nèi)容是可理解的。

最終，這套新系統(tǒng)每分鐘能夠生成150單詞，接近自然講話的語(yǔ)速水平。而以前基于植入物的通信系統(tǒng)每分鐘可以生成大約8個(gè)單詞。

合成能聽懂的語(yǔ)音

在Nature的這項(xiàng)最新研究中，為了實(shí)現(xiàn)將腦信號(hào)轉(zhuǎn)換為可理解的合成語(yǔ)音，并且是以流利說(shuō)話者的速度輸出，研究人員設(shè)計(jì)了一種神經(jīng)解碼器，明確地利用人類皮層活動(dòng)中編碼的運(yùn)動(dòng)學(xué)和聲音表征來(lái)合成可聽語(yǔ)音。

研究人員招募 5 名正在接受癲癇治療的參與者，作為癲癇治療的一部分，他們會(huì)通過(guò)電極監(jiān)測(cè)大腦活動(dòng)。研究人員在 5 名受試者大聲說(shuō)出幾百個(gè)句子時(shí)，記錄下他們的高密度腦電圖（ECoG）信號(hào)，并跟蹤控制語(yǔ)音和發(fā)生部位運(yùn)動(dòng)的大腦區(qū)域活動(dòng)。

為了重建語(yǔ)音，研究人員設(shè)計(jì)了一種循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN），首先將記錄的皮質(zhì)神經(jīng)信號(hào)轉(zhuǎn)化為聲道咬合關(guān)節(jié)運(yùn)動(dòng)，然后將這些解碼的運(yùn)動(dòng)轉(zhuǎn)化為口語(yǔ)句子。

圖 | 用于語(yǔ)音合成的腦機(jī)接口（來(lái)源：Nature）

以前的語(yǔ)音合成研究采用了上圖 a 的方法，即使用腦電圖設(shè)備監(jiān)測(cè)大腦語(yǔ)音相關(guān)區(qū)域的神經(jīng)信號(hào)，并嘗試使用循環(huán)神經(jīng)網(wǎng)絡(luò)將這些信號(hào)直接解碼為合成語(yǔ)音。

而 Edward Chang 以及同事開發(fā)了一種不同的方法，將解碼分為兩個(gè)步驟。

第一步，將神經(jīng)信號(hào)轉(zhuǎn)換成聲道咬合部位的運(yùn)動(dòng)（紅色），這其中涉及語(yǔ)音產(chǎn)生的解剖結(jié)構(gòu)（嘴唇、舌頭、喉和下頜）。而為了實(shí)現(xiàn)神經(jīng)信號(hào)到聲道咬合部位運(yùn)動(dòng)的轉(zhuǎn)化，就需要大量聲道運(yùn)動(dòng)與其神經(jīng)活動(dòng)相關(guān)聯(lián)的數(shù)據(jù)。但研究人員又難以直接測(cè)量每個(gè)人的聲道運(yùn)動(dòng)，因此他們建立了一個(gè)循環(huán)神經(jīng)網(wǎng)絡(luò)，根據(jù)以前收集的大量聲道運(yùn)動(dòng)和語(yǔ)音記錄數(shù)據(jù)庫(kù)來(lái)建立關(guān)聯(lián)。

第二步，將聲道咬合部位的運(yùn)動(dòng)轉(zhuǎn)換成合成語(yǔ)音。

圖 | 神經(jīng)解碼語(yǔ)音合成過(guò)程（來(lái)源：Nature）

研究人員的這種兩步解碼方法，產(chǎn)生的語(yǔ)音失真率明顯小于使用直接解碼方法所獲得的語(yǔ)音。在包含 101 個(gè)句子的試驗(yàn)中，聽者可以輕松地識(shí)別并記錄下合成的語(yǔ)音。

在另外的測(cè)試中，一名受試者首先按要求說(shuō)出句子，然后再不出聲地做出相同的發(fā)音動(dòng)作。結(jié)果表明，無(wú)聲言語(yǔ)的合成效果不如有聲言語(yǔ)，但是研究人員認(rèn)為仍有可能解碼無(wú)聲言語(yǔ)的特征。

所有當(dāng)前用于語(yǔ)音解碼的方法都需要使用發(fā)聲語(yǔ)音訓(xùn)練解碼器，因此，基于這些方法的腦機(jī)接口技術(shù)也就不能讓不會(huì)說(shuō)話的人上手就用。對(duì)于已經(jīng)喪失說(shuō)話能力的患者來(lái)說(shuō)，無(wú)法發(fā)聲訓(xùn)練解碼器是一個(gè)大問(wèn)題。

但 Edward Chang 表示，雖然語(yǔ)音解碼的準(zhǔn)確性大大降低，但受試者在沒(méi)有聲音的情況下模仿發(fā)音仍然可以進(jìn)行語(yǔ)音合成。至于那些不再產(chǎn)生語(yǔ)音相關(guān)運(yùn)動(dòng)的個(gè)體是否適用這套最新的語(yǔ)音合成腦機(jī)接口系統(tǒng)，還需要未來(lái)的進(jìn)一步研究。

Chethan Pandarinath 和 Yahia Ali 認(rèn)為，無(wú)論是在語(yǔ)音重建的準(zhǔn)確性方面，還是在聽眾對(duì)所產(chǎn)生語(yǔ)句的辨識(shí)力方面，Edward Chang 及其同事的研究結(jié)果都為語(yǔ)音合成腦機(jī)接口的概念驗(yàn)證提供了令人信服的證據(jù)。

（來(lái)源：麻省理工科技評(píng)論）

不過(guò)，要使該系統(tǒng)真正成為一個(gè)臨床可行的語(yǔ)音合成腦機(jī)接口，還存在許多挑戰(zhàn)，畢竟重構(gòu)語(yǔ)音的可懂度（intelligibility）仍遠(yuǎn)低于自然語(yǔ)音。好在，通過(guò)收集更大的數(shù)據(jù)集并繼續(xù)開發(fā)基礎(chǔ)計(jì)算方法，或許可以進(jìn)一步改善語(yǔ)音合成腦機(jī)接口技術(shù)。

由于不能直接在動(dòng)物身上進(jìn)行相關(guān)研究，這在一定程度上限制了人類語(yǔ)言產(chǎn)生的研究進(jìn)展，但近十年來(lái)，隨著深度學(xué)習(xí)和人工神經(jīng)網(wǎng)絡(luò)的出現(xiàn)，以及多學(xué)科協(xié)作的能力，從探索語(yǔ)言相關(guān)大腦區(qū)域的開創(chuàng)性臨床研究，到語(yǔ)音合成腦機(jī)接口的概念證明，都取得了引人注目的快速發(fā)展。

隨著語(yǔ)音合成腦機(jī)接口的概念證明，我們期待有關(guān)臨床試驗(yàn)的早日開展，也期待那些語(yǔ)言障礙患者能夠早日重獲自由說(shuō)話并與世界重新聯(lián)系的能力。

華裔科學(xué)家解碼，馬斯克腦機(jī)接口公司也會(huì)有新動(dòng)作

Nature這篇文章的作者之一是加州大學(xué)舊金山分校神經(jīng)外科教授Edward Chang博士。

Edward Chang博士的研究重點(diǎn)是言語(yǔ)、運(yùn)動(dòng)和人類情感的大腦機(jī)制，同時(shí)他也是加州大學(xué)舊金山分校和加州大學(xué)伯克利分校的合作單位——神經(jīng)工程與假肢中心的聯(lián)合負(fù)責(zé)人。該中心匯集了工程、神經(jīng)病學(xué)和神經(jīng)外科方面的專家，以開發(fā)最先進(jìn)的生物醫(yī)學(xué)技術(shù)，用以恢復(fù)神經(jīng)系統(tǒng)殘疾患者的功能，如癱瘓和言語(yǔ)障礙。

Edward Chang博士表示，這次在Nature上的研究，“我們通過(guò)解碼大腦活動(dòng)提升語(yǔ)音的清晰度，模擬的語(yǔ)音比從大腦中提取聲音表示的合成語(yǔ)音更準(zhǔn)確、更自然。”

人類將大腦與計(jì)算機(jī)相連的努力越來(lái)越多。

上個(gè)月，美國(guó)一組科學(xué)家在biorxiv.org上發(fā)表一篇論文，稱找到了快速將電線植入大鼠大腦的方法，論文中描述這個(gè)過(guò)程是“向人類大腦直接插入計(jì)算機(jī)潛在系統(tǒng)邁出的重要一步”。

研究人員將他們的系統(tǒng)稱為“縫紉機(jī)”（sewing machine），科學(xué)家在實(shí)驗(yàn)室中移除一塊老鼠的頭骨并插入一根針頭，將柔性電極送入老鼠的腦組織。

彭博新聞報(bào)道，這組科學(xué)家與馬斯克的腦機(jī)接口公司Neuralink有各種松散關(guān)聯(lián)。

Neuralink于2016年注冊(cè)為加州的一家醫(yī)學(xué)研究公司，該公司聘請(qǐng)了來(lái)自不同大學(xué)的幾位知名神經(jīng)科學(xué)家，并與加州大學(xué)戴維斯分校的實(shí)驗(yàn)室簽約，對(duì)靈長(zhǎng)類動(dòng)物進(jìn)行研究。

本周三，當(dāng)Twitter用戶詢問(wèn)Neurink的進(jìn)展時(shí)，馬斯克說(shuō)，“可能會(huì)在幾個(gè)月內(nèi)宣布一些值得注意的事情。”

馬斯克認(rèn)為，腦機(jī)接口技術(shù)能在2021年之前治療嚴(yán)重的腦損傷。此外，科學(xué)可以通過(guò)腦機(jī)接口擴(kuò)大人類的能力。他舉了一個(gè)例子：人們可以通過(guò)心靈感應(yīng)來(lái)傳達(dá)復(fù)雜的概念，“你不需要用語(yǔ)言表達(dá)”。

人類是否有一天會(huì)與機(jī)器合并？馬斯克認(rèn)為，人類已經(jīng)在某種程度上做到了這一點(diǎn)，因?yàn)?a href="http://www.wenjunhu.com/v/tag/11230/" target="_blank">智能手機(jī)等近乎無(wú)所不在的技術(shù)，因此腦機(jī)接口這項(xiàng)工作應(yīng)該繼續(xù)下去。

這可能會(huì)導(dǎo)致科幻未來(lái)，因?yàn)槿藗兛梢栽谀X海中下載外語(yǔ)，你覺(jué)得呢？