一種神經(jīng)解碼器，采用循環(huán)神經(jīng)網(wǎng)絡(luò)的方式將記錄的皮質(zhì)神經(jīng)信號

2019 年 4 月 24 日，來自加州大學(xué)舊金山分校（UCSF）神經(jīng)外科學(xué)系 Gopala K. Anumanchipalli，Josh Chartier，Edward F. Chang 團隊在 Nature 雜志上發(fā)表了題為 “Speech synthesis from neural decoding of spoken sentences” 的論文，引起了不少人士的關(guān)注。

據(jù)悉，研究人員設(shè)計一種神經(jīng)解碼器，采用循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network,RNN）的方式將記錄的皮質(zhì)神經(jīng)信號，然后編碼咬合關(guān)節(jié)運動的表征，以合成可聽語音。

也就是說，嚴(yán)重癱瘓的病患可以使用基于該技術(shù)的產(chǎn)品通過大腦皮層活動更有效地向任何人發(fā)送文字信息?？梢韵胂螅翊饲笆芗∥s側(cè)索硬化ALS病癥多年折磨的著名物理學(xué)家史蒂芬 · 霍金（Stephen Hawking）一定也非常樂意看到深度學(xué)習(xí)技術(shù)能夠應(yīng)用于臨床醫(yī)學(xué)上的突破。

隨后，谷歌大腦 Jeff Dean 通過 Twitter 轉(zhuǎn)發(fā)了這條消息，并贊嘆該項研究成果，“非?？?！可以直接從神經(jīng)活動中快速產(chǎn)生語音?！?/p>

實際上，他們在 2018 年 11 月 29 日以名為 “Intelligible speech synthesis from neural decoding of spoken sentences” 的論文就已經(jīng)得到了公開。只不過，那時還是預(yù)印本，還未經(jīng)過同級評審。

我們先來回顧下最新論文的主要內(nèi)容。

摘要：將大腦神經(jīng)活動轉(zhuǎn)換成語音的技術(shù)，對于因神經(jīng)損傷而無法正常溝通的人類來說將具有變革意義。從技術(shù)上來講，從神經(jīng)活動中解碼語音是非常具有挑戰(zhàn)性的，因為說話需要對聲道的咬合結(jié)構(gòu)進(jìn)行非常精確和快速的多維控制。通過設(shè)計一種神經(jīng)解碼器，明確地利用人類皮層活動中編碼的運動和聲音表征來合成可聽語音。

循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）將記錄的皮質(zhì)神經(jīng)信號直接解碼為咬合關(guān)節(jié)運動的表征，然后將這些表征再轉(zhuǎn)換為語音。在封閉的詞匯測試中，聽眾可以很容易地識別和轉(zhuǎn)錄皮層活動從而合成語音。即便數(shù)據(jù)有限，中間關(guān)節(jié)運動（Intermediate articulatory dynamics ）也能提高性能。

經(jīng)過解碼的語音表征非常保守，使得解碼器的一個組件可跨不同受試者進(jìn)行轉(zhuǎn)換。此外，當(dāng)受試者靜默地模仿句子時，解碼器可以合成語音。

以上這些發(fā)現(xiàn)提高了使用語音神經(jīng)假體技術(shù)以恢復(fù)人類口語交流的臨床可行性。

▌研究過程

許多患者是依靠通信設(shè)備來轉(zhuǎn)錄頭部、眼睛或者直接的大腦皮層活動中的信息，然后再控制光標(biāo)逐個選擇字幕來拼寫單詞。例如，患者此前使用的語音合成系統(tǒng)基本就是這樣的原理。雖然該系統(tǒng)顯著提高了患者的生活質(zhì)量，但多數(shù)用戶很難在一分鐘內(nèi)傳遞超過 10 個單詞，這一速度遠(yuǎn)低于自然語言中 150 詞 / 分鐘的平均速度。一個主要障礙就是如何克服當(dāng)前基于拼寫的方法限制，以實現(xiàn)更高效的溝通效率。

基于拼寫的方法最好的替代方式就直接進(jìn)行語音合成。因為拼寫是離散字母的連續(xù)串聯(lián)，而語音是由重疊的、多發(fā)聲器的聲道運動的流體產(chǎn)生的。為此，基于聲道運動及其產(chǎn)生的聲音模仿方法可能是實現(xiàn)自然語言的唯一高效溝通手段，并且還是可以保證用戶學(xué)習(xí)的最直觀手段。例如，患有麻痹癥（ALS 或腦干中風(fēng)）的患者，高保真語音控制信號可僅通過使用大腦 - 計算機接口直接記錄完整皮質(zhì)網(wǎng)絡(luò)進(jìn)行訪問。

為了證明神經(jīng)語言假體的可行性，研究人員試圖將大腦信號轉(zhuǎn)換成可理解的正常說話人語速的合成語音。研究人員采用了一種叫做高密度腦皮層電圖（ECoG）的技術(shù)，讓 5 名患有癲癇病的患者大聲說出幾百個句子，直接記錄下受試者大腦皮層的神經(jīng)活動，并跟蹤控制語音和發(fā)生部位運動的大腦區(qū)域活動。

如圖所示，研究人員采用的解碼器方法可分為兩個階段：第一階段，雙向長期短期記憶（bLSTM）循環(huán)神經(jīng)網(wǎng)絡(luò)解碼來自聯(lián)系神經(jīng)活動的關(guān)節(jié)運動特征；第二階段，單獨的 bLSTM 解碼來自第一階段解碼出的關(guān)節(jié)特征的聲音特征，然后從解碼的聲音特征合成音頻信號。

訓(xùn)練解碼器有三種數(shù)據(jù)來源：ECoG 記錄、聲音以及關(guān)節(jié)運動。

ECoG，從每個電級的原始信號中提取高伽馬振幅包絡(luò)（70-200Hz）和低頻分量（1-30Hz）。如果它們位于關(guān)鍵皮質(zhì)區(qū)域，則選擇電極：腹側(cè)感覺運動皮層（ventral sensorimotor cortex，vSMC）、顳上回（superiortemporal gyrus，STG）或下額回（inferior frontal gyrus，IFG）。

聲音，由于不是典型的頻譜圖，研究人員使用了 25 個梅爾頻率倒頻譜系數(shù)（MFCC），5 個子帶聲音強度用于聲門激勵建模、音調(diào)和發(fā)聲（總共 32 個特征）。這些聲學(xué)參數(shù)是用于感知電管的聲音特征，同時最大化音頻重建的質(zhì)量。

關(guān)節(jié)運動表征，即存在于神經(jīng)活動和聲音之間的解碼器的一個關(guān)鍵組成部分。由于無法同步記錄神經(jīng)活動，研究人員采用了一種基于說話人的聲音 - 發(fā)聲（Acoustic-to-Articulatory）轉(zhuǎn)換統(tǒng)計方法，來測出受試者產(chǎn)生的語音信號對應(yīng)的聲道運動軌跡。研究人員還添加了額外的生理特征（如關(guān)節(jié)運動），并在語音自動解碼器中對值進(jìn)行了優(yōu)化，進(jìn)而推斷在語音產(chǎn)生期間聲道生理的完整中間關(guān)節(jié)運動表征。

根據(jù)這些特征，可以精確地重建語音頻譜圖。

▌張復(fù)倫本人

值得一提的是，該項研究成果之一的 Edward Chang（中文名：張復(fù)倫）還是名華裔神經(jīng)外科醫(yī)生，擅長治療成人癲癇、腦腫瘤等疾病，研究主要集中于語言、運動和情感的大腦機制。

最早在 2017 年，張復(fù)倫等人在 Science 雜志發(fā)表論文，闡述大腦皮層顳上回神經(jīng)元在語言中的重要性。

在 2011 年 5 月的美國新聞與世界報導(dǎo)對他的采訪中，張復(fù)倫就表示：“醫(yī)學(xué)界長期忽視神經(jīng)修復(fù)學(xué)，直到最近科技發(fā)展迅速才獲得重視。相信在未來的 5 到 10 年間，電腦科技對神經(jīng)性疾病患者，如柏金森氏癥和阿茲海默癥、癲癇等，將會有更多治療方式?！?/p>

據(jù)了解，張復(fù)倫來自典型的中國***移民家庭。他曾表示：“生命中有很多選擇的機會，成為神經(jīng)外科醫(yī)師是一連串的機遇，但父母的支持，讓他可以全神貫注鉆研神經(jīng)科學(xué)，達(dá)到今天的成就?！?/p>