基于神經(jīng)網(wǎng)絡(luò)的計(jì)算模型，將大腦中的腦電數(shù)據(jù)轉(zhuǎn)化為語言

對于有語言障礙的人來說，內(nèi)心的表達(dá)只能通過紙筆或者是手語來與人溝通交流，但他們想說的話卻會(huì)在腦海里時(shí)時(shí)回蕩，如果能將這些腦中的信號(hào)轉(zhuǎn)換為語音發(fā)出，將會(huì)給他們帶來巨大的幫助。隨著科技的迅猛發(fā)展，新技術(shù)有可能會(huì)造福于這些失語人群。最近，有三個(gè)研究小組進(jìn)行了相關(guān)研究，他們使用基于神經(jīng)網(wǎng)絡(luò)的計(jì)算模型，將大腦中的腦電數(shù)據(jù)轉(zhuǎn)化為語言，并通過計(jì)算機(jī)合成出語音，重建了可被聽眾理解的單詞和句子。

傳統(tǒng)語音轉(zhuǎn)換

雖然目前已有基于默讀時(shí)的肌肉信號(hào)來進(jìn)行語音合成技術(shù)的初步研究，但這種方式更多是幫助人們在不方便說話的時(shí)候與計(jì)算機(jī)或者其他人交流。

對于語音障礙人士特別是先天障礙，這種方式無法通過通常的肌肉信號(hào)來捕捉并合成出對應(yīng)的語音。如有有朝一日，新技術(shù)可以僅僅基于人們的思維過程而重建出人們腦中想表達(dá)的語言，將會(huì)造福更多的人。在中風(fēng)或疾病之后失去說話能力的人可以使用眼動(dòng)跟蹤、聯(lián)想輸入和語音合成播放三個(gè)步驟達(dá)到重新表達(dá)的目的。 霍金的個(gè)人助理設(shè)備就是觀測無法通過收縮他臉頰上的某塊肌肉，來觸發(fā)安裝在眼鏡上的開關(guān)，從而輸入文字向世界傳達(dá)他的觀點(diǎn)和見解，但是他每分鐘僅可以輸入5-15個(gè)單詞，無法像正常人一樣流暢的表達(dá)自己的觀點(diǎn)，思維受制于設(shè)備的速度。試想，如果霍金可以像馬斯克或者老黃一樣流暢的發(fā)表自己的演講，不用花大量的時(shí)間用于輸出單詞，那么他很可能會(huì)為世界帶來更多的巨大的貢獻(xiàn)。

如果未來可以通過腦機(jī)接口來重構(gòu)他們的語言系統(tǒng)，那將會(huì)為霍金一樣的使用者帶來巨大的幫助,他們不僅可以表達(dá)想說的話，還可以控制說話的音調(diào)，表達(dá)的速度也會(huì)大幅提升，使得殘障人士實(shí)時(shí)對話和有效的表達(dá)成為可能。

已有的突破

前途是光明的，道路是曲折的。最先遇到的問題在于數(shù)據(jù)采集和數(shù)據(jù)量的限制。在不同個(gè)體之間，腦電信號(hào)轉(zhuǎn)化為語音的過程存在一定的差異性，因此必須對每個(gè)人（的個(gè)性化數(shù)據(jù)）進(jìn)行“訓(xùn)練”。

而且眾所周知：使用的數(shù)據(jù)越精確，模型的運(yùn)行效果就越好，但是精準(zhǔn)的模型需要開顱手術(shù)后才能獲得，這樣嚴(yán)苛的條件大大限制了數(shù)據(jù)的獲取，研究人員只能在極少數(shù)的情況下進(jìn)行。一種情況是在移除腦腫瘤的手術(shù)期間，另一種情況是在癲癇患者腦內(nèi)植入電極，來診斷癲癇發(fā)作的起因。但是，每次留給研究者們的數(shù)據(jù)收集最多只有二三十分鐘。數(shù)據(jù)量非常有限。

研究人員目前正在致力于尋找出可替代的有效的數(shù)據(jù)獲取方式。其中一部分研究人員利用聽覺區(qū)域的植入電極來獲取大腦的信號(hào)，并試圖找出在不同時(shí)間點(diǎn)的神經(jīng)元模型推斷出對應(yīng)的語音。神經(jīng)網(wǎng)絡(luò)的計(jì)算模型過將信息傳遞到計(jì)算“節(jié)點(diǎn)”層來處理復(fù)雜模式。網(wǎng)絡(luò)通過調(diào)整節(jié)點(diǎn)之間的連接來學(xué)習(xí)。

在實(shí)驗(yàn)中研究人員使用了兩種回歸模型一種用于生產(chǎn)聽覺頻譜，一種用于生成聲音信息的向量編碼。網(wǎng)絡(luò)的監(jiān)督信號(hào)和輸入信息分別是一個(gè)人產(chǎn)生或聽到的語音記錄和同時(shí)期的大腦活動(dòng)數(shù)據(jù)中。一個(gè)團(tuán)隊(duì)使用了來自五名癲癇患者的數(shù)據(jù)。他們的網(wǎng)絡(luò)分析了當(dāng)病人聽到了故事和從0到9的數(shù)字的錄音時(shí)聽覺皮層（在語音和聽力過程中都很活躍）的活動(dòng)狀況，然后利用計(jì)算機(jī)，以采集到的神經(jīng)數(shù)據(jù)為依據(jù)，重建口述的數(shù)字。合成后的語音，準(zhǔn)確率達(dá)到了75％。

另外一支由德國不來梅大學(xué)的神經(jīng)科學(xué)家和荷蘭馬斯特里赫特大學(xué)的學(xué)者組成的團(tuán)隊(duì)，他們使用來源于六名接受腦瘤手術(shù)患者的數(shù)據(jù)。首先，患者被要求重復(fù)屏幕上出現(xiàn)的詞語，同時(shí)通過麥克風(fēng)來捕捉音頻信息。同時(shí)研究者們還需捕捉從大腦的語音規(guī)劃區(qū)域和運(yùn)動(dòng)區(qū)域獲取的信號(hào)，這些信號(hào)向聲道發(fā)送命令，并使得人們能清楚說出單詞。

最后，利用神經(jīng)網(wǎng)絡(luò)模型將腦電信號(hào)映射到音頻記錄，然后從數(shù)據(jù)中重建單詞。研究結(jié)果表明：大約40％的計(jì)算機(jī)生成的單詞是可以理解的。研究人員主要使用了下圖所示的densenet模型來實(shí)現(xiàn)電信號(hào)的音頻信號(hào)的重建：

此外自于加州大學(xué)舊金山分校的團(tuán)隊(duì)通過從語言和運(yùn)動(dòng)區(qū)域捕獲的大腦活動(dòng)來重建整個(gè)句子，他們所使用的數(shù)據(jù)采集于三名癲癇的患者大聲朗讀的過程中。為了驗(yàn)證重建句子的有效性，邀請了166名受試者進(jìn)行了在線測試。實(shí)驗(yàn)結(jié)果表明，對于某些句子，達(dá)到了超過80％的識(shí)別準(zhǔn)確率。

研究人員還進(jìn)一步改進(jìn)了模型：他們使用該模型來基于默念采集到的信息來重建句子。該研究使得人們基于腦中思維過程而重建出腦中想表達(dá)的內(nèi)容的目標(biāo)又更進(jìn)一步。

未來展望

未來，我們期望的是患者不用說話，僅僅通過腦中的思維過程來進(jìn)行語音合成。當(dāng)一個(gè)人默念和感知到某種語言時(shí)，大腦的反應(yīng)與真正說出和聽到聲音時(shí)的信號(hào)不同。如果沒有外部聲音來匹配大腦活動(dòng)，計(jì)算機(jī)甚至可能很難理清內(nèi)部語音的開始和結(jié)束位置。解碼”想象中的語言” 需要利用腦機(jī)接口向用戶提供反饋——他們能夠?qū)崟r(shí)聽到計(jì)算機(jī)的語音解釋，給出計(jì)算機(jī)反饋，以獲得他們想要的結(jié)果。通過對用戶和神經(jīng)網(wǎng)絡(luò)的充分訓(xùn)練，未來的某一天，大腦和計(jì)算機(jī)也許能找到更好的配合方法。