書寫藝術將腦機接口領域推向一個新的高度

老的書寫藝術將腦-機接口（BCI）領域推向了一個新的高度。研究人員設計了一個系統(tǒng)，通過想象創(chuàng)造手寫信息，一個人可以從大腦中直接與計算機通信。這種方法使交流的速度比以前通過大腦實驗打字的速度快一倍多。

斯坦福大學的研究人員對一名65歲的脊髓損傷患者進行了這項研究，該患者的大腦中植入了一個電極陣列?？茖W家們最近在《自然》雜志上描述了這項實驗。

密歇根大學生物醫(yī)學工程師Cynthia Cheste沒有參與這項研究，但她表示：“這篇論文的重大突破是它的速度非?？?。這至少是健全人的打字速度的一半，這就是為什么這篇論文可以發(fā)表在Nature上面?！?/p>

多年來，研究人員一直在試驗一種方法，使人們能夠直接與計算機溝通，只通過思想，而不是口頭命令，手的運動，或眼球運動。這種技術為那些因腦中風或疾病“被困”而不能說話的人提供了一種賦予生命的交流方式。

到目前為止，成功的腦機接口打字方法通常包括人們通過想象在數(shù)字鍵盤上移動光標來選擇字母。與此同時，電極記錄大腦活動，機器學習算法破譯與這些想法相關的模式，將它們翻譯成鍵入的單詞。以前的大腦打字實驗中，速度最快的一次實現(xiàn)了人們每分鐘打字40個字符，即8個單詞。

能做到這一點令人印象深刻，但在現(xiàn)實生活中，這種溝通的速度還是相當慢。斯坦福大學的研究人員通過一個解碼與筆跡相關的大腦活動的系統(tǒng)，能夠?qū)⑦@一速度提高一倍以上。在這個新系統(tǒng)中，癱瘓了大約10年的參與者可以想象他寫句子時手的動作來進行“打字”。斯坦福大學的研究人員Frank Willett參與了這項實驗。

植入受試者大腦運動皮層的微電極陣列記錄了他試圖寫字時單個神經(jīng)元的電活動。Willett表示：“受試者已經(jīng)十多年沒動過手，也沒試過寫字了，我們?nèi)匀辉O定了這些漂亮的神經(jīng)活動模式?！?/p>

在實驗中，一名受試者可以每分鐘輸入 90 個字符（即18個單詞），這是此前使用腦機接口打字紀錄的兩倍多，接近同齡健全人每分鐘 115 個字符的智能手機打字速度，而且在線原始準確率為 94.1%，離線自動校正的準確率超過 99%。

斯坦福大學的研究人員通過重新利用最初為語音識別開發(fā)的機器學習算法實現(xiàn)了這一壯舉。這種被稱為遞歸神經(jīng)網(wǎng)絡的深度學習算法，經(jīng)過幾個小時的訓練，可以識別參與者在想象英文手寫句子時的神經(jīng)活動。Willett說，神經(jīng)網(wǎng)絡通常被訓練成使用數(shù)萬小時的音頻數(shù)據(jù)和數(shù)百萬張圖像來識別語音和圖像。因此，筆跡實驗面臨的挑戰(zhàn)是在有限的數(shù)據(jù)量下實現(xiàn)高精度。

同時，Willett表示：“為了克服這個問題，研究小組采用了數(shù)據(jù)增強技術。我們只有機會收集大約100-500個不同的句子，我們可以讓參與者寫。所以我們把這些句子切碎成單獨的字母，重新排列成無數(shù)不同的句子，我們發(fā)現(xiàn)這確實有助于這些算法準確性的提高。”

研究人員發(fā)現(xiàn)，由于神經(jīng)活動的高峰和低谷因時間有所不同，可能由于書寫速度的波動，神經(jīng)活動似乎是強烈和可重復的。為了直觀地觀察筆跡嘗試過程中記錄的神經(jīng)活動，他們使用時間比對技術來消除時間變異性，這揭示了每個字符特有的顯著一致的神經(jīng)活動模式。

為了確定神經(jīng)活動是否編碼繪制了每個形狀所需的筆尖運動，研究人員通過從試驗平均神經(jīng)活動中線性解碼筆尖速度來重建每個字符，容易辨認的字母形狀證實了筆尖速度是可靠編碼的，代表筆尖速度的神經(jīng)維度占總神經(jīng)方差的 30%。

其次，研究人員采用非線性降維方法（t-SNE），對每個試驗的神經(jīng)活動進行二維（2D）可視化，在對受試者給出 “go” 的提示后記錄相關信息。

t-SNE 方法顯示了每個字符的神經(jīng)活動緊密簇和一種主導運動編碼，在這種編碼中，書寫相似的字符更接近，將近鄰分類器離線應用到神經(jīng)活動中，可以對字符進行分類，準確率為 94.1%。

于是，研究人員得出結論，即使在癱瘓多年后，運動皮層中筆跡的神經(jīng)表征可能仍足夠強大，可以通過腦機接口技術表達出來。研究人員經(jīng)對比分析，手寫字母可能比點對點運動更容易區(qū)分，因為手寫字母的神經(jīng)活動時空模式比直線運動更為多樣，而隨時間變化的運動模式，從根本上說比點對點運動更容易解碼。

雖然，當前的實驗結果證明了高性能 “手寫” 腦機接口是可能的，但它目前還不是一個完整的、臨床上的商用系統(tǒng)。接下來還有更多工作值得探索，比如進一步提高打字性能，擴展字符集、啟用文本編輯和刪除等操作。密歇根大學的Chestek表示：“實驗中提出的技術和算法適用于其他研究領域，例如將大腦連接到假手。不管這是否是最好的溝通方式，總體上來說，這種方法對于電機控制來說是很有前途的?！?/p>

目前的算法必須針對每個參與者進行培訓和定制。它們還必須隨著時間的推移重新校準，因為神經(jīng)元往往會隨著時間的推移而改變，電極陣列可能會稍微移動。Willett表示，下一步他希望減少初始訓練時間，并想出一種算法自動重新校準的方法。

原文標題：腦機接口打破以往打字速度紀錄

文章出處：【微信公眾號：IEEE電氣電子工程師】歡迎添加關注！文章轉(zhuǎn)載請注明出處。

責任編輯：haq