腦機交互的概念及標準化的必要性，討論近年來腦機交互的發(fā)展狀況

摘要：本文介紹腦機交互的概念及標準化的必要性，討論近年來腦機交互的發(fā)展狀況，重點闡述國內(nèi)外植入式腦機接口的研究歷程，并從腦機交互系統(tǒng)角度提出了腦機交互標準化的思考，同時介紹在腦機交互計算標準化方面的相關(guān)實踐。

1 腦機交互概念及標準化

腦機接口(Brain-Machine Interface，BMI) 是指不依賴常規(guī)的脊髓/ 外周神經(jīng)肌肉系統(tǒng)，在腦與外部環(huán)境之間建立一種新型的信息交流與控制通道，實現(xiàn)腦與外部設(shè)備之間的直接交互[1]。

腦機接口涉及信息科學、認知科學、材料科學和生命科學等領(lǐng)域，對人工智能、生物工程和神經(jīng)康復等產(chǎn)生了越來越重要的影響。通過腦機接口技術(shù)實現(xiàn)腦與外部設(shè)備的交互，則稱為腦機交互。腦機交互是全新的人機交互方式，有望推動對大腦的更深入研究，并促進大腦智能和外部機器智能的融合增強( 混合智能)，具有重大研究價值和應用前景。腦機交互中設(shè)備復雜、數(shù)據(jù)差異大、計算方法多樣化，對腦機交互系統(tǒng)關(guān)鍵步驟進行標準化有助于規(guī)范腦機交互系統(tǒng)的構(gòu)建、降低本領(lǐng)域研究的門檻，切實推動腦機交互的發(fā)展。

2 腦機交互的最新研究現(xiàn)狀

根據(jù)獲取腦信號方式的不同，可以將腦機接口分為植入式和非植入式兩種。非植入式腦機接口直接從大腦外部獲取腦信號，所記錄的腦信號信息量較小、時間分辨率比較低，只能用來執(zhí)行簡單的操作控制，比如撥打電話、輪椅控制、運動假肢控制、打字等[2]。植入式腦機接口通常通過在大腦中植入芯片以獲取腦信號，相對于非植入式信號，植入式腦信號在時間和空間分辨率更高，記錄的信息量更加豐富，可以實現(xiàn)更復雜的控制。

2.1 非植入式腦機接口

非植入式的裝置很方便佩戴于人體，但需要突破顱骨對信號的衰減作用和對神經(jīng)元發(fā)出的電磁波的分散和模糊效應。典型的非植入式腦機接口采用的信號包括EEG 和P300 信號[3]。EEG 信號有著良好的時間分辨率，采集設(shè)備易用、便攜，價格相對低廉。

這方面研究的一個典型例子是德國圖賓根大學的Niels Birbaurmer 于1990 年進行的項目，該項目利用癱瘓病人的腦電圖信號使其能夠控制電腦光標，經(jīng)過訓練，十位癱瘓病人能夠成功地用腦電圖控制光標[4]?；赑300 的非植入式腦機接口典型例子是美國羅切斯特大學的Jessica Bayliss 的一項研究，受試者可以通過P300 信號控制虛擬現(xiàn)實場景中的一些物體，例如開關(guān)燈或者操縱虛擬轎車等[5]。

由于非植入信號的無創(chuàng)性，產(chǎn)業(yè)界也踴躍開發(fā)非植入式腦機接口應用系統(tǒng)，如圖1 是日本本田公司生產(chǎn)的意念控制機器人，操作者可以想象自己的肢體運動來控制身邊機器人進行相應的動作。近年來，國內(nèi)清華大學、華南理工大學、電子科技大學、上海交通大學、浙江大學等均成立課題組投入非植入式腦機接口研究，并取得了一系列重要進展。

提取神經(jīng)信號建立植入式腦機接口系統(tǒng)。Nicolelis 領(lǐng)導的研究小組采集了夜猴運動皮層神經(jīng)電信號，對神經(jīng)信號進行解碼對遠程機器臂進行實時控制( 開環(huán)控制)，成功實現(xiàn)了“Monkey Think Robot Do”的神奇演示[6]。此后，Nicolelis 小組又成功開發(fā)了閉環(huán)機器臂控制腦機接口系統(tǒng)。同時，美國Pittsburgh 大學 Schwartz 實驗室研究人員將微電極植入運動受限的猴子運動神經(jīng)皮層，獲取運動相關(guān)的神經(jīng)電活動，并訓練猴子利用思維活動控制機器臂( 圖2) [7]。

2006年，美國布朗大學在癱瘓病人上實現(xiàn)腦電控制假肢[8]，這是腦機接口的首次臨床應用，具有里程碑的意義。Donohue 教授領(lǐng)導的研究人員在人腦中植入了芯片，直接控制電腦的光標，并用電腦控制其他設(shè)備。其他在植入式腦機接口方面取得比較成功的實驗包括：2012 年，美國西北大學Miller教授實現(xiàn)了功能性電刺激控制癱瘓肌肉[10]；2012年，美國匹茲堡大學實現(xiàn)人腦ECoG 信號控制機械手[11] 等。

圖1 日本本田公司生產(chǎn)的用意念控制的機器人

圖2 猴子腦思維控制機器臂進食

2.2 植入式腦機接口

植入式腦機接口能直接獲取大腦皮層的神經(jīng)集群信號，信息量大、時空分辨率高，鋒電位(Spike)信號解碼能夠?qū)崿F(xiàn)對外部設(shè)備多自由度的實時、精確控制。自本世紀以來，Nature 和Science 等報道了一系列侵入式腦機接口的重大研究成果[6-8, 10-11]，相關(guān)研究促進了人們對神經(jīng)系統(tǒng)的認識，建立了大量復雜信息處理方法，極大地推動了神經(jīng)、信息與認知等學科的發(fā)展。

典型的植入式腦機接口系統(tǒng)包括：2000 年，杜克大學的Miguel 和Nicolelis 用在大腦皮層植入電極，2005 年以后，我國植入式腦機接口研究取得了重要的進展，尤其是浙江大學求是高等研究院鄭筱祥教授領(lǐng)導的團隊，已經(jīng)成功在非人類靈長類動物上建立了腦機接口系統(tǒng)，實現(xiàn)了利用腦電信號對機械假肢的實時控制。猴子可以通過意念直接控制機械手完成抓、勾、握、捏四種不同的抓握手勢，正確率達到85% 以上[12]。

3 腦機交互標準化思考及實踐

3.1 腦機交互標準化思考

完整的腦機交互系統(tǒng)包括神經(jīng)信號的采集、實驗的范式設(shè)計、神經(jīng)信號的解碼、智能機器的控制等。當前，腦機交互系統(tǒng)在以上關(guān)鍵四步驟均存在很大的差異性，導致構(gòu)建腦機接口和交互系統(tǒng)過程復雜、系統(tǒng)性能評估困難、難以推廣。

考慮在腦機交互系統(tǒng)中提煉共性部分，建立交互標準具有重要意義，其中：神經(jīng)信號的采集涉及到采集腦神經(jīng)信號的設(shè)備標準以及所采集信號數(shù)據(jù)的表征標準；信號的解碼涉及預處理、訓練、測試等步驟，對應著解碼算法的輸入標準和解碼算法標準；智能機器的控制涉及控制輸入數(shù)據(jù)標準以及控制的設(shè)備和控制接口標準等。

具體應考慮以下標準化重點 [2]：

(1) 神經(jīng)信號的采集設(shè)備標準。主要指采集spike、ECog、LFP 等腦電信號的植入式設(shè)備，需要根據(jù)所采集的不同信號對設(shè)備的材質(zhì)、安全性等建立統(tǒng)一的標準。

(2) 神經(jīng)信號的數(shù)據(jù)表示標準。由于不同信號的采集設(shè)備所采集的信號具有差異性，不同的實驗人員對所采集的神經(jīng)信號進行不同的信號預處理，所產(chǎn)生的神經(jīng)信號也具有差異性，這種差異性加大了評估解碼系統(tǒng)性能的難度。因此，神經(jīng)信號的數(shù)據(jù)表示標準的制定顯得尤為重要。

(3) 實驗范式標準。指實驗對象在實驗過程中所遵循的行為規(guī)范模式，神經(jīng)信號的提取便是在實驗對象進行實驗范式的過程中進行的，通過規(guī)范實驗范式，有利于規(guī)范神經(jīng)信號數(shù)據(jù)。

(4) 解碼算法標準。主要是解碼算法接口的標準化，這樣有利于提高腦機交互系統(tǒng)的可擴展性，只需要按照標準的解碼算法接口設(shè)計，便可方便腦機交互系統(tǒng)加入新的解碼算法。

(5) 智能機器的控制接口標準。由于生產(chǎn)腦機交互的智能機器的硬件廠家很多，導致對智能機器的控制接口也錯綜復雜，因此制定統(tǒng)一的智能機器控制接口標準更能方便腦機交互系統(tǒng)的開發(fā)。

(6) 反饋信息輸入標準。反饋信息的輸入是雙向腦機接口必須要解決的重點與難點，對信息輸入進行標準化可以使得整個腦機交互系統(tǒng)更加穩(wěn)定。

(7) 多模態(tài)信息的表征標準。主要指視覺、聽覺、觸覺等感覺信息的表征，有利于信息反饋的輸入更加具有一致性。

3.2 腦機交互計算標準化實踐

針對以上腦機交互標準化的思考，浙江大學計算機學院腦機融合研究團隊正著手設(shè)計腦機交互計算部分的標準化系統(tǒng)和標準化建議。當前已有的腦機交互計算系統(tǒng)包括BCI2000、BCILab、OpenViBE、BioSig、FieldTrip 以及佛羅里達大學的DDDBMI 等。其中，BCI2000 是一個在線軟件平臺，以軟件套件的形式提供服務(wù)，具有數(shù)據(jù)采集，腦電信號處理、學習及反饋等功能。BCILab 則以Matlab 的工具箱的形式呈現(xiàn)給用戶，提供的服務(wù)包括：信號采集、特征提取、機器學習、BCI 范式、在線插件等。

OpenViBE 與BCI2000 類似，同樣以軟件套件的形式呈現(xiàn)，通過由用戶定制場景的方式提供BCI 信號的處理和可視化。BioSig 兼容各種主流平臺，提供了Matlab 與Octave 工具箱，也提供了C/C++、Python 等編程語言下的函數(shù)接口庫，專門提供生物醫(yī)學信號處理，涵蓋神經(jīng)、腦機、心血管等，可以用來進行信號采集、處理、分類以及建模與可視化。DDDBMI 是最有代表性的腦機交互計算平臺，其目標是設(shè)計一個自適應的中間件與工作站，能夠管理實驗信號采集、閉環(huán)機器學習、數(shù)據(jù)分析、在線解碼等所有與其相關(guān)的工作。

DDDBMI 已開發(fā)了部分中間件功能模塊，其服務(wù)包括提供實時操作的閉環(huán)機器學習系統(tǒng)。目前，DDDBMI 已開發(fā)了一個支持在線/ 離線實驗的工作站，內(nèi)含一個分布式計算系統(tǒng)，方便遠程和本地用戶參與的在線和離線實驗計算根據(jù)需求動態(tài)分配資源。

現(xiàn)有的腦機交互計算系統(tǒng)存在以下不足：絕大多數(shù)系統(tǒng)僅針對1-2 類數(shù)據(jù)來實現(xiàn)相關(guān)的信號處理算法，可擴展性、可配置性較差。

因此，設(shè)計開發(fā)一個更普式的腦機交互計算標準平臺十分必要，該系統(tǒng)解決以下問題：

(1) 數(shù)據(jù)表示不統(tǒng)一、解碼算法設(shè)計不一致，導致無法對解碼算法性能進行有效的對比；

(2) 實驗范式設(shè)計復雜，負責設(shè)計與計算的通常不是同一個人，如何將范式的設(shè)計模塊獨立出來，以最大化不同人員的優(yōu)勢；

(3) 對于一些計算量較大的任務(wù)，應該考慮使用分布式架構(gòu)。

為此，我們設(shè)計了一個統(tǒng)一數(shù)據(jù)表示方式、支持分布式計算、支持算法組件可配置、支持算法組件可擴展、同時支持在/ 離線任務(wù)的腦機交互計算標準平臺。

圖3 顯示了腦機交互計算標準系統(tǒng)的架構(gòu)。

用戶可以使用拖拽的形式選擇數(shù)據(jù)輸入模塊、預處理模塊、算法訓練模塊以及測試模塊等，然后配置相關(guān)實驗參數(shù)，點擊執(zhí)行，計算系統(tǒng)便立刻自動檢測相關(guān)模塊、數(shù)據(jù)依賴，將計算任務(wù)交給后臺進行處理，對于離線任務(wù)可以進行分布式以提高計算性能，同時實時將中間結(jié)果傳遞給前端界面以提供數(shù)據(jù)的可視化分析的功能。對于需要擴展的算法，只需要按照所提供的算法模塊的接口進行實現(xiàn)即可。