腦機(jī)交互的概念及標(biāo)準(zhǔn)化的必要性，討論近年來(lái)腦機(jī)交互的發(fā)展?fàn)顩r

摘要：本文介紹腦機(jī)交互的概念及標(biāo)準(zhǔn)化的必要性，討論近年來(lái)腦機(jī)交互的發(fā)展?fàn)顩r，重點(diǎn)闡述國(guó)內(nèi)外植入式腦機(jī)接口的研究歷程，并從腦機(jī)交互系統(tǒng)角度提出了腦機(jī)交互標(biāo)準(zhǔn)化的思考，同時(shí)介紹在腦機(jī)交互計(jì)算標(biāo)準(zhǔn)化方面的相關(guān)實(shí)踐。

1 腦機(jī)交互概念及標(biāo)準(zhǔn)化

腦機(jī)接口(Brain-Machine Interface，BMI) 是指不依賴常規(guī)的脊髓/ 外周神經(jīng)肌肉系統(tǒng)，在腦與外部環(huán)境之間建立一種新型的信息交流與控制通道，實(shí)現(xiàn)腦與外部設(shè)備之間的直接交互[1]。

腦機(jī)接口涉及信息科學(xué)、認(rèn)知科學(xué)、材料科學(xué)和生命科學(xué)等領(lǐng)域，對(duì)人工智能、生物工程和神經(jīng)康復(fù)等產(chǎn)生了越來(lái)越重要的影響。通過(guò)腦機(jī)接口技術(shù)實(shí)現(xiàn)腦與外部設(shè)備的交互，則稱為腦機(jī)交互。腦機(jī)交互是全新的人機(jī)交互方式，有望推動(dòng)對(duì)大腦的更深入研究，并促進(jìn)大腦智能和外部機(jī)器智能的融合增強(qiáng)( 混合智能)，具有重大研究?jī)r(jià)值和應(yīng)用前景。腦機(jī)交互中設(shè)備復(fù)雜、數(shù)據(jù)差異大、計(jì)算方法多樣化，對(duì)腦機(jī)交互系統(tǒng)關(guān)鍵步驟進(jìn)行標(biāo)準(zhǔn)化有助于規(guī)范腦機(jī)交互系統(tǒng)的構(gòu)建、降低本領(lǐng)域研究的門檻，切實(shí)推動(dòng)腦機(jī)交互的發(fā)展。

2 腦機(jī)交互的最新研究現(xiàn)狀

根據(jù)獲取腦信號(hào)方式的不同，可以將腦機(jī)接口分為植入式和非植入式兩種。非植入式腦機(jī)接口直接從大腦外部獲取腦信號(hào)，所記錄的腦信號(hào)信息量較小、時(shí)間分辨率比較低，只能用來(lái)執(zhí)行簡(jiǎn)單的操作控制，比如撥打電話、輪椅控制、運(yùn)動(dòng)假肢控制、打字等[2]。植入式腦機(jī)接口通常通過(guò)在大腦中植入芯片以獲取腦信號(hào)，相對(duì)于非植入式信號(hào)，植入式腦信號(hào)在時(shí)間和空間分辨率更高，記錄的信息量更加豐富，可以實(shí)現(xiàn)更復(fù)雜的控制。

2.1 非植入式腦機(jī)接口

非植入式的裝置很方便佩戴于人體，但需要突破顱骨對(duì)信號(hào)的衰減作用和對(duì)神經(jīng)元發(fā)出的電磁波的分散和模糊效應(yīng)。典型的非植入式腦機(jī)接口采用的信號(hào)包括EEG 和P300 信號(hào)[3]。EEG 信號(hào)有著良好的時(shí)間分辨率，采集設(shè)備易用、便攜，價(jià)格相對(duì)低廉。

這方面研究的一個(gè)典型例子是德國(guó)圖賓根大學(xué)的Niels Birbaurmer 于1990 年進(jìn)行的項(xiàng)目，該項(xiàng)目利用癱瘓病人的腦電圖信號(hào)使其能夠控制電腦光標(biāo)，經(jīng)過(guò)訓(xùn)練，十位癱瘓病人能夠成功地用腦電圖控制光標(biāo)[4]?；赑300 的非植入式腦機(jī)接口典型例子是美國(guó)羅切斯特大學(xué)的Jessica Bayliss 的一項(xiàng)研究，受試者可以通過(guò)P300 信號(hào)控制虛擬現(xiàn)實(shí)場(chǎng)景中的一些物體，例如開關(guān)燈或者操縱虛擬轎車等[5]。

由于非植入信號(hào)的無(wú)創(chuàng)性，產(chǎn)業(yè)界也踴躍開發(fā)非植入式腦機(jī)接口應(yīng)用系統(tǒng)，如圖1 是日本本田公司生產(chǎn)的意念控制機(jī)器人，操作者可以想象自己的肢體運(yùn)動(dòng)來(lái)控制身邊機(jī)器人進(jìn)行相應(yīng)的動(dòng)作。近年來(lái)，國(guó)內(nèi)清華大學(xué)、華南理工大學(xué)、電子科技大學(xué)、上海交通大學(xué)、浙江大學(xué)等均成立課題組投入非植入式腦機(jī)接口研究，并取得了一系列重要進(jìn)展。

提取神經(jīng)信號(hào)建立植入式腦機(jī)接口系統(tǒng)。Nicolelis 領(lǐng)導(dǎo)的研究小組采集了夜猴運(yùn)動(dòng)皮層神經(jīng)電信號(hào)，對(duì)神經(jīng)信號(hào)進(jìn)行解碼對(duì)遠(yuǎn)程機(jī)器臂進(jìn)行實(shí)時(shí)控制( 開環(huán)控制)，成功實(shí)現(xiàn)了“Monkey Think Robot Do”的神奇演示[6]。此后，Nicolelis 小組又成功開發(fā)了閉環(huán)機(jī)器臂控制腦機(jī)接口系統(tǒng)。同時(shí)，美國(guó)Pittsburgh 大學(xué) Schwartz 實(shí)驗(yàn)室研究人員將微電極植入運(yùn)動(dòng)受限的猴子運(yùn)動(dòng)神經(jīng)皮層，獲取運(yùn)動(dòng)相關(guān)的神經(jīng)電活動(dòng)，并訓(xùn)練猴子利用思維活動(dòng)控制機(jī)器臂( 圖2) [7]。

2006年，美國(guó)布朗大學(xué)在癱瘓病人上實(shí)現(xiàn)腦電控制假肢[8]，這是腦機(jī)接口的首次臨床應(yīng)用，具有里程碑的意義。Donohue 教授領(lǐng)導(dǎo)的研究人員在人腦中植入了芯片，直接控制電腦的光標(biāo)，并用電腦控制其他設(shè)備。其他在植入式腦機(jī)接口方面取得比較成功的實(shí)驗(yàn)包括：2012 年，美國(guó)西北大學(xué)Miller教授實(shí)現(xiàn)了功能性電刺激控制癱瘓肌肉[10]；2012年，美國(guó)匹茲堡大學(xué)實(shí)現(xiàn)人腦ECoG 信號(hào)控制機(jī)械手[11] 等。

圖1 日本本田公司生產(chǎn)的用意念控制的機(jī)器人

圖2 猴子腦思維控制機(jī)器臂進(jìn)食

2.2 植入式腦機(jī)接口

植入式腦機(jī)接口能直接獲取大腦皮層的神經(jīng)集群信號(hào)，信息量大、時(shí)空分辨率高，鋒電位(Spike)信號(hào)解碼能夠?qū)崿F(xiàn)對(duì)外部設(shè)備多自由度的實(shí)時(shí)、精確控制。自本世紀(jì)以來(lái)，Nature 和Science 等報(bào)道了一系列侵入式腦機(jī)接口的重大研究成果[6-8, 10-11]，相關(guān)研究促進(jìn)了人們對(duì)神經(jīng)系統(tǒng)的認(rèn)識(shí)，建立了大量復(fù)雜信息處理方法，極大地推動(dòng)了神經(jīng)、信息與認(rèn)知等學(xué)科的發(fā)展。

典型的植入式腦機(jī)接口系統(tǒng)包括：2000 年，杜克大學(xué)的Miguel 和Nicolelis 用在大腦皮層植入電極，2005 年以后，我國(guó)植入式腦機(jī)接口研究取得了重要的進(jìn)展，尤其是浙江大學(xué)求是高等研究院鄭筱祥教授領(lǐng)導(dǎo)的團(tuán)隊(duì)，已經(jīng)成功在非人類靈長(zhǎng)類動(dòng)物上建立了腦機(jī)接口系統(tǒng)，實(shí)現(xiàn)了利用腦電信號(hào)對(duì)機(jī)械假肢的實(shí)時(shí)控制。猴子可以通過(guò)意念直接控制機(jī)械手完成抓、勾、握、捏四種不同的抓握手勢(shì)，正確率達(dá)到85% 以上[12]。

3 腦機(jī)交互標(biāo)準(zhǔn)化思考及實(shí)踐

3.1 腦機(jī)交互標(biāo)準(zhǔn)化思考

完整的腦機(jī)交互系統(tǒng)包括神經(jīng)信號(hào)的采集、實(shí)驗(yàn)的范式設(shè)計(jì)、神經(jīng)信號(hào)的解碼、智能機(jī)器的控制等。當(dāng)前，腦機(jī)交互系統(tǒng)在以上關(guān)鍵四步驟均存在很大的差異性，導(dǎo)致構(gòu)建腦機(jī)接口和交互系統(tǒng)過(guò)程復(fù)雜、系統(tǒng)性能評(píng)估困難、難以推廣。

考慮在腦機(jī)交互系統(tǒng)中提煉共性部分，建立交互標(biāo)準(zhǔn)具有重要意義，其中：神經(jīng)信號(hào)的采集涉及到采集腦神經(jīng)信號(hào)的設(shè)備標(biāo)準(zhǔn)以及所采集信號(hào)數(shù)據(jù)的表征標(biāo)準(zhǔn)；信號(hào)的解碼涉及預(yù)處理、訓(xùn)練、測(cè)試等步驟，對(duì)應(yīng)著解碼算法的輸入標(biāo)準(zhǔn)和解碼算法標(biāo)準(zhǔn)；智能機(jī)器的控制涉及控制輸入數(shù)據(jù)標(biāo)準(zhǔn)以及控制的設(shè)備和控制接口標(biāo)準(zhǔn)等。

具體應(yīng)考慮以下標(biāo)準(zhǔn)化重點(diǎn) [2]：

(1) 神經(jīng)信號(hào)的采集設(shè)備標(biāo)準(zhǔn)。主要指采集spike、ECog、LFP 等腦電信號(hào)的植入式設(shè)備，需要根據(jù)所采集的不同信號(hào)對(duì)設(shè)備的材質(zhì)、安全性等建立統(tǒng)一的標(biāo)準(zhǔn)。

(2) 神經(jīng)信號(hào)的數(shù)據(jù)表示標(biāo)準(zhǔn)。由于不同信號(hào)的采集設(shè)備所采集的信號(hào)具有差異性，不同的實(shí)驗(yàn)人員對(duì)所采集的神經(jīng)信號(hào)進(jìn)行不同的信號(hào)預(yù)處理，所產(chǎn)生的神經(jīng)信號(hào)也具有差異性，這種差異性加大了評(píng)估解碼系統(tǒng)性能的難度。因此，神經(jīng)信號(hào)的數(shù)據(jù)表示標(biāo)準(zhǔn)的制定顯得尤為重要。

(3) 實(shí)驗(yàn)范式標(biāo)準(zhǔn)。指實(shí)驗(yàn)對(duì)象在實(shí)驗(yàn)過(guò)程中所遵循的行為規(guī)范模式，神經(jīng)信號(hào)的提取便是在實(shí)驗(yàn)對(duì)象進(jìn)行實(shí)驗(yàn)范式的過(guò)程中進(jìn)行的，通過(guò)規(guī)范實(shí)驗(yàn)范式，有利于規(guī)范神經(jīng)信號(hào)數(shù)據(jù)。

(4) 解碼算法標(biāo)準(zhǔn)。主要是解碼算法接口的標(biāo)準(zhǔn)化，這樣有利于提高腦機(jī)交互系統(tǒng)的可擴(kuò)展性，只需要按照標(biāo)準(zhǔn)的解碼算法接口設(shè)計(jì)，便可方便腦機(jī)交互系統(tǒng)加入新的解碼算法。

(5) 智能機(jī)器的控制接口標(biāo)準(zhǔn)。由于生產(chǎn)腦機(jī)交互的智能機(jī)器的硬件廠家很多，導(dǎo)致對(duì)智能機(jī)器的控制接口也錯(cuò)綜復(fù)雜，因此制定統(tǒng)一的智能機(jī)器控制接口標(biāo)準(zhǔn)更能方便腦機(jī)交互系統(tǒng)的開發(fā)。

(6) 反饋信息輸入標(biāo)準(zhǔn)。反饋信息的輸入是雙向腦機(jī)接口必須要解決的重點(diǎn)與難點(diǎn)，對(duì)信息輸入進(jìn)行標(biāo)準(zhǔn)化可以使得整個(gè)腦機(jī)交互系統(tǒng)更加穩(wěn)定。

(7) 多模態(tài)信息的表征標(biāo)準(zhǔn)。主要指視覺(jué)、聽覺(jué)、觸覺(jué)等感覺(jué)信息的表征，有利于信息反饋的輸入更加具有一致性。

3.2 腦機(jī)交互計(jì)算標(biāo)準(zhǔn)化實(shí)踐

針對(duì)以上腦機(jī)交互標(biāo)準(zhǔn)化的思考，浙江大學(xué)計(jì)算機(jī)學(xué)院腦機(jī)融合研究團(tuán)隊(duì)正著手設(shè)計(jì)腦機(jī)交互計(jì)算部分的標(biāo)準(zhǔn)化系統(tǒng)和標(biāo)準(zhǔn)化建議。當(dāng)前已有的腦機(jī)交互計(jì)算系統(tǒng)包括BCI2000、BCILab、OpenViBE、BioSig、FieldTrip 以及佛羅里達(dá)大學(xué)的DDDBMI 等。其中，BCI2000 是一個(gè)在線軟件平臺(tái)，以軟件套件的形式提供服務(wù)，具有數(shù)據(jù)采集，腦電信號(hào)處理、學(xué)習(xí)及反饋等功能。BCILab 則以Matlab 的工具箱的形式呈現(xiàn)給用戶，提供的服務(wù)包括：信號(hào)采集、特征提取、機(jī)器學(xué)習(xí)、BCI 范式、在線插件等。

OpenViBE 與BCI2000 類似，同樣以軟件套件的形式呈現(xiàn)，通過(guò)由用戶定制場(chǎng)景的方式提供BCI 信號(hào)的處理和可視化。BioSig 兼容各種主流平臺(tái)，提供了Matlab 與Octave 工具箱，也提供了C/C++、Python 等編程語(yǔ)言下的函數(shù)接口庫(kù)，專門提供生物醫(yī)學(xué)信號(hào)處理，涵蓋神經(jīng)、腦機(jī)、心血管等，可以用來(lái)進(jìn)行信號(hào)采集、處理、分類以及建模與可視化。DDDBMI 是最有代表性的腦機(jī)交互計(jì)算平臺(tái)，其目標(biāo)是設(shè)計(jì)一個(gè)自適應(yīng)的中間件與工作站，能夠管理實(shí)驗(yàn)信號(hào)采集、閉環(huán)機(jī)器學(xué)習(xí)、數(shù)據(jù)分析、在線解碼等所有與其相關(guān)的工作。

DDDBMI 已開發(fā)了部分中間件功能模塊，其服務(wù)包括提供實(shí)時(shí)操作的閉環(huán)機(jī)器學(xué)習(xí)系統(tǒng)。目前，DDDBMI 已開發(fā)了一個(gè)支持在線/ 離線實(shí)驗(yàn)的工作站，內(nèi)含一個(gè)分布式計(jì)算系統(tǒng)，方便遠(yuǎn)程和本地用戶參與的在線和離線實(shí)驗(yàn)計(jì)算根據(jù)需求動(dòng)態(tài)分配資源。

現(xiàn)有的腦機(jī)交互計(jì)算系統(tǒng)存在以下不足：絕大多數(shù)系統(tǒng)僅針對(duì)1-2 類數(shù)據(jù)來(lái)實(shí)現(xiàn)相關(guān)的信號(hào)處理算法，可擴(kuò)展性、可配置性較差。

因此，設(shè)計(jì)開發(fā)一個(gè)更普式的腦機(jī)交互計(jì)算標(biāo)準(zhǔn)平臺(tái)十分必要，該系統(tǒng)解決以下問(wèn)題：

(1) 數(shù)據(jù)表示不統(tǒng)一、解碼算法設(shè)計(jì)不一致，導(dǎo)致無(wú)法對(duì)解碼算法性能進(jìn)行有效的對(duì)比；

(2) 實(shí)驗(yàn)范式設(shè)計(jì)復(fù)雜，負(fù)責(zé)設(shè)計(jì)與計(jì)算的通常不是同一個(gè)人，如何將范式的設(shè)計(jì)模塊獨(dú)立出來(lái)，以最大化不同人員的優(yōu)勢(shì)；

(3) 對(duì)于一些計(jì)算量較大的任務(wù)，應(yīng)該考慮使用分布式架構(gòu)。

為此，我們?cè)O(shè)計(jì)了一個(gè)統(tǒng)一數(shù)據(jù)表示方式、支持分布式計(jì)算、支持算法組件可配置、支持算法組件可擴(kuò)展、同時(shí)支持在/ 離線任務(wù)的腦機(jī)交互計(jì)算標(biāo)準(zhǔn)平臺(tái)。

圖3 顯示了腦機(jī)交互計(jì)算標(biāo)準(zhǔn)系統(tǒng)的架構(gòu)。

用戶可以使用拖拽的形式選擇數(shù)據(jù)輸入模塊、預(yù)處理模塊、算法訓(xùn)練模塊以及測(cè)試模塊等，然后配置相關(guān)實(shí)驗(yàn)參數(shù)，點(diǎn)擊執(zhí)行，計(jì)算系統(tǒng)便立刻自動(dòng)檢測(cè)相關(guān)模塊、數(shù)據(jù)依賴，將計(jì)算任務(wù)交給后臺(tái)進(jìn)行處理，對(duì)于離線任務(wù)可以進(jìn)行分布式以提高計(jì)算性能，同時(shí)實(shí)時(shí)將中間結(jié)果傳遞給前端界面以提供數(shù)據(jù)的可視化分析的功能。對(duì)于需要擴(kuò)展的算法，只需要按照所提供的算法模塊的接口進(jìn)行實(shí)現(xiàn)即可。