一種通過深度解碼步態(tài)和腦波的多模態(tài)生物識別系統(tǒng)

在電影《阿凡達(dá)》中，科學(xué)家制造出一個(gè)克隆 Na‘vi 人，并讓人類的意識進(jìn)駐其中，使其得以識別人類的腦波信號，人們利用自己的腦電波就可以完成對它的操縱。

在《碟中諜 5：神秘國度》電影中，Benji 必須通過一個(gè)檢驗(yàn)姿態(tài)的通道來驗(yàn)證身份，從而可以進(jìn)入配合 Ethan 的行動(dòng)。

這樣一系列的腦波與步態(tài)識別的電影場景既映照著人類對科技與未來的美好想象，也成為我們對科技的進(jìn)一步嘗試與探索的方向之一。

由新南威爾士大學(xué)副教授姚麗娜和學(xué)生張翔等人于近期發(fā)表在美國計(jì)算機(jī)學(xué)會(huì)智能系統(tǒng)與技術(shù)匯刊（ACM Transactions on Intelligent Systems and Technology）的論文《DeepKey： 一種通過深度解碼步態(tài)和腦波的多模態(tài)生物識別系統(tǒng)》（DeepKey： A Multimodal Biometric Authentication System via Deep Decoding Gaits and Brainwaves）進(jìn)一步為上述設(shè)想提供了實(shí)現(xiàn)可能性。

生物識別技術(shù)，是一種用人類生物特征進(jìn)行身份認(rèn)證的技術(shù)，這些生物特征通常具有唯一性的。而生物識別的認(rèn)證則包括利用個(gè)體獨(dú)特的、可測量的生理和行為特征識別個(gè)體的各種技術(shù)。

傳統(tǒng)的生物識別系統(tǒng)如人臉識別、虹膜、視網(wǎng)膜、聲音和指紋目前正在被廣泛應(yīng)用，但隨著反監(jiān)視面具、隱形眼鏡、聲碼器或指紋膜等技術(shù)的出現(xiàn)，人類被生物測量工具欺騙的風(fēng)險(xiǎn)也越來越高。

在此次研究中，姚麗娜團(tuán)隊(duì)獨(dú)具一格地設(shè)計(jì)了一個(gè)多模態(tài)生物識別系統(tǒng)，命名為 DeepKey。該系統(tǒng)能夠利用腦電圖（EEG） 和步態(tài)信號雙認(rèn)證系統(tǒng)進(jìn)行生物識別，以克服傳統(tǒng)的單模態(tài)生物認(rèn)證系統(tǒng)的局限性，更大程度地提高生物識別的準(zhǔn)確性和風(fēng)險(xiǎn)防范。

DeepKey 包含了兩個(gè)關(guān)鍵部分：一個(gè)是用于屏蔽未授權(quán)受試者的無效 ID 過濾模塊，一個(gè)是基于注意力的遞歸神經(jīng)網(wǎng)絡(luò)（RNN） 的識別模塊，用于并行識別受試者的腦電圖 ID 和步態(tài) ID。

只有當(dāng)使用者順利通過無效 ID 過濾模塊并且其腦電圖 ID 與步態(tài) ID 相匹配的時(shí)候，才會(huì)獲得通行權(quán)限。研究團(tuán)隊(duì)設(shè)計(jì)了一個(gè)包括基于注意力的 RNN 來檢測和分類多模態(tài)傳感器數(shù)據(jù)的框架，并對人們?nèi)绾瓮瑫r(shí)執(zhí)行步態(tài)和大腦活動(dòng)的巨大多樣性進(jìn)行解碼。

DeepKey—— 基于 MindID 的進(jìn)一步擴(kuò)展

先前，姚麗娜和張翔就提出了一種基于腦電圖的生物特征識別方法 ——MindID，以實(shí)現(xiàn)高精度和魯棒性能。

姚麗娜表示，“腦電波技術(shù)的分析以及應(yīng)用 （如腦機(jī)接口）一直以來都是比較活躍的領(lǐng)域。之前許多工作主要集中在通過腦電波識別人的意圖從而可以實(shí)現(xiàn)人腦與外部世界的直接交流，例如控制相關(guān)硬件比如打字鍵盤、機(jī)器人、輪椅等。這次的研究來自于我們最初的一些思考，即人的腦電波是否也有獨(dú)特性，并且獨(dú)特到可以區(qū)分不同的人，就像指紋和聲紋一樣，也有腦紋?！?/p>

圖 | 密鑰認(rèn)證系統(tǒng)的工作流程（來源：受訪者）

研究團(tuán)隊(duì)通過大量的數(shù)據(jù)分析確認(rèn)了腦電波對于每個(gè)人都有獨(dú)特性的假設(shè)，并將目前一些已有的識別技術(shù)從通用性、對攻擊的魯棒性、計(jì)算復(fù)雜度等 7 個(gè)不同的尺度與腦紋識別做對比，得出了一些比較優(yōu)勢。

比如，與傳統(tǒng)的生物識別技術(shù)相比，基于腦電波的識別具有一個(gè)巨大的優(yōu)點(diǎn)，即承載腦電波的電磁場是不可見的，腦電波是很難被復(fù)制和攻擊的，因此基于腦紋的 ID 識別具有非常高的安全性和抗攻擊性。

另外，腦電波有不同的波段，并分別承載不同的特征，例如 Delta 波段更多地反應(yīng)了人在深度睡眠狀態(tài)中的低意識狀態(tài)；Beta 波段更多地顯示了人的相對清醒及日常行為中的活躍狀態(tài)等。

經(jīng)過逐層分析和探究后，研究團(tuán)隊(duì)提出了一個(gè)從端到端的、基于腦電波的 ID 識別深度學(xué)習(xí)框架。

不同于以往一般需要多階段、大量的數(shù)據(jù)預(yù)處理和特征工程配合統(tǒng)計(jì)機(jī)器學(xué)習(xí)的腦電波分析，MindID 可以直接處理腦電波的原始數(shù)據(jù)，做波段分解后只保留 Delta 波段。

基于此，他們設(shè)計(jì)出一個(gè)基于注意力機(jī)制的 LSTM 的 encoder-decoder 架構(gòu)來學(xué)習(xí)魯棒的腦電波表征，并在此基礎(chǔ)上進(jìn)行識別。這項(xiàng)研究于 2018 年正式被 UbiComp 接收。

DeepKey 模型與實(shí)際環(huán)境中的可行性

為了克服傳統(tǒng)的單模態(tài)生物認(rèn)證系統(tǒng)的局限性，適應(yīng)對身份識別的安全可靠性越來越高的要求，姚麗娜團(tuán)隊(duì)提出了一種基于 EEG 和步態(tài)的多模態(tài)生物認(rèn)證系統(tǒng) DeepKey。

DeepKey 包含了三個(gè)獨(dú)立的模塊：無效 ID 過濾模塊、基于 Delta 波段的腦電信號識別模塊和步態(tài)識別模塊。

當(dāng) DeepKey 系統(tǒng)收到一個(gè)用戶的通行權(quán)限請求時(shí)，系統(tǒng)會(huì)通過非侵入式腦波采集頭盔收集用戶的實(shí)時(shí)腦電波信號并通過可穿戴式傳感器采集用戶的步態(tài)信號。

例如腕部、腰部和腿部的三維加速度和角動(dòng)量等信息，DeepKey 系統(tǒng)會(huì)首先將實(shí)時(shí)采集到的腦電波與步態(tài)信號輸入至無效 ID 過濾模塊。無效 ID 過濾模塊會(huì)旨在通過無監(jiān)督的腦電波信號對比快速做出初步判斷。

如果用戶被判斷為冒名頂替者，其通行請求會(huì)直接被拒絕。如果用戶通過了初步判斷，系統(tǒng)則會(huì)對其腦電波與步態(tài)信號進(jìn)行進(jìn)一步分析。

研究團(tuán)隊(duì)通過自主設(shè)計(jì)的結(jié)合注意力模型的 RNN 算法同時(shí)對腦電波信號和步態(tài)信號進(jìn)行 ID 識別。腦電信號識別模塊會(huì)根據(jù)學(xué)習(xí)到腦電波信號的表征確認(rèn)用戶的身份即腦電圖 ID。

同理，步態(tài)識別模塊會(huì)確認(rèn)用戶的步態(tài) ID。其后，DeepKey 系統(tǒng)會(huì)對照用戶的腦電圖 ID 和步態(tài) ID，只有二者一致時(shí)才會(huì)予以通行，否則會(huì)拒絕通行請求。

另外，研究團(tuán)隊(duì)還通過大量的實(shí)驗(yàn)對關(guān)鍵參數(shù)（如會(huì)話和腦電頻帶） 和系統(tǒng)延遲進(jìn)行了研究。例如，DeepKey 系統(tǒng)在接收到用戶信號后只需要 0.39 秒即可完成身份驗(yàn)證，在系統(tǒng)延遲方面完全滿足實(shí)際應(yīng)用的要求。

實(shí)驗(yàn)團(tuán)隊(duì)還測試了外界干擾對于系統(tǒng)準(zhǔn)確性的影響，實(shí)驗(yàn)結(jié)果表明 DeepKey 系統(tǒng)在多種環(huán)境因素的影響下依然具有很好的性能，表現(xiàn)出良好的魯棒性。并且 DeepKey 對于硬件的依賴較低，在較少的腦電波通道上依然可以取得令人滿意的識別效果。

由于腦電波信號的不可復(fù)制性，相較于傳統(tǒng)的生物識別系統(tǒng)而言，DeepKey 和 MindID 能夠提供更好的安全性，更加滿足一些高保密場所的要求。

在這些場所中，使用者更加關(guān)注的是拒絕一切可疑的通行請求，最大化的避免 “漏網(wǎng)之魚”。就此而言，DeepKey 在實(shí)驗(yàn)室條件下實(shí)現(xiàn)了很好的甄別效果（全數(shù)識別并拒絕了來自假冒者的 1000 個(gè)通行請求）。

這一成果為進(jìn)一步研究基于腦電和步態(tài)數(shù)據(jù)的多模態(tài)生物特征認(rèn)證系統(tǒng)奠定了基礎(chǔ)。

姚麗娜表示，其一，Deepkey 和 MindID 的系統(tǒng)設(shè)計(jì)推廣了深度學(xué)習(xí)在生物信息識別方面的應(yīng)用，并且證明了深度學(xué)習(xí)可以促進(jìn)并完善這個(gè)領(lǐng)域的研究；

其二，基于一些獨(dú)特的優(yōu)勢，比如不可復(fù)制性和可靠性等，腦電波可以作為一種有效的手段來進(jìn)行生物識別，并且通過實(shí)驗(yàn)證明了人的腦電波信號的‘獨(dú)一無二性’，證實(shí)了‘腦紋’的存在；

其三，在實(shí)驗(yàn)室條件下證明了這一類解決方案的可行性以及有效性，系統(tǒng)可以在很短時(shí)間內(nèi)準(zhǔn)確識別出具有通行權(quán)限的用戶和假冒者，這也為以后在商業(yè)以及真實(shí)場景中的推廣提供了佐證；

其四，DeepKey 的硬件設(shè)備只需要腦電波采集器（由于近年來的科技發(fā)展，非侵入式腦電波采集設(shè)備的價(jià)格已大大降低）和步態(tài)傳感器，可以將系統(tǒng)成本控制在較低范圍內(nèi)。

而就 DeepKey 多模態(tài)生物識別系統(tǒng)在現(xiàn)實(shí)場景中應(yīng)用的可行性上來說，姚麗娜表示：“目前在我們的實(shí)驗(yàn)環(huán)境下，這個(gè)工作的可靠性是比較好的。這項(xiàng)研究也提供了一個(gè)可行的解決方向?！?/p>

而運(yùn)用到實(shí)際環(huán)境的話，可能還需要進(jìn)一步更復(fù)雜的驗(yàn)證。比如，在姚麗娜目前的實(shí)驗(yàn)中，腦波主要采集于非侵入式的 EEG 采集頭盔，這種設(shè)備雖然易于攜帶而且低廉，但是劣勢也很明顯，比如信噪比很低，容易受客觀環(huán)境以及受試人自身身體、心理以及情緒變化的影響。

而這項(xiàng)研究提供一個(gè)新的視角，即在一些對安全和驗(yàn)證要求相當(dāng)高的場所和地點(diǎn)，這種多模態(tài)的解決方案依然值得深入探索。

談及研究過程，姚麗娜告訴 DeepTech：“MindID 和 DeepKey 是我的學(xué)生張翔跟我在 2016 年著手正式開始做的。我們起步較晚，基礎(chǔ)也相對薄弱。這幾年的探索是個(gè)比較艱辛的過程，對每個(gè)科研人來說也許都會(huì)感同身受。我個(gè)人覺得做研究最重要的是真正的熱愛，這會(huì)讓我們自然而然產(chǎn)生一種內(nèi)生的驅(qū)動(dòng)力，從而持之以恒，不輕易放棄。真理無窮，進(jìn)一寸有一寸的歡喜。”

原文標(biāo)題：科學(xué)家研發(fā)多模態(tài)生物識別系統(tǒng)，基于腦紋獨(dú)特性來防范身份欺騙 | 專訪

文章出處：【微信公眾號：DeepTech深科技】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。

責(zé)任編輯：haq