在全球醫(yī)療科技的前沿,優(yōu)刻得攜手戰(zhàn)略合作伙伴上海腦虎科技有限公司(簡稱“腦虎科技”),共同見證了醫(yī)療創(chuàng)新的歷史性時刻。腦虎科技自主研發(fā)的256導(dǎo)高通量植入式柔性腦機接口技術(shù),近期在復(fù)旦大學(xué)附屬華山醫(yī)院先后開展了高精度實時運動解碼和語言解碼臨床試驗研究,并取得重大技術(shù)突破,使得“腦控”智能設(shè)備和“意念對話”成為現(xiàn)實。
高通量植入式柔性腦機接口臨床試驗取得重大突破
●“腦控”上網(wǎng),開啟人機交互新紀(jì)元
2024年8月,腦虎科技聯(lián)合華山醫(yī)院神經(jīng)外科毛穎/陳亮教授團(tuán)隊順利完成意念合成運動臨床試驗,并由優(yōu)刻得提供相關(guān)的云資源和技術(shù)服務(wù)支持。受試者為21歲運動區(qū)占位的癲癇患者,通過手術(shù)植入256導(dǎo)高通量柔性腦機接口監(jiān)測病灶并保護(hù)運動相關(guān)的重要腦功能區(qū)。
得益于高通量、高質(zhì)量、跨腦區(qū)大規(guī)模腦電數(shù)據(jù)高效采集和實時分析,這一技術(shù)突破,使得術(shù)中快速精準(zhǔn)定位腦功能區(qū)成為可能,病人術(shù)后恢復(fù)良好,且術(shù)后兩天內(nèi)便可實現(xiàn)“腦控”玩乒乓球和貪吃蛇游戲。
實時意念操控XessOS系統(tǒng)
經(jīng)過兩周的訓(xùn)練,結(jié)合腦虎科技自主開發(fā)的腦機操作系統(tǒng)XessOS,受試者可以熟練使用微信、郵箱、淘寶、小紅書、今日頭條等常用APP,以及實現(xiàn)智能家居和智能輪椅的“腦控”,大大滿足了運動障礙患者日常生活所需的基本行動能力。
●“意念”控制對話,國內(nèi)漢語言解碼最高水準(zhǔn)
漢語是一種以單音節(jié)為主的聲調(diào)語言和圖形語言,不同于英語等字母語言,其產(chǎn)生過程中的信息轉(zhuǎn)換涉及更多腦區(qū),需要研發(fā)針對漢語特征的神經(jīng)編解碼機制和信息處理手段。
24年12月,在優(yōu)刻得云平臺的支撐下,腦虎科技聯(lián)合華山醫(yī)院神經(jīng)外科吳勁松教授團(tuán)隊開展國內(nèi)首例高通量植入式柔性腦機接口實時合成漢語言臨床試驗。項目團(tuán)隊在語言區(qū)占位腫瘤癲癇患者上進(jìn)行了柔性腦機接口植入手術(shù),通過植入256導(dǎo)高通量腦機接口,幫助其定位病灶并保護(hù)語言相關(guān)的重要腦功能區(qū)。
實時漢語言解碼
病人術(shù)后恢復(fù)良好,五天后即可實現(xiàn)142個常用漢語音節(jié)下71%的解碼準(zhǔn)確率,并且單字解碼時延小于100 ms,是目前國內(nèi)實時漢語言解碼的最高水平。基于實時漢語解碼,受試者不僅實現(xiàn)了意念實時合成漢語、驅(qū)動數(shù)字分身以及對話AI大模型等高級功能,還能將人的腦電解碼成語言進(jìn)而轉(zhuǎn)化成指令實時操控靈巧手實現(xiàn)人機交互,有望幫助語言功能障礙患者重建語言功能。
新年來臨之際,受試者還通過意念合成語言指令操作靈巧手,為大家送上“二零二五新年快樂”手語祝福。
腦虎創(chuàng)始人、TCCI研究員陶虎與受試者以及意念操控的靈巧手比心合影送祝福
腦電數(shù)據(jù)上云,云端實時解碼腦電信號
在腦電采集裝置成功植入后,思考與運動活動會不斷激發(fā)大量腦電信號的涌現(xiàn)。通過運用先進(jìn)的多模態(tài)信號采集技術(shù)和系統(tǒng)建模方法,人類的行為意圖得以實現(xiàn)高精度的實時解碼。若能將整個信息的采集、備份、解碼及分析流程遷移至云端,無疑將大幅提升數(shù)據(jù)解碼與推理的效率。
自2022年起,腦虎科技與優(yōu)刻得建立了戰(zhàn)略合作關(guān)系,共同推進(jìn)腦電數(shù)據(jù)的云端化處理。依托優(yōu)刻得的云平臺,我們?yōu)槟X虎科技量身定制了一套全面的云邊端技術(shù)架構(gòu),并已在腦虎的多個實驗室中得到應(yīng)用,有力支撐了實驗研究的開展。
以動物運動實驗為例,每分鐘產(chǎn)生的腦電數(shù)據(jù)量高達(dá)1GB,一次30分鐘的采集過程就能累積30至50GB的數(shù)據(jù)。鑒于數(shù)據(jù)規(guī)模的龐大及其獨一無二性,腦虎團(tuán)隊高度重視本地與云端的數(shù)據(jù)擴容與安全備份工作。優(yōu)刻得云存儲服務(wù)采用了多層次的安全防護(hù)措施,包括數(shù)據(jù)加密、訪問控制、防火墻等,確保數(shù)據(jù)在傳輸和存儲過程中的安全性,全面保護(hù)患者數(shù)據(jù)的隱私性,同時減少數(shù)據(jù)丟失的風(fēng)險。
借助優(yōu)刻得的云存儲等云端資源,研究人員可以輕松實現(xiàn)實驗與項目數(shù)據(jù)的即時上傳與備份,這些數(shù)據(jù)在經(jīng)過自動化清洗與整理后,得以在云端獲得安全可靠的存儲。
漢語言實時解碼過程
同時,在獲取腦電信號數(shù)據(jù)后,為了識別與不同思維活動相關(guān)聯(lián)的腦電模式,需要進(jìn)行持續(xù)的模型訓(xùn)練。通過將復(fù)雜的腦電信號與相應(yīng)動作進(jìn)行精準(zhǔn)關(guān)聯(lián),從而實現(xiàn)了從腦電信號到行動的快速轉(zhuǎn)化。
在上述的意念合成運動臨床試驗中,項目團(tuán)隊對其腦電信號的High Gamma頻段進(jìn)行腦電特征提取和模型訓(xùn)練,在優(yōu)刻得云端算力支撐下,利用LSTM(長短期記憶)神經(jīng)網(wǎng)絡(luò)模型進(jìn)行連續(xù)時間解碼,整體系統(tǒng)延遲小于60ms。
2023年,優(yōu)刻得與腦虎科技、復(fù)旦大學(xué)附屬華山醫(yī)院共同入選上海市未來產(chǎn)業(yè)腦機接口專家委員會成員單位,充分發(fā)揮在云計算、大數(shù)據(jù)、人工智能領(lǐng)域的先進(jìn)優(yōu)勢,共同探索腦機接口在醫(yī)療康復(fù)領(lǐng)域的應(yīng)用。
2024年以來,優(yōu)刻得與腦虎科技進(jìn)一步深化合作,共同參與了上海市腦機接口領(lǐng)域的重大科研項目申報。雙方計劃聯(lián)手研發(fā)“植入式言語合成腦機接口產(chǎn)品”,旨在幫助失語患者恢復(fù)部分語言功能。
目前,借助優(yōu)刻得的高性能算力與可靠的數(shù)據(jù)存儲能力,腦虎科技已成功搭建了GPU算力平臺和語料數(shù)據(jù)管理系統(tǒng)。這些平臺為大規(guī)模的模擬仿真實驗提供了有力支撐,同時也確保了數(shù)據(jù)的可靠存儲與實時解碼。
上述工作同時得到了天橋腦科學(xué)研究院(TCCI)的大力支持,并獲得國家自然科學(xué)基金面上項目、上海市科委戰(zhàn)略前沿腦機接口專項項目、上海市經(jīng)信委促進(jìn)產(chǎn)業(yè)高質(zhì)量發(fā)展專項先導(dǎo)產(chǎn)業(yè)創(chuàng)新發(fā)展項目、上海市戰(zhàn)略性新興產(chǎn)業(yè)發(fā)展專項等項目,以及上海市腦機接口重點實驗室、中國神經(jīng)科學(xué)學(xué)會腦機接口與交互分會、上海市未來產(chǎn)業(yè)腦機接口專委會等機構(gòu)的支持。
-
醫(yī)療電子
+關(guān)注
關(guān)注
30文章
1362瀏覽量
90187 -
腦機接口
+關(guān)注
關(guān)注
8文章
374瀏覽量
21558 -
臨床試驗
+關(guān)注
關(guān)注
0文章
4瀏覽量
8042
發(fā)布評論請先 登錄
相關(guān)推薦
評論