Jetson 百萬(wàn)開發(fā)者故事 | NVIDIA Jetson 如何成為可移動(dòng)智能腦機(jī)交互平臺(tái)

腦機(jī)交互技術(shù)是探索大腦功能，治療大腦疾病的重要手段，目前已經(jīng)被廣泛應(yīng)用于腦信息解碼、腦控、腦疾病生物標(biāo)記物檢測(cè)、腦功能監(jiān)測(cè)及腦疾病干預(yù)等多個(gè)方面。為了推動(dòng)腦機(jī)交互技術(shù)的智能化發(fā)展，為腦科學(xué)研究及腦疾病診治提供新技術(shù)，復(fù)旦大學(xué)類腦人工智能科學(xué)與技術(shù)研究院副院長(zhǎng)王守巖教授團(tuán)隊(duì)開創(chuàng)性地應(yīng)用NVIDIA Jetson 邊緣計(jì)算平臺(tái)，打造了可移動(dòng)智能腦機(jī)交互平臺(tái)，并應(yīng)用該平臺(tái)進(jìn)行了一系列腦疾病相關(guān)的科學(xué)及轉(zhuǎn)化研究。

王守巖教授和他的課題組團(tuán)隊(duì)

NVIDIA Jetson 軟硬件賦能

腦機(jī)交互技術(shù)如虎添翼

為了滿足腦機(jī)交互技術(shù)的智能化需求，平臺(tái)負(fù)責(zé)人李巖博士將目光放在了NVIDIA Jetson Nano身上?！拔覀円蛟斓氖且粋€(gè)具備可移動(dòng)、高實(shí)時(shí)性、易拓展的智能腦機(jī)交互平臺(tái)，NVIDIA Jetson Nano 套件在硬件及軟件支持上都是非常合適的選擇?！崩顜r博士說(shuō)。

很快，團(tuán)隊(duì)就利用 NVIDIA Jetson Nano 套件構(gòu)建了一個(gè)原型機(jī)，其核心結(jié)構(gòu)主要包含三個(gè)模塊：Jetson Nano Kit、有線電生理信號(hào)采集模塊以及有線電刺激模塊。模塊與模塊之間通過(guò)有線連接的方式集成，在系統(tǒng)響應(yīng)層面能夠?qū)崿F(xiàn)毫秒級(jí)別的實(shí)時(shí)性。

腦機(jī)平臺(tái)的原型

整個(gè)原型機(jī)以 NVIDIA Jetson Nano 邊緣計(jì)算芯片為計(jì)算核心，基于 L4T 系統(tǒng)搭建了實(shí)時(shí)處理的軟件框架，該框架具備應(yīng)用 NVIDIA 加速神經(jīng)網(wǎng)絡(luò)推理工具的能力，例如 TensorRT。

除了支持深度學(xué)習(xí)通用框架的編碼和模型加速能力外, Jetson Nano 平臺(tái)還包含了豐富的外設(shè)接口，包括 SPI、UART、USB 等，非常適合控制多種不同類型的外設(shè)，結(jié)合不同的外設(shè)，使得該原型機(jī)能夠拓展控制更多的外部設(shè)備，從而使得平臺(tái)具備多維信號(hào)感知和刺激能力。目前，該平臺(tái)支持多通道的人體電生理信號(hào)（腦電、心電、肌電）、運(yùn)動(dòng)信號(hào)（旋轉(zhuǎn)角、加速度、轉(zhuǎn)速）及姿勢(shì)（視頻監(jiān)測(cè)）的多維度信息采集能力，具備高速在線數(shù)字信號(hào)處理及推理人工智能模型的計(jì)算能力，以及控制聲光電設(shè)備對(duì)人體進(jìn)行刺激的治療能力。

“由于可以便捷地利用 NVIDIA Jetson 的軟硬件資源，我們的平臺(tái)能夠快速兼容新的信號(hào)感知和刺激輸出硬件，使得平臺(tái)的應(yīng)用拓展更加順利，進(jìn)一步推動(dòng)平臺(tái)的應(yīng)用轉(zhuǎn)化?！逼脚_(tái)軟件框架負(fù)責(zé)人聶英男博士說(shuō)道。

智能腦機(jī)交互平臺(tái)初顯鋒芒

為帕金森病的診斷、監(jiān)護(hù)和治療提供幫助

隨著我國(guó)社會(huì)老齡化程度的加深，與年齡密切相關(guān)的腦疾病患者呈上升趨勢(shì)，而帕金森病就是一種常見的神經(jīng)系統(tǒng)變性疾病，在老年人群中多發(fā)。該疾病在全人群中的患病率約為 0.3%，但患病率有會(huì)隨年齡的增高而增加的趨勢(shì)，在 65 歲以上的老年人群中，帕金森病的患病率為 1-2%，而在 85 歲以上人群其患病率增加到了 3-5%。

“帕金森病首發(fā)癥狀通常是一側(cè)肢體的震顫或活動(dòng)笨拙，進(jìn)而累及對(duì)側(cè)肢體。臨床上主要表現(xiàn)為靜止性震顫、運(yùn)動(dòng)遲緩、肌強(qiáng)直和姿勢(shì)步態(tài)障礙?；颊咄枰淌軜O大的生理和心理上的痛苦?！崩顜r博士介紹說(shuō)，“對(duì)帕金森病運(yùn)動(dòng)癥狀的量化評(píng)估、監(jiān)護(hù)及新療法研究，會(huì)在改善病人生活質(zhì)量和緩解社會(huì)壓力方面發(fā)揮巨大的作用?！?/p>

目前，智能腦機(jī)交互的原型機(jī)可以實(shí)現(xiàn)運(yùn)動(dòng)行為記錄、基于腦電信號(hào)的注意力分析、基于肌電信號(hào)的運(yùn)動(dòng)姿態(tài)判別、模擬神經(jīng)振蕩信號(hào)分類任務(wù)，以及基于帕金森大鼠深部腦電信號(hào)的閉環(huán)神經(jīng)治療任務(wù)。

在日常監(jiān)護(hù)方面，平臺(tái)通過(guò)視頻和運(yùn)動(dòng)傳感，分析病人在生活中的異常姿勢(shì)狀態(tài)，在可能出現(xiàn)的危害人身安全的情境下進(jìn)行報(bào)警或聯(lián)系病人家屬等操作，盡可能保護(hù)病人的正常生活，避免疾病帶來(lái)的進(jìn)一步損傷。

在新療法研究方面，平臺(tái)通過(guò)實(shí)時(shí)分析病人的腦電信號(hào)，在特定的疾病相關(guān)的信號(hào)特征出現(xiàn)后給予電刺激治療，形成一種閉環(huán)的治療方式。“大腦深部腦電信號(hào)中的神經(jīng)振蕩活動(dòng)是反應(yīng)帕金森病的重要標(biāo)記物，我們模擬了 beta（13-30Hz）振蕩信號(hào)的狀態(tài)分類任務(wù)，” 李巖博士介紹：“為了保證分類的實(shí)時(shí)性，我們使用了NVIDIA TensorRT加速了 CNN 網(wǎng)絡(luò)，速度提升了 6 倍左右?！?/p>

與 NVIDIA Jetson 系列共同成長(zhǎng)

隨著云計(jì)算、網(wǎng)絡(luò)通信以及智能終端的發(fā)展，智能邊緣計(jì)算平臺(tái)必將融入到這種新型模式下，實(shí)現(xiàn)長(zhǎng)時(shí)間的大數(shù)據(jù)分析、個(gè)性化建模、病程預(yù)測(cè)、干預(yù)等任務(wù)，以更好的計(jì)算效率、體系化的數(shù)據(jù)處理以保證高精度、高效率的個(gè)性化建模及預(yù)測(cè)。

“我們很高興成為 NVIDIA Jetson 百萬(wàn)開發(fā)者的一員，非常感謝 NVIDIA 人工智能中心、中國(guó)教育領(lǐng)域合作團(tuán)隊(duì)持續(xù)的有力支持，使得我們有可能將前沿技術(shù)轉(zhuǎn)化應(yīng)用到腦科學(xué)研究中，未來(lái)我們將集成更強(qiáng)大的 Jetson 計(jì)算核心，目前已經(jīng)在Jetson AGX Orin上進(jìn)行整體軟件框架的調(diào)試。我們希望平臺(tái)可以面向更多的腦功能探索和腦疾病展開應(yīng)用，服務(wù)于神經(jīng)科學(xué)家、臨床醫(yī)生，為腦疾病特別是老齡化相關(guān)的腦疾病的監(jiān)護(hù)、評(píng)估和治療發(fā)展提供助力！”王守巖教授說(shuō)。

王守巖教授在“腦科學(xué)與類腦研究”重大項(xiàng)目、科技部國(guó)家重點(diǎn)研發(fā)計(jì)劃、上海市科技重大專項(xiàng)等國(guó)家和上海市科研項(xiàng)目的支持下，帶領(lǐng)人工智能算法、智能電子、臨床神經(jīng)生理等科學(xué)家團(tuán)隊(duì)加速推動(dòng)以人工智能算法、移動(dòng)邊緣計(jì)算為核心的腦機(jī)交互神經(jīng)調(diào)控技術(shù)在臨床的轉(zhuǎn)化應(yīng)用。

像王守巖教授及團(tuán)隊(duì)一樣的開發(fā)者朋友們可以免費(fèi)報(bào)名參加 GTC 的Jetson 邊緣 AI 開發(fā)者日活動(dòng)。NVIDIA 專家將在活動(dòng)上介紹最新的 Jetson 硬件、軟件和合作伙伴。內(nèi)容包括：

• 使用 NVIDIA Jetson 軟件加速邊緣 AI 的開發(fā)

（https://www.nvidia.cn/gtc-global/session-catalog/?tab.catalogallsessionstab=16566177511100015Kus&search=Jetson#/session/1675122992275001FUuE）

• 使用 NVIDIA Jetson Orin 平臺(tái)提升邊緣 AI 和機(jī)器人技術(shù)水平

（https://www.nvidia.cn/gtc-global/session-catalog/?tab.catalogallsessionstab=16566177511100015Kus&search=Jetson#/session/1668040615028001N01j）

• 使用 NVIDIA Nsight 開發(fā)者工具充分發(fā)揮 Jetson Orin 的作用

（https://www.nvidia.cn/gtc-global/session-catalog/?tab.catalogallsessionstab=16566177511100015Kus&search=Jetson#/session/1675124636163001GyIr）

• 使用 NVIDIA Jetson 生態(tài)系統(tǒng)加快產(chǎn)品上市速度

（https://www.nvidia.cn/gtc-global/session-catalog/?tab.catalogallsessionstab=16566177511100015Kus&search=Jetson#/session/1675125146374001Sj7X）

另外，GTC 期間更有一場(chǎng)以 Jetson 平臺(tái)為主題的專家交流分會(huì)，屆時(shí)參加者可以與 NVIDIA 嵌入式平臺(tái)工程師開展深度問(wèn)答。這場(chǎng)互動(dòng)交流會(huì)提供了一個(gè)獨(dú)家機(jī)會(huì)，讓您可以團(tuán)隊(duì)或個(gè)人形式與 NVIDIA 產(chǎn)品幕后人員見面，答疑解惑?；顒?dòng)席位有限，先到先得。

復(fù)制鏈接粘貼至瀏覽器進(jìn)行注冊(cè)：

https://www.nvidia.cn/gtc-global/session-catalog/?tab.catalogallsessionstab=16566177511100015Kus&search=Jetson#/session/1670472065129001rf2z

如果您想要更加深入地了解如何利用 NVIDIA 技術(shù)助力醫(yī)療健康領(lǐng)域，也歡迎加入GTC23 醫(yī)療健康與生命科學(xué)精選會(huì)議：

https://www.nvidia.cn/gtc-global/sessions/healthcare-life-sciences/?ncid=so-wech-481805

//

Jetson “百萬(wàn)開發(fā)者”有獎(jiǎng)?wù)骷顒?dòng)正在火熱進(jìn)行中。作為 Jetson “百萬(wàn)開發(fā)者”的一員，感謝您陪伴 Jetson 走過(guò)的開發(fā)之路。無(wú)論是企業(yè)、工程師、發(fā)燒友還是學(xué)生，我們相信每一位開發(fā)者都和 Jetson 有著不一樣的故事?？靵?lái)參與有獎(jiǎng)?wù)骷顒?dòng)，說(shuō)出您與 Jetson 的故事，無(wú)論是開發(fā)創(chuàng)造的經(jīng)典案例，還是學(xué)習(xí)構(gòu)建的心得體驗(yàn)，都?xì)g迎您暢所欲言，更有驚喜好禮等您拿！

推薦閱讀

Jetson 開發(fā)者破百萬(wàn)，快來(lái)說(shuō)出你的開發(fā)故事吧

點(diǎn)擊 “閱讀原文” 或掃描下方海報(bào)二維碼，即可免費(fèi)注冊(cè) GTC23，在 3 月 24 日 聽 OpenAI 聯(lián)合創(chuàng)始人與 NVIDIA 創(chuàng)始人的爐邊談話，將由 NVIDIA 專家主持，配中文講解和實(shí)時(shí)答疑，一起看 AI 的現(xiàn)狀和未來(lái)！