通過(guò)NVIDIA Holoscan和RTI Connext創(chuàng)造AI醫(yī)療設(shè)備應(yīng)用

各行各業(yè)對(duì)實(shí)時(shí)洞察和自主決策的需求日益增加，醫(yī)療健康與醫(yī)療設(shè)備行業(yè)也不例外。新一代醫(yī)療有望借助實(shí)時(shí)邊緣 AI，提供更加精準(zhǔn)的治療、改善患者的治療效果，并提高運(yùn)營(yíng)效率。

例如，未來(lái)的手術(shù)室將越來(lái)越多地使用由 AI 賦能的互聯(lián)設(shè)備，以便實(shí)時(shí)訪問(wèn)和交換完整的患者數(shù)據(jù)、手術(shù)洞察、決策和行動(dòng)。

在這樣的未來(lái)，醫(yī)療設(shè)備軟件 (SaMD)必須在嚴(yán)格的要求下運(yùn)行。當(dāng)被部署到分布式醫(yī)療健康系統(tǒng)時(shí)，它們需要在嚴(yán)格的性能和延遲限制下處理海量數(shù)據(jù)。這就要求在不影響性能和延遲的前提下，通過(guò)互通性來(lái)確保各類(lèi)傳感器、顯示器、控制裝置和應(yīng)用之間高效、可靠、安全的數(shù)據(jù)連接與交換。

本文將演示如何通過(guò)集成 NVIDIA Holoscan 和 RTI Connext，創(chuàng)造出具有高度互通性、低延遲和分布式連接的 AI 醫(yī)療設(shè)備應(yīng)用。此集成以最小的開(kāi)銷(xiāo)實(shí)現(xiàn)了這些優(yōu)勢(shì)，并且減少了實(shí)施工作量與復(fù)雜性。

適用于實(shí)時(shí) AI 傳感器

處理的 NVIDIA Holoscan

NVIDIA Holoscan 為開(kāi)發(fā)者提供了一個(gè)一站式生產(chǎn)就緒型框架，用于構(gòu)建從傳感器數(shù)據(jù)輸入，到加速計(jì)算和 AI 推理、實(shí)時(shí)可視化、執(zhí)行和數(shù)據(jù)流輸出的端到端實(shí)時(shí) AI 傳感器處理流程。

這一全面的解決方案有效解決了邊緣 AI 開(kāi)發(fā)所面臨的諸多挑戰(zhàn)。Holoscan 在確保最佳應(yīng)用性能的同時(shí)，消除開(kāi)發(fā)的復(fù)雜性、縮短產(chǎn)品上市時(shí)間，并帶來(lái)使用 Python 和 C++ 進(jìn)行編碼的便利性。所有這一切都在一個(gè)低代碼、高性能的基礎(chǔ)架構(gòu)中實(shí)現(xiàn)。簡(jiǎn)而言之，Holoscan 是一個(gè)以模塊化、可擴(kuò)展、軟件定義和圍繞 GPU 的方式將高速 I/O 連接到 GPU 的框架。

圖 1. NVIDIA Holoscan 為醫(yī)療設(shè)備等諸多行業(yè)帶來(lái)實(shí)時(shí) AI

RTI Connext 支持以數(shù)據(jù)為中心的實(shí)時(shí)連接

RTI Connext 基于數(shù)據(jù)分發(fā)服務(wù) (DDS) 標(biāo)準(zhǔn)，通過(guò)分布式實(shí)時(shí)軟件通信框架來(lái)簡(jiǎn)化復(fù)雜、可擴(kuò)展系統(tǒng)之間的連接。借助 Connext，Holoscan 應(yīng)用只需很少的開(kāi)銷(xiāo)，就能與分布式數(shù)據(jù)源和應(yīng)用集成，同時(shí)還能在實(shí)現(xiàn)此類(lèi)醫(yī)療健康系統(tǒng)所需的性能、可靠性與安全性的同時(shí)，最大程度地減少工程量和復(fù)雜性。

Connext 實(shí)現(xiàn)了復(fù)雜系統(tǒng)組件之間的實(shí)時(shí)信息交換，并且滿足嚴(yán)格的可靠性、網(wǎng)絡(luò)安全和性能要求。Connext 提供了一個(gè)可在冗余容錯(cuò)架構(gòu)中低延遲處理、分析和執(zhí)行大量實(shí)時(shí)數(shù)據(jù)的框架?；?Connext 構(gòu)建的醫(yī)療系統(tǒng)具有彈性、自形成和自修復(fù)功能，沒(méi)有單點(diǎn)故障。

大量服務(wù)質(zhì)量調(diào)整選項(xiàng)能幫助滿足分布式智能外科系統(tǒng)對(duì)實(shí)時(shí)視頻和相關(guān)數(shù)據(jù)的需求。Connext 還具有自動(dòng)發(fā)現(xiàn)、安全性等功能，并且不會(huì)增加大量帶寬開(kāi)銷(xiāo)?；诔墒?DDS 安全標(biāo)準(zhǔn)的內(nèi)置網(wǎng)絡(luò)安全為身份驗(yàn)證和加密以及安全日志和精細(xì)化訪問(wèn)控制奠定了基礎(chǔ)，不僅防止關(guān)鍵系統(tǒng)出現(xiàn)安全漏洞，而且符合監(jiān)管機(jī)構(gòu)的網(wǎng)絡(luò)安全要求。

圖 2. RTI Connext 以數(shù)據(jù)為中心的連接支持

圍繞數(shù)據(jù)流這一最重要的資產(chǎn)設(shè)計(jì)系統(tǒng)

集成 NVIDIA Holoscan 和 RTI Connext

當(dāng)今的醫(yī)療健康系統(tǒng)建立在大量已安裝傳統(tǒng)系統(tǒng)的基礎(chǔ)之上，這些系統(tǒng)在設(shè)計(jì)之初并未考慮 AI 功能，而且目前在原生環(huán)境中不支持 NVIDIA Holoscan。此外，如今的醫(yī)療健康系統(tǒng)和醫(yī)療設(shè)備需要在傳感器、執(zhí)行器、控制系統(tǒng)和接口之間建立復(fù)雜的連接。

Connext 與 Holoscan 的集成使 Holoscan 開(kāi)發(fā)者能夠?qū)?dāng)前安裝的傳統(tǒng)系統(tǒng)轉(zhuǎn)換為由 AI 賦能的軟件定義設(shè)備。具體做法是將 Holoscan 集成到在原生環(huán)境中不支持 Holoscan 的設(shè)備中作為邊車(chē)（輔助計(jì)算模塊）。

首先，當(dāng)前醫(yī)療設(shè)備中有很大一部分基于 Windows 系統(tǒng)（尤其是在醫(yī)療影像領(lǐng)域），而 Windows 系統(tǒng)并不支持 Holoscan。第二，Holoscan 作為邊車(chē)，可以為在非 NVIDIA 系統(tǒng)上運(yùn)行實(shí)時(shí)操作系統(tǒng) (RTOS) 的機(jī)器人手術(shù)系統(tǒng)帶來(lái)先進(jìn)的 AI 功能。第三，可以使用強(qiáng)大的 AI 算法來(lái)增強(qiáng)患者監(jiān)護(hù)儀等低端感知醫(yī)療設(shè)備，但構(gòu)成傳統(tǒng)系統(tǒng)的硬件或軟件會(huì)限制此類(lèi)新功能的添加。

通過(guò) RTI Connext DDS 實(shí)現(xiàn)的 Holoscan DDS 互通性解決了上述三類(lèi)問(wèn)題，提供了一個(gè)可擴(kuò)展、由 AI 賦能的 Holoscan 邊車(chē)，可與傳統(tǒng)系統(tǒng)進(jìn)行實(shí)時(shí)無(wú)縫通信。

Holoscan 為基于 GPU 加速的醫(yī)療設(shè)備軟件 (SaMD)提供了出色的基礎(chǔ)架構(gòu)，從而能夠在新一代醫(yī)療健康系統(tǒng)中創(chuàng)新和部署由 AI 驅(qū)動(dòng)的工作流。這些工作流通常需要在海量數(shù)據(jù)上運(yùn)行，并且有非常嚴(yán)格的延遲限制。因此，各傳感器、顯示器、控制裝置和 Holoscan 應(yīng)用之間必須能夠高效、可靠且安全地傳遞數(shù)據(jù)。

通過(guò)使用 RTI Connext，Holoscan 應(yīng)用能以極小的開(kāi)銷(xiāo)與分布式醫(yī)療健康系統(tǒng)集成，還可以在實(shí)現(xiàn)此類(lèi)系統(tǒng)所需性能、可靠性和安全性的同時(shí)，最大程度地減少工程量與復(fù)雜性。在已經(jīng)使用 Connext 的情況下，甚至可以在不修改現(xiàn)有系統(tǒng)的情況下，加入由 Holoscan 驅(qū)動(dòng)的全新 AI 工作流。

與 RTI Connext 集成的 Holoscan 應(yīng)用示例

本部分將介紹一個(gè)應(yīng)用示例，是一個(gè)在充當(dāng)邊車(chē)的專(zhuān)用系統(tǒng)上運(yùn)行的 Holoscan 應(yīng)用。該應(yīng)用使用 RTI Connext 從 DDS 數(shù)據(jù)總線讀取幀，然后在 Holoscan 工作流中處理幀數(shù)據(jù)，最后通過(guò) Connext 將結(jié)果發(fā)布回?cái)?shù)據(jù)總線，以便其他設(shè)備讀取并顯示處理后的幀數(shù)據(jù)。

該示例改善了醫(yī)療健康系統(tǒng)中的一個(gè)常見(jiàn)場(chǎng)景，即先由多個(gè)傳感器采集數(shù)據(jù)，然后匯總到單獨(dú)的監(jiān)控系統(tǒng)上顯示。通常只需對(duì)現(xiàn)有組件進(jìn)行少量修改，即可在這種數(shù)據(jù)流中間添加由 AI 驅(qū)動(dòng)的 Holoscan 工作流，傳感器采集和顯示輸出通常也會(huì)使用不支持 Holoscan 的系統(tǒng)完成，Connext 有助于彌補(bǔ)這些差距。

此示例的核心組件是GitHub 上nvidia-holoscan/holohub 提供的 Holoscan DDS 視頻流運(yùn)算符。這些運(yùn)算符使 Holoscan 應(yīng)用能夠從 DDS 數(shù)據(jù)總線中實(shí)時(shí)讀寫(xiě)視頻幀。借助這些運(yùn)算符，Holoscan 應(yīng)用可以從數(shù)據(jù)總線中讀取視頻幀，用作工作流處理的來(lái)源，并將處理后的結(jié)果寫(xiě)回?cái)?shù)據(jù)總線（供其他組件使用）。

此外，以下新應(yīng)用支持將邊車(chē)用例顯示為獨(dú)立示例：

dds_video 應(yīng)用既可用于將視頻幀寫(xiě)入 DDS 數(shù)據(jù)總線（從 USB 攝像頭等 V4L2 視頻設(shè)備捕獲），也可用于從 DDS 讀取幀，并通過(guò) Holoscan 可視化模塊 Holoviz 將其渲染到顯示器上。

body_pose_estimation 應(yīng)用已經(jīng)過(guò)修改，使輸入視頻幀可以來(lái)自 DDS 數(shù)據(jù)總線，而輸出視頻幀（包含人體姿態(tài)估計(jì)疊加層）可以發(fā)布回 DDS 數(shù)據(jù)庫(kù)。

將這兩個(gè)應(yīng)用結(jié)合在一起后，就可以使用以下三個(gè)進(jìn)程演示邊車(chē)數(shù)據(jù)流：

dds_video 進(jìn)程從攝像頭傳感器捕捉幀，并將其發(fā)布到 DDS。

body_pose_estimation 進(jìn)程從 DDS 接收輸入的傳感器幀，通過(guò)人體姿態(tài)估計(jì)模型處理幀，然后將圖像上已疊加推理結(jié)果的幀輸出到 DDS。

dds_video 進(jìn)程接收處理過(guò)的幀，并將其渲染到顯示器上。

圖 3 顯示了此示例的設(shè)置。請(qǐng)注意，這三個(gè)進(jìn)程都可以在任何系統(tǒng)上運(yùn)行，前提是它們可以在同一個(gè) DDS 域中相互檢測(cè)到對(duì)方，例如通過(guò)支持組播的網(wǎng)絡(luò)。

圖 3. 示例應(yīng)用的數(shù)據(jù)流，該應(yīng)用使用 Holoscan 作為邊車(chē)，

處理已發(fā)布到 DDS 的視頻幀

要在本地運(yùn)行此示例，請(qǐng)先閱讀 HoloHub DDS 運(yùn)算符文檔，了解設(shè)置 RTI Connext 的依賴項(xiàng)要求。如要了解如何構(gòu)建和運(yùn)行應(yīng)用，參見(jiàn)人體姿態(tài)估計(jì)文檔中的 DDS 支持部分。

總結(jié)

在向 AI 增強(qiáng)型系統(tǒng)和設(shè)備過(guò)渡的過(guò)程中，將 NVIDIA Holoscan 與 RTI Connext 集成，可為醫(yī)療設(shè)備行業(yè)的 Holoscan 開(kāi)發(fā)者帶來(lái)諸多優(yōu)勢(shì)，包括以最小的開(kāi)銷(xiāo)與分布式醫(yī)療健康系統(tǒng)無(wú)縫集成、使用高級(jí) AI 算法來(lái)增強(qiáng)傳統(tǒng)系統(tǒng)等。

如要開(kāi)始使用，請(qǐng)下載 Holoscan 2.0 并查看 nvidia-holoscan/holohub 上的 Holoscan 和 DDS 集成參考應(yīng)用。