使用Clara Holoscan SDK增強AI醫(yī)療設備流式處理工作流

近年來，邊緣計算、攝像機、實時處理和人工智能的進步幫助醫(yī)療設備發(fā)生了變革。 NVIDIA 開發(fā)了 NVIDIA Clara Holoscan 支持軟件定義 AI 醫(yī)療設備開發(fā)的平臺。平臺包括 NVIDIA Clara 開發(fā)工具包 這個 NVIDIA Clara Holoscan SDK 和 NVIDIA Clara Holoscan MGX 用于生產就緒部署。

NVIDIA Clara Holoscan SDK 0.2 的最新版本為醫(yī)療設備中的高性能流應用程序提供了實時 AI 推理功能和快速 I / O 。這包括內窺鏡檢查、超聲波、外科機器人、顯微鏡和基因組測序儀器。

該版本還包括：

NVIDIA Graph eXecution Framework （ GXF ）與 GStreamer 的核心后端。

內窺鏡 AI 應用示例。

一個可定制的 AI 管道，用于添加您自己的模型。

支持帶有 Jetson AGX Jetson 和 NVIDIA Xavier 6000 的 Jetson AGX 開發(fā)工具包，以及帶有 Jetson AGX Orin 和 NVIDIA RTX A6000 的 RTX Holoscan 開發(fā)工具包。

支持 NVIDIA JetPack 5.0 SDK ，其中包括 Ubuntu 20.04 。

圖形執(zhí)行框架處理流數據

Clara Holoscan SDK 0.2 中最重要的變化是核心后端從 GStreamer 轉移到了 NVIDIA GXF 。 GXF 是一個支持流數據處理管道基于組件編程的框架。它是為非常高效的數據攝取、數據傳輸和 AI / ML 工作負載而構建的。

有了 GXF ，開發(fā)人員可以創(chuàng)建可重用的組件，并將它們組合成圖形，以便快速為不同的產品構建應用程序。 GXF 支持視頻和 AU 流的處理，以及用于醫(yī)療設備（如原始超聲、放射成像掃描儀和顯微鏡）的用戶定義流數據類型。

最近在 1080p 視頻流上使用 NVIDIA 延遲顯示分析工具 進行的測試表明，與以前的解決方案相比， GXF 提供了顯著的加速。在測試中，與 Clara Holoscan SDK 0.1 中類似的基于 GStreamer 的管道相比， GXF 將 AI 推斷應用程序的開銷減少了近 3 倍。

圖 1 ： Clara Holoscan SDK 0.2 中的 GXF 與之前 SDK 0.1 中的 GStreamer 相比

此外， GXF 支持用戶自定義組件，以支持通用數據處理管道。 GXF 通過兩個重要組件處理構建高性能應用程序的關鍵部分。

第一個是確定組件何時執(zhí)行的調度器。調度器支持單線程或多線程執(zhí)行，以及條件執(zhí)行、異步調度和其他自定義工具。

其次， GXF 有一個內存分配器，它為系統(tǒng)提供了一個大型連續(xù)內存池的預先分配，并根據需要重用區(qū)域。為了確保組件之間的零拷貝數據交換，可以將內存固定到設備上。

圖 2 ：通用管道的一個示例，開發(fā)人員可以在其中自定義工作流，包括數據處理、模型推理、存儲和可視化

內窺鏡 AI 樣本在 Clara Holoscan 上的應用

數字內窺鏡已經發(fā)展成為醫(yī)學篩查和微創(chuàng)手術的關鍵技術。使用實時人工智能平臺來處理和分析內窺鏡攝像頭產生的視頻信號的情況越來越多。

這項技術有助于異常檢測和測量、圖像增強、警報和分析。 Clara Holoscan SDK 0.2 包括一個支持 AI 的內窺鏡示例應用程序，展示了 GXF 的端到端功能，并支持與具有 HDMI 輸入的 AJA 接口的設備。

內窺鏡 AI 示例應用程序具有深度學習模型，可在內窺鏡視頻流上實時執(zhí)行目標檢測和工具跟蹤。

該應用程序使用多個 NVIDIA 功能來最小化總體延遲，包括：

GPUDirect RDMA 視頻數據傳輸，消除向系統(tǒng)內存復制或從系統(tǒng)內存復制的開銷。

用于 CUDA 的 NVIDIA 性能原語庫在 AI 推理之前加速了 2D 圖像轉換。

TensorRT 用于優(yōu)化 AI 推理和加速的運行時。

CUDA 和 OpenGL 互操作性，在 GPU 上為可視化提供高效的資源共享。

帶上您自己的模型 AI 應用程序

開發(fā)人員可以將自己的 AI 模型引入 Clara Holoscan 參考管道，以快速創(chuàng)建自己的流式工作流。通過更新一個配置文件并將數據導出為 GXF 本機數據格式，可以完成從一個模型到另一個模型的交換。以便攜式 ONNX 保存的模型以及 NVIDIA 性能優(yōu)化的 TRT 格式可以在 GXF 的內置推理引擎上運行。

支持 Clara 開發(fā)工具包

Clara AGX 和新的 Clara Holoscan 顯影劑套件 。 下一代 Clara Holoscan 開發(fā)工具包采用高性能 NVIDIA Orin 模塊、功能強大的 RTX A6000 GPU 以及 ConnectX SmartNIC 的連接性能。

該套件是開發(fā)下一代軟件定義醫(yī)療設備的理想解決方案。 Orin 適用于支持多個傳感器的高速接口的自主機器，其性能是上一代多個并發(fā) AI 推理管道的 8 倍。

使用 Ubuntu 20.04 更新 JetPack 5.0HP1

NVIDIA JetPack SDK 包含 Clara Holoscan SDK 的基本操作系統(tǒng)。對于版本 0.2 ， JetPack SDK 正在從版本 4.5 升級到版本 5.0HP1 。這將操作系統(tǒng)升級到 L4T rel-34 ，與使用 LTS 內核 5.10 的 Ubuntu 20.04 相當。

Clara Holoscan SDK 入門

這個 Clara Holoscan SDK 0.2 現在可以在 GitHub 上使用 Apache 2.0 許可證訪問源代碼。

關于作者

Vanessa Braunstein 在 NVIDIA 的醫(yī)療團隊從事產品營銷工作。此前，她在基因組學、醫(yī)學成像、制藥、化學和診斷公司從事產品開發(fā)和營銷。她學習分子和細胞生物學、公共衛(wèi)生和商業(yè)。

Marc Edgar 是 NVIDIA 的醫(yī)療設備高級聯盟經理，幫助各種規(guī)模的醫(yī)療保健公司發(fā)展，以提高質量、可負擔性和獲得醫(yī)療保健的機會。在加入 NVIDIA 之前，他在 General Ele CTR ic 工作了超過 25 年。他開發(fā)并商業(yè)化了許多 AI / ML 算法，并在醫(yī)療保健和工業(yè)領域擁有 16 項專利。

審核編輯：郭婷