使用Clara Holoscan加速AI推理和圖形可視化

NVIDIA Clara Holoscan 為開發(fā)人員提供了一個可擴展的醫(yī)療設備計算平臺，以創(chuàng)建人工智能微服務并實時提供見解。該平臺優(yōu)化了數據管道的每個階段：從高帶寬數據流和基于物理的分析到加速 AI 推理和圖形可視化。

目前可用的 NVIDIA Clara AGX Developer Kit 將 AGX Xavier SoC的高效基于Arm的嵌入式計算與 NVIDIA ConnectX-6 network processor 強大的 NVIDIA RTX 6000 GPU 和100GbE連接相結合。這為下一代智能、軟件定義的嵌入式醫(yī)療設備帶來了實時AI加速。開發(fā)者使用 Clara AGX開發(fā)者工具包進行外科視頻應用，如AI增強內窺鏡檢查、腹腔鏡檢查或其他微創(chuàng)手術，需要在其視頻處理路徑中盡可能減少端到端延遲?？蛻艚裉炜梢栽?Clara AGX開發(fā)工具包上使用 Clara Holoscan SDK v0.1 ，2022年下半年可以在下一代開發(fā)工具包上使用 Clara Holoscan SDK v0.1 。

手術視頻的需求要求內窺鏡捕獲的圖像與投影到監(jiān)視器上的圖像之間具有一致且可靠的低延遲。這為外科醫(yī)生提供了對工具的實時控制和對患者的監(jiān)控。

在典型的內窺鏡系統(tǒng)中，圖像在內窺鏡中的攝像機傳感器處數字化，由 FPGA 或 ASIC 序列化，并傳輸到視頻處理器，在視頻處理器中寫入輸入幀緩沖器，進行處理，寫入輸出幀緩沖器，然后串行傳輸到監(jiān)視器。每個步驟都會給視頻管道增加延遲。希望添加高級 GPU – 加速 AI 處理的開發(fā)人員會面臨額外的傳輸延遲，因為需要將數據從視頻捕獲卡寫入系統(tǒng)內存，然后通過 CPU 傳輸和 PCIe 總線連接到［ZFBB］。

GPU 計算性能是英偉達 NTV2 SDK 16.1 全息掃描平臺的一個關鍵組成部分。為了優(yōu)化基于 GPU 的視頻處理應用程序， NVIDIA 與 AJA Video Systems 合作，將其視頻捕獲卡系列與 Clara AGX 開發(fā)工具包集成。 AJA 提供了一系列經驗證的專業(yè)視頻 I / O 設備。 NVIDIA 和 AJA 之間的合作關系導致自 Clara 發(fā)布以來， AJA NTV2 SDK 和設備驅動程序中增加了 Clara AGX 開發(fā)工具包支持。

AJA 驅動程序和 SDK 現在為 NVIDIA GPU 提供 GPUDirect 支持。此功能使用遠程直接內存訪問（ RDMA ）將視頻數據直接從捕獲卡傳輸到 GPU 內存。這大大減少了 GPU 視頻處理應用程序的延遲和系統(tǒng) PCIe 帶寬，因為從處理管道中消除了 GPU 拷貝的系統(tǒng)內存。

AJA 設備現在還將 RDMA 支持合并到 AJA GStreamer 插件中，以實現零拷貝 GPU 緩沖區(qū)與 DeepStream SDK 的集成。 DeepStream 應用程序現在可以處理整個管道中的視頻數據，從初始捕獲到最終顯示，無需留下 GPU 內存。

NVIDIA Clara Holoscan SDK v0 。 1 構建于先前 Clara AGX SDK 的功能之上，并添加了允許詳細測量視頻 I / O 卡、 CPU 和 GPU 之間視頻傳輸延遲的工具。這將使用戶能夠通過各種配置測量延遲，使他們能夠專注于改善瓶頸和優(yōu)化工作流程，以實現最小的端到端延遲。

數據傳輸延遲是使用 Clara AGX 開發(fā)工具包和使用內部 PCIe Gen3 x8 連接的 AJA 捕獲卡測量的。下表演示了使用 GPU Direct 可以實現的延遲減少。

然后，在啟用和不啟用 GPU Direct 的情況下，測量與 GPU 之間的視頻數據傳輸的總時間，以及在 GPU 中處理的剩余時間：

請注意， GPU Direct 通過消除寫入系統(tǒng)內存的需要，將傳輸時間縮短了約一半。 GPU Direct 允許以 60 fps 的速度傳輸和處理 4K UHD RGBA 輸入?，F在可以在 16 。 666 毫秒幀時間下傳輸，而沒有 GPU Direct ，該格式無法以 60 fps 的速度傳輸。這使得未壓縮的高分辨率視頻能夠與 AI 工作流中的疊加進行本地 alpha 混合。不需要從 YUV 格式轉換為 RGBA 格式，并且在 60 fps 的幀速率上也沒有任何折衷。

關于作者

Yaniv Lazmy 是 NVIDIA 醫(yī)療團隊的技術產品經理，專注于醫(yī)療設備的加速計算和連接解決方案。在加入 NVIDIA 之前， Yaniv 是 NeuWave Medical 和 Johnson and Johnson 的嵌入式系統(tǒng)工程師。

Ian Stewart 是 Clara Holoscan 團隊的軟件工程師，專注于 GPU 加速醫(yī)療設備的優(yōu)化和部署。 Ian 在 NVIDIA 工作了十多年，跨越了各種圖形、圖像和嵌入式開發(fā)團隊。

審核編輯：郭婷