0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

使用NVIDIA Clara Holoscan SDK在AI醫(yī)療設(shè)備中實(shí)現(xiàn)超高速幀速率

星星科技指導(dǎo)員 ? 來源:NVIDIA ? 作者:Julien Jomier ? 2022-10-11 14:30 ? 次閱讀

在手術(shù)室中,手術(shù)視頻流的延遲和可靠性會(huì)對患者的預(yù)后產(chǎn)生重大影響。傳感器輸入的超高速幀速率支持下一代 AI 應(yīng)用程序,可為外科醫(yī)生提供新級別的實(shí)時(shí)感知和控制。

為了將實(shí)時(shí)人工智能能力構(gòu)建到醫(yī)療設(shè)備中,以用于手術(shù)導(dǎo)航、內(nèi)窺鏡等圖像引導(dǎo)干預(yù)和醫(yī)療機(jī)器人等用例,開發(fā)人員需要能夠低延遲處理來自多個(gè)通道的組合傳感器數(shù)據(jù)的人工智能管道。

正如 GTC 2022 所宣布的, NVIDIA Clara Holoscan SDK v0.3 現(xiàn)在為 4K 視頻提供了 240 Hz 的閃電般快速幀速率。這使得開發(fā)人員能夠結(jié)合來自更多傳感器的數(shù)據(jù),并構(gòu)建能夠提供手術(shù)指導(dǎo)的 AI 應(yīng)用程序。隨著通過高速以太網(wǎng)連接的傳感器實(shí)現(xiàn)更快的數(shù)據(jù)傳輸,開發(fā)人員有了更多的工具來構(gòu)建加速的 AI 管道。

前端傳感器的實(shí)時(shí)人工智能處理

NVIDIA Clara Holoscan 通過 ConnectX SmartNIC 和 NVIDIA Rivermax SDK 實(shí)現(xiàn)高速傳感器輸入, GPUDirect RDMA 繞過 CPU 。這允許傳感器將數(shù)據(jù)高速以太網(wǎng)輸出到 AI 計(jì)算系統(tǒng)。結(jié)果是邊緣 AI 的性能無與倫比。

傳統(tǒng)的 GStreamer 和基于 OpenGL 的內(nèi)窺鏡管道在 1080p 60 Hz 的流上具有 220 ms 的端到端延遲,而使用 Clara Holoscan 的高速管道在 4K 240 Hz 的流中僅有 10 ms 的端對端延遲。

在 NVIDIA IGX Orin Developer Kit 上以 4K 60 Hz 、 50 ms 以下的頻率流式傳輸數(shù)據(jù),團(tuán)隊(duì)可以運(yùn)行 15 個(gè)并發(fā) AI 視頻流和 30 個(gè)并發(fā)模型。

NVIDIA Rivermax 軟件開發(fā)工具包

NVIDIA Clara Holoscan 附帶的 NVIDIA Rivermax SDK 支持與 GPU 之間的直接數(shù)據(jù)傳輸。它繞過主機(jī)內(nèi)存并使用 ConnectX SmartNIC 的卸載功能,以最低的流式工作負(fù)載利用率提供一流的吞吐量和延遲。 NVIDIA Clara Holoscan 利用 Rivermax 功能為高帶寬網(wǎng)絡(luò)傳感器帶來可擴(kuò)展連接,并支持非常快速的數(shù)據(jù)傳輸。

視頻 G-SYNC

NVIDIA G-SYNC 通過將顯示器刷新率與 GPU 同步,實(shí)現(xiàn)了高顯示性能,從而消除了屏幕撕裂現(xiàn)象,并最大限度地減少了顯示器斷斷續(xù)續(xù)和輸入延遲。因此, AI 推理可以以非常低的延遲顯示。

NVIDIA Clara HoloViz

Clara HoloViz 是 Holoscan 中用于可視化數(shù)據(jù)的模塊。 Clara HoloViz 將實(shí)時(shí)幀流與多個(gè)不同的其他層(如分段掩碼層、幾何體層和 GUI 層)組合在一起。

為了獲得最佳性能, Clara HoloViz 使用了 Vulkan ,它已經(jīng)作為 NVIDIA 驅(qū)動(dòng)程序的一部分安裝。

Clara HoloViz 在其 API 中使用了立即模式設(shè)計(jì)模式的概念。應(yīng)用程序不會(huì)創(chuàng)建和存儲(chǔ)任何對象。這使得在 Holoscan 應(yīng)用程序中快速構(gòu)建和更改可視化效果變得容易。

改進(jìn)的開發(fā)人員體驗(yàn)

NVIDIA Clara Holoscan SDK v0.3 版本顯著改善了開發(fā)體驗(yàn)。首先,為創(chuàng)建 GXF 擴(kuò)展添加了一個(gè)新的 C ++ API ,這為開發(fā)人員構(gòu)建他們想要的應(yīng)用程序提供了額外的途徑。其次,對 x86 處理器的支持允許開發(fā)人員快速開始開發(fā) AI 應(yīng)用程序,然后可以輕松地部署在 IGX 開發(fā)工具包上。第三,這個(gè)最新版本豐富了自帶模型( BYOM )支持。

Holoscan C++ API

Holoscan C ++ API 提供了一種新的方便的方式來組成 GXF 工作流,而無需編寫 YAML 文件。 Holoscan C ++ API 使創(chuàng)建應(yīng)用程序的方法更加靈活和可擴(kuò)展。它被設(shè)計(jì)成 GXF 框架 API 的直接替代品,并為 GXF 組件提供了通用接口。

image2-3.png

圖 1.Holoscan API 的主要組件

應(yīng)用: 應(yīng)用程序獲取并處理流數(shù)據(jù)。應(yīng)用程序是片段的集合,其中每個(gè)片段都可以分配到 Holoscan 集群的物理節(jié)點(diǎn)上執(zhí)行。

片段: 片段是應(yīng)用程序的構(gòu)建塊。它是運(yùn)算符的有向無環(huán)圖( DAG )。在執(zhí)行期間,可以將片段分配給 Holoscan 集群的物理節(jié)點(diǎn)。運(yùn)行時(shí)執(zhí)行管理跨片段的通信。在片段中,操作符(圖形節(jié)點(diǎn))通過流(圖形邊)相互連接。

運(yùn)算符: 運(yùn)算符是此框架中最基本的工作單元。操作員在輸入端口接收流數(shù)據(jù),對其進(jìn)行處理,并將其發(fā)布到其輸出端口之一。 GXF 中的 codelet 將替換為框架中的運(yùn)算符。運(yùn)營商將 GXF 實(shí)體的接收器和發(fā)射器封裝為運(yùn)營商的 I / O 端口。

資源: 操作員執(zhí)行作業(yè)所需的資源,如系統(tǒng)內(nèi)存或 GPU 內(nèi)存池。資源在應(yīng)用程序的初始化階段分配。該資源與 GXF 內(nèi)存分配器或從 GXF 中的組件類派生的任何其他組件的語義相匹配。

條件: 條件是一個(gè)謂詞,可以在運(yùn)行時(shí)進(jìn)行計(jì)算,以確定是否應(yīng)該執(zhí)行運(yùn)算符。這與 GXF Scheduling Term 類的語義相匹配。

端口: 兩個(gè)運(yùn)算符之間的交互點(diǎn)。操作員在輸入端口接收數(shù)據(jù),并在輸出端口發(fā)布數(shù)據(jù)。 GXF 中的接收器、發(fā)射器和 MessageRouter 被替換為操作員的 I / O 端口概念。

執(zhí)行器: 執(zhí)行器管理物理節(jié)點(diǎn)上片段的執(zhí)行。框架提供了一個(gè)使用 GXF 調(diào)度程序執(zhí)行應(yīng)用程序的默認(rèn)執(zhí)行器。

您可以在 SDK documentation 中找到有關(guān)新 C ++ API 的更多信息。請參閱 public source code repository 中使用新 C ++ API 跟蹤內(nèi)窺鏡工具的完整 AI 應(yīng)用程序示例。

支持 x86 系統(tǒng)

NVIDIA Clara Holoscan SDK 的設(shè)計(jì)考慮了各種硬件系統(tǒng)。除了 NVIDIA IGX DevKit 和 Clara AGX DevKit 之外,它還支持在 x86 系統(tǒng)上使用 SDK 。有了 x86 支持,沒有 DevKit 的研究人員和開發(fā)人員可以在 x86 機(jī)器上使用 Holoscan SDK 快速構(gòu)建醫(yī)療設(shè)備的 AI 應(yīng)用程序。

帶上你自己的模型

Holoscan SDK 提供 AI 庫和預(yù)處理的 AI 模型,以加快構(gòu)建自己的 AI 應(yīng)用程序的時(shí)間。您還可以通過自帶模型( BYOM )支持來參考內(nèi)窺鏡和超聲波應(yīng)用程序。

作為開發(fā)人員,您可以通過將自己的模型放入作為 SDK 一部分提供的參考應(yīng)用程序中來快速構(gòu)建 AI 管道。最后, SDK 還包括傳感器 I / O 集成選項(xiàng)和性能工具,用于優(yōu)化生產(chǎn)部署的 AI 應(yīng)用程序。

軟件堆棧更新

NVIDIA Clara Holoscan SDK v0.3 版本還集成了從 NVIDIA JetPack HP1 到 Holopack 1.1 的升級,運(yùn)行 Tegra Board Support Package ( BSP )版本 34.1.2 ,以及從版本 2.4.2 到版本 2.4.3 的 GXF 升級。

開始為醫(yī)療設(shè)備構(gòu)建 AI

從培訓(xùn) AI 模型到驗(yàn)證和驗(yàn)證 AI 應(yīng)用程序,最終部署到商業(yè)生產(chǎn), Clara Holoscan 有助于簡化 AI 開發(fā)和部署。

關(guān)于作者

Julien Jomier 是 NVIDIA 的高級軟件工程經(jīng)理。他領(lǐng)導(dǎo) Holoscan Embedded SDK 的開發(fā)人員體驗(yàn)。在加入 NVIDIA 之前, Julien 曾擔(dān)任 Kitware 在美國的商業(yè)解決方案總監(jiān)和 Kitware-France 的首席執(zhí)行官,他在那里領(lǐng)導(dǎo)開發(fā) HPC 、計(jì)算機(jī)視覺醫(yī)學(xué)成像的開源解決方案。朱利安在醫(yī)學(xué)領(lǐng)域有 20 多年的經(jīng)驗(yàn),曾任放射科研究講師。

審核編輯:郭婷

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報(bào)投訴
  • 機(jī)器人
    +關(guān)注

    關(guān)注

    211

    文章

    28562

    瀏覽量

    207706
  • NVIDIA
    +關(guān)注

    關(guān)注

    14

    文章

    5053

    瀏覽量

    103365
  • AI
    AI
    +關(guān)注

    關(guān)注

    87

    文章

    31290

    瀏覽量

    269644
收藏 人收藏

    評論

    相關(guān)推薦

    醫(yī)療AI開始發(fā)力,學(xué)醫(yī)也要學(xué)“煉丹”了?

    了“煉丹”。 ? 醫(yī)療設(shè)備的大算力 Clara Holoscan醫(yī)療
    的頭像 發(fā)表于 12-02 09:03 ?4936次閱讀

    基于FPGA的超高速FFT硬件實(shí)現(xiàn)

    處理。關(guān) 鍵 詞 基二; 快速傅里葉變換; 現(xiàn)場可編程門陣列; 超高速; 大點(diǎn)數(shù)在數(shù)字信號處理的發(fā)展,許多算法如相關(guān)、濾波、譜估計(jì)、卷積等都可以化為離散傅里葉變換(DFT)來實(shí)現(xiàn)[1],因此DFT
    發(fā)表于 06-14 00:19

    請問超高速SerDes芯片設(shè)計(jì)的挑戰(zhàn)是什么?

    請問超高速SerDes芯片設(shè)計(jì)的挑戰(zhàn)是什么?
    發(fā)表于 06-17 08:49

    AI如何改變醫(yī)療影像學(xué),NVIDIA Clara賦力影像學(xué)應(yīng)用程序

    借助NVIDIA Clara,開發(fā)者們可以加速他們的醫(yī)療影像學(xué)應(yīng)用程序開發(fā)和AI實(shí)施。
    的頭像 發(fā)表于 04-02 15:20 ?3374次閱讀

    NVIDIAAI計(jì)算平臺為醫(yī)療儀器和設(shè)備提供實(shí)時(shí)傳感技術(shù)支持

    工具,機(jī)器人輔助手術(shù)、介入放射學(xué)和放射治療規(guī)劃等方面提供幫助。 為了臨床應(yīng)用方面實(shí)現(xiàn)這一點(diǎn), AI 醫(yī)療
    的頭像 發(fā)表于 11-15 15:54 ?4039次閱讀

    NVIDIA Clara AGX開發(fā)套件加速AI醫(yī)療設(shè)備開發(fā)

    NVIDIA Clara AGX 開發(fā)套件加速手術(shù)設(shè)備、X光系統(tǒng)、內(nèi)窺鏡和超聲等AI醫(yī)療設(shè)備的開
    的頭像 發(fā)表于 02-18 13:37 ?2701次閱讀

    NVIDIA 發(fā)布適用于醫(yī)療設(shè)備和計(jì)算傳感系統(tǒng)的 AI 計(jì)算平臺

    Clara Holoscan MGX 醫(yī)療級平臺配備 NVIDIA Orin 系統(tǒng)和 NVIDIA AI
    發(fā)表于 03-23 11:36 ?2034次閱讀
    <b class='flag-5'>NVIDIA</b> 發(fā)布適用于<b class='flag-5'>醫(yī)療</b><b class='flag-5'>設(shè)備</b>和計(jì)算傳感系統(tǒng)的 <b class='flag-5'>AI</b> 計(jì)算平臺

    NVIDIA醫(yī)療設(shè)備AI計(jì)算平臺 瑞芯微發(fā)布RK3588M芯片解決方案

    NVIDIA 今天推出了Clara Holoscan MGX?,這是一個(gè)供醫(yī)療設(shè)備行業(yè)邊緣開發(fā)
    的頭像 發(fā)表于 03-25 15:11 ?8725次閱讀

    NVIDIA發(fā)布Clara Holoscan MGX醫(yī)療級平臺

    Clara Holoscan MGX 醫(yī)療級平臺配備 NVIDIA Orin 系統(tǒng)和 NVIDIA AI
    的頭像 發(fā)表于 03-28 09:13 ?1602次閱讀

    NVIDIA Clara醫(yī)療成像AI模型MD.ai項(xiàng)目中的應(yīng)用

      使用 NVIDIA Clara 構(gòu)建的醫(yī)療成像 AI 模型現(xiàn)在可以云計(jì)算的 MD.ai
    的頭像 發(fā)表于 04-15 09:54 ?2981次閱讀
    <b class='flag-5'>NVIDIA</b> <b class='flag-5'>Clara</b><b class='flag-5'>醫(yī)療</b>成像<b class='flag-5'>AI</b>模型<b class='flag-5'>在</b>MD.<b class='flag-5'>ai</b>項(xiàng)目中的應(yīng)用

    使用Clara Holoscan加速AI推理和圖形可視化

      NVIDIA Clara Holoscan 為開發(fā)人員提供了一個(gè)可擴(kuò)展的醫(yī)療設(shè)備計(jì)算平臺,以創(chuàng)建人工智能微服務(wù)并實(shí)時(shí)提供見解。該平臺優(yōu)化
    的頭像 發(fā)表于 04-15 14:45 ?1294次閱讀
    使用<b class='flag-5'>Clara</b> <b class='flag-5'>Holoscan</b>加速<b class='flag-5'>AI</b>推理和圖形可視化

    使用Clara Holoscan SDK增強(qiáng)AI醫(yī)療設(shè)備流式處理工作流

      NVIDIA JetPack SDK 包含 Clara Holoscan SDK 的基本操作系統(tǒng)。對于版本 0.2 , JetPack
    的頭像 發(fā)表于 08-15 14:50 ?1351次閱讀
    使用<b class='flag-5'>Clara</b> <b class='flag-5'>Holoscan</b> <b class='flag-5'>SDK</b>增強(qiáng)<b class='flag-5'>AI</b><b class='flag-5'>醫(yī)療</b><b class='flag-5'>設(shè)備</b>流式處理工作流

    NVIDIA Clara Holoscan 助力微識醫(yī)療加速消化內(nèi)鏡 AI 應(yīng)用產(chǎn)品化

    微識醫(yī)療通過采用 NVIDIA Clara Holoscan 平臺提供的 RDMA 等技術(shù)棧加速醫(yī)療影像的傳輸與處理過程,
    的頭像 發(fā)表于 12-01 22:35 ?666次閱讀

    GTC23 | 百余家合作伙伴將 NVIDIA Clara AI 醫(yī)療平臺帶向全球

    領(lǐng)先的公司和研究人員正在構(gòu)建、整合和采用 NVIDIA Clara 軟件與服務(wù)來加速藥物研發(fā)、醫(yī)療設(shè)備、基因組學(xué)和醫(yī)療影像。 全球
    的頭像 發(fā)表于 03-25 09:15 ?501次閱讀

    NVIDIA Holoscan SDK中使用OpenCV構(gòu)建零拷貝AI傳感器處理管線

    NVIDIA HoloscanNVIDIA 的跨領(lǐng)域多模態(tài)實(shí)時(shí) AI 傳感器處理平臺,為開發(fā)者構(gòu)建端到端傳感器處理管線奠定了基礎(chǔ)。
    的頭像 發(fā)表于 07-02 11:50 ?552次閱讀
    <b class='flag-5'>在</b><b class='flag-5'>NVIDIA</b> <b class='flag-5'>Holoscan</b> <b class='flag-5'>SDK</b>中使用OpenCV構(gòu)建零拷貝<b class='flag-5'>AI</b>傳感器處理管線