NVIDIA推出AI醫(yī)療健康機器人開發(fā)平臺

醫(yī)療科技的未來是機器人化——醫(yī)院將全面自動化，由 AI 驅動的手術系統(tǒng)、機器人助手和自主患者護理徹底改變現(xiàn)有醫(yī)療模式。

構建 AI 驅動的機器人系統(tǒng)面臨幾項關鍵挑戰(zhàn)。首要挑戰(zhàn)是將數(shù)據(jù)收集與專家見解相融合，另一項挑戰(zhàn)則是為逼真的解剖結構、傳感器和機器人創(chuàng)建詳細的生物力學仿真，這些仿真對于生成合成數(shù)據(jù)和訓練機器人至關重要。確保從虛擬部署無縫過渡到現(xiàn)實場景同樣關鍵，此外還需在操作過程中管理高帶寬、多模態(tài)傳感器 AI 的超低延遲問題。

這些技術瓶頸凸顯了對整體性框架的需求——該框架需包含三個核心計算模塊：用于訓練先進模型的 AI 計算，用于在高保真虛擬環(huán)境中開發(fā)和驗證機器人行為的仿真計算，以及用于臨床環(huán)境實時執(zhí)行的運行時計算。

NVIDIA Isaac for Healthcare是一款用于 AI 醫(yī)療健康機器人的開發(fā)者框架，能幫助開發(fā)者應對這些挑戰(zhàn)。Isaac for Healthcare 適用于醫(yī)療健康特定領域，基于 NVIDIA三臺計算機實現(xiàn)物理 AI。

該框架包含用于采用 MONAI 提供預訓練模型和代理式 AI 框架，其中 MAISI、Vista-3D 等模型可生成仿真工作流所需的解剖合成數(shù)據(jù)；其次，它包含用于仿真的NVIDIA Omniverse（包括NVIDIA Isaac Sim和NVIDIA Isaac Lab），開發(fā)者可以導入醫(yī)療設備/機器人、傳感器及解剖結構，以構建具有物理精確性的虛擬環(huán)境，讓機器人系統(tǒng)能安全地學習技能；第三，它包含NVIDIA Holoscan，用于實現(xiàn)在機器人端部署和進行實時傳感器處理。

該框架能夠提供數(shù)字原型設計、硬件在環(huán)（HIL）產(chǎn)品開發(fā)測試、用于 AI 訓練的合成數(shù)據(jù)生成、策略訓練，以及實時部署等，適用于各類型醫(yī)療機器人，包括：

手術與介入機器人

影像診斷機器人

康復輔助與服務機器人

NVIDIA 三臺計算機解決方案，正在為醫(yī)療健康領域的下一代 AI 機器人發(fā)展提供支持

Isaac for Healthcare：

引領醫(yī)療 AI 機器人技術新浪潮

Isaac for Healthcare 通過數(shù)字孿生與物理 AI 技術的融合，為醫(yī)療領域提供以下核心能力：

針對下一代醫(yī)療機器人系統(tǒng)、傳感器及器械的數(shù)字化原型設計。

利用高保真仿真環(huán)境生成的真實數(shù)據(jù)與合成數(shù)據(jù)訓練 AI 模型。

在具備硬件在環(huán)（HIL）的數(shù)字孿生環(huán)境中驗證 AI 模型。

通過在數(shù)字孿生環(huán)境中實現(xiàn)對機器人系統(tǒng)的擴展現(xiàn)實（XR）和 / 或具備觸覺反饋的遠程操作，收集用于通過模仿學習來訓練機器人策略的數(shù)據(jù)。

利用 GPU 并行計算來訓練強化學習和模仿學習算法，提升機器人靈巧操作能力（比如在機器人輔助手術的場景中）。

通過硬件在環(huán)數(shù)字孿生系統(tǒng)，對機器人進行持續(xù)測試（CT）。

構建從仿真到現(xiàn)實的部署應用，實現(xiàn)物理手術機器人的落地。

最新版本重點推出兩大端到端參考工作流：手術子任務自動化與自主機器人超聲掃描，全面覆蓋外科手術和醫(yī)學影像機器人應用場景，旨在加速實現(xiàn)用戶特定場景下的自主機器人能力開發(fā)。

下文將詳細解析這兩大工作流的技術實現(xiàn)。

機器人手術子任務自動化工作流

本工作流為開發(fā)者構建和部署手術子任務自動化解決方案提供標準化模板。通過整合數(shù)字孿生、強化學習與模仿學習、高保真合成數(shù)據(jù)生成以及實時機器人評估等技術，該方案為 AI 驅動的手術自動化提供了可擴展的實施路徑。

該工作流基于 ORBIT-Surgical 項目開發(fā)，該項目由 NVIDIA、PAIR 實驗室（多倫多大學與佐治亞理工學院聯(lián)合實驗室）及 AUTOLAB（加州大學伯克利分校）共同推進，并得到蘇黎世聯(lián)邦理工學院的研究協(xié)作支持。

ORBIT-Surgical 現(xiàn)正遷移至 Isaac for Healthcare 平臺，并逐漸演變?yōu)闄C器人手術子任務自動化工作流。未來，來自學術界、產(chǎn)業(yè)界和臨床醫(yī)療機構的現(xiàn)有合作伙伴及新伙伴，將共同協(xié)作推動該工作流的進一步發(fā)展。

Isaac for Healthcare 工作流 1——機器人手術子任務自動化，幫助開發(fā)者構建手術子任務自動化策略

約翰霍普金斯大學和斯坦福大學的合作團隊，將一個經(jīng)過數(shù)小時手術視頻訓練的視覺語言模型（VLM）與達芬奇研究套件（dVRK）集成，該系統(tǒng)可自主執(zhí)行三個關鍵手術任務：小心提起身體組織、使用手術針和縫合傷口（如上圖所示）。

借助這一工作流，開發(fā)人員可以將自己的手術機器人、傳感器、器械和患者模型引入 NVIDIA Omniverse，創(chuàng)建高保真手術數(shù)字孿生模型。這使他們能夠在不接觸患者的情況下，對縫合、切割和組織操作等復雜手術過程進行仿真，同時大規(guī)模生成大量基于物理原理的、逼真的合成數(shù)據(jù)，用于訓練機器人策略。

然后，這些合成生成的數(shù)據(jù)集將在 Isaac Lab 中用于訓練強化學習和模仿學習流程，或者微調現(xiàn)有的通用視覺語言動作模型（例如 π0），以使手術機器人能夠掌握人類外科醫(yī)生的技能和靈活性。

最后，在數(shù)字孿生中經(jīng)過充分訓練的策略，實現(xiàn)了從仿真到現(xiàn)實的過渡，并部署到一臺物理手術機器人上（本例中為 dVRK）。

Isaac for Healthcare 在手術子任務自動化工作流中的關鍵能力包括：

自帶（BYO）組件：使用自定義機器人、器械、耗材和解剖結構

具備仿真環(huán)境：逼真、基于物理的數(shù)字孿生模型

數(shù)據(jù)生成和收集：合成數(shù)據(jù)以及專家示范操作數(shù)據(jù)

策略訓練：用于技能獲取的強化學習和模仿學習

評估和測試：在數(shù)字孿生中進行基于 HIL 測試的基準測試

Sim2Real 遷移：將 AI 從仿真環(huán)境部署到真實手術中

Isaac for Healthcare 機器人手術子任務自動化工作流是一個主要基于 NVIDIA Omniverse 和 NVIDIA Holoscan 構建的框架

BYO 解剖學

該流程創(chuàng)建逼真解剖模型的步驟如下：從 AI 輔助的合成 CT 生成（使用NVIDIA MAISI）和分割操作（使用NVIDIA VISTA3D或 Auto3DSeg）開始，隨后進行網(wǎng)格轉換、網(wǎng)格清理和優(yōu)化、逼真紋理處理，最終將所有帶紋理的器官組裝成統(tǒng)一的 OpenUSD 文件。

該工作流能夠創(chuàng)建針對特定患者的模型，用于罕見或復雜病例的仿真。這一點尤為重要，因為此類病例的真實患者數(shù)據(jù)往往非常稀缺，這就使得仿真成為了用于培訓和術前準備的極為寶貴的工具。

逼真人體器官模型可在 GitHub 獲?。?/p>

https://github.com/isaac-for-healthcare/i4h-asset-catalog

BYO 機器人 / 儀器

該工作流基于達芬奇研究套件（dVRK）開發(fā)，但所提供的模板能夠推廣應用到其他機器人平臺。導入手術機器人的流程需要遵循 Isaac Sim 通用導入指南。詳細指導請參考 Isaac Sim URDF 導入教程。

Isaac Sim 4.5 提供了簡化的工作流，通過將機器人 CAD 模型轉換為 USD 格式來準備仿真模型。轉換為 USD 后，可進行關節(jié)裝配的關鍵步驟，包括添加關節(jié)物理特性和定義機器人的運動學屬性。完成這些關鍵準備工作后，您的機器人模型即可集成到仿真場景（數(shù)字孿生模型）中，以物理精確的方式與器官或其他物體交互。

BYO 傳感器

該工作流為 AI 策略學習提供多種感知模式。開發(fā)者可集成不同的成像傳感器（如立體相機、內窺鏡相機、深度傳感器）來定制 AI 感知流程。

專家示范數(shù)據(jù)采集

（通過遠程操作技術）

該工作流還提供方案/示例，支持通過不同手術任務的遠程操作，生成高質量示范數(shù)據(jù)，這些數(shù)據(jù)對于訓練和評估手術機器人中的 AI 模型至關重要。

各種外圍設備，包括鍵盤、空間鼠標、游戲手柄、VR 控制器和達芬奇研究套件（dVRK）的主工具操作器（MTM），都可以與數(shù)字孿生體進行通信，并提供輸入指令，來控制 Cartesian 空間中的機器人。

策略學習

對于任務自動化，支持各種先進的強化學習和模仿學習算法，例如 Action Chunking Transformer（ACT）和 https://arxiv.org/abs/2303.04137，以便獲取高效的手術技能。

自主機器人超聲工作流

超聲成像具有無創(chuàng)、便攜和安全等優(yōu)勢。然而，要獲得高質量的超聲圖像需要熟練的超聲技師操作。但是由于訓練有素的專業(yè)人員面臨日益短缺的情況，超聲成像充分展現(xiàn)了任務自動化在擴大醫(yī)療服務可及性、支持及時準確診斷方面的潛在優(yōu)勢。

該參考工作流提供了一個可復現(xiàn)、可定制且模塊化的框架，通過 AI、數(shù)字孿生和更廣泛的三臺計算系統(tǒng)框架，構建超聲機器人自動化方案。該工作流的主要功能大多與機器人手術子任務自動化工作流重疊，因此本文僅重點闡述超聲工作流特有的核心能力。

Isaac for Healthcare 工作流 2——自主機器人超聲，使開發(fā)者能夠開發(fā)機器人超聲自動化策略

使用此工作流，開發(fā)者可以將機械臂、相機傳感器、超聲探頭和患者模型導入 NVIDIA Omniverse，以創(chuàng)建高保真超聲檢查的數(shù)字孿生模型。開發(fā)人員可以構建逼真的解剖模型和虛擬探頭，對超聲波與不同密度組織的相互作用進行仿真，生成豐富的訓練數(shù)據(jù)集。

這種方法使開發(fā)人員能夠在不受物理實驗室限制的情況下，探索不同的掃描角度、壓力水平以及解剖結構的變化情況。開發(fā)者可以利用 Isaac Lab，獲取來自仿真和專家示范操作的數(shù)據(jù)，以采用強化學習或模仿學習，訓練機器人系統(tǒng)進行最佳定位，并調整超聲波探針的方向以捕獲高質量圖像。

Isaac for Healthcare 自主機器人超聲工作流框架

Isaac for Healthcare 的

早期采用者與生態(tài)系統(tǒng)合作伙伴

Isaac for Healthcare 正通過與手術機器人、介入機器人、影像機器人以及機械臂供應商等領域的領先機構合作，加速 AI 驅動的醫(yī)療機器人的發(fā)展。

在手術機器人領域，Virtual Incision正在評估 Isaac for Healthcare 在手術合成數(shù)據(jù)生成（SDG）方面的能力，以開發(fā)其未來手術機器人系統(tǒng)的自主任務能力，并利用真實仿真環(huán)境提升手術精度。

Moon Surgical正在對自主機器人設置進行原型設計，使機器人能夠動態(tài)適應外科醫(yī)生的技術和手術流程，從而提高手術的精準度和效率。

在介入機器人領域，Neptune Medical使用 NVIDIA Omniverse 和 Isaac Sim 設計與仿真機器人內窺鏡檢查，以增強診斷能力。

XCath正字利用 Isaac for Healthcare 為其血管介入機器人、治療設備和人體血管系統(tǒng)創(chuàng)建全面的數(shù)字孿生，在其基于導管的機器人系統(tǒng)中實現(xiàn)自主導航的運動規(guī)劃和控制。

Kinova和Franka等領先機械臂提供商，正在通過在 Isaac for Healthcare 中提供可直接用于仿真的預構建機械臂，推動開發(fā)者生態(tài)系統(tǒng)的發(fā)展。

結合全面的參考工作流，這些解決方案為開發(fā)者提供了堅實的技術基礎，使他們能夠快速制作原型，并將自主功能部署到醫(yī)療設備中，推動醫(yī)療機器人領域的創(chuàng)新發(fā)展。

立即開始

借助全面的資源套件來探索Isaac for Healthcare，這些資源能夠加速由 AI 驅動的醫(yī)療機器人的開發(fā)進程。

從手術子任務自動化工作流（Surgical Subtask Automation Workflow）或自主機器人超聲工作流（Autonomous Robotic Ultrasound Workflow）中進行選擇，以啟動您的項目。