NVIDIA Isaac GR00T N1開源人形機器人基礎模型+開源物理引擎Newton加速機器人開發(fā)

NVIDIA在機器人領域放了一個大招， 發(fā)布全球首個開源人形機器人基礎模型 Isaac GR00T N1；并推出開源物理引擎Newton；加速機器人的開發(fā)。

? 推出完全可定制的 GR00T N1 基礎模型，為人形機器人賦予通用技能與推理技能
? NVIDIA、Google DeepMind 和 Disney Research 合作開發(fā)新一代開源物理引擎 Newton
? 用于合成數(shù)據(jù)生成的全新 Omniverse Blueprint 和開源數(shù)據(jù)集快速開啟物理 AI 的數(shù)據(jù)飛輪

NVIDIA Isaac GR00T N1詳細解讀文檔免費下載

*附件：GR00T_1_Whitepaper.pdf

NVIDIA GR00T N1 訓練數(shù)據(jù)和任務評估場景的GitHub下載地址：
https://github.com/NVIDIA/Isaac-GR00T

NVIDIA 今日宣布推出一系列全新技術，助力人形機器人開發(fā)。其中包括全球首個開源且完全可定制的基礎模型 NVIDIA Isaac GR00T N1，該模型可賦能通用人形機器人實現(xiàn)推理及各項技能。

其他技術包括仿真框架和藍圖，如用于生成合成數(shù)據(jù)的 NVIDIA Isaac GR00T Blueprint，以及和 Google DeepMind 及 Disney Research 共同開發(fā)的、專為機器人開發(fā)而構建的開源物理引擎 Newton。

已推出的 GR00T N1 是 NVIDIA 一系列可完全定制模型中的首個模型。NVIDIA 將對這一系列模型進行預訓練，并面向全球機器人開發(fā)者發(fā)布。對于受全球勞動力短缺困擾的行業(yè)而言（勞動力缺口預計超過 5,000 萬），這一模型的推出將有助于加速這些行業(yè)的轉型。

“通用機器人的時代已經(jīng)到來，”NVIDIA 創(chuàng)始人兼 CEO 黃仁勛表示。 “借助 NVIDIA Isaac GR00T N1 以及新的數(shù)據(jù)生成和機器人學習框架，全球機器人開發(fā)者將開啟 AI 時代的全新篇章?！?/p>

GR00T N1 推動人形機器人開發(fā)者社區(qū)發(fā)展

受人類認知原理的啟發(fā)，GR00T N1 基礎模型采用雙系統(tǒng)架構。“系統(tǒng) 1”是一個快速思考的動作模型，反映人類的本能反應或直覺?！跋到y(tǒng) 2”是慢思考模型，用于進行經(jīng)過深度思考的決策制定。

系統(tǒng) 2 由視覺語言模型提供支持，它會對所處環(huán)境和接收到的指令進行推理，從而規(guī)劃行動。系統(tǒng) 1 隨后將這些規(guī)劃轉化為精確、連續(xù)的機器人運動。系統(tǒng) 1 基于人類演示數(shù)據(jù)和 NVIDIA Omniverse?平臺生成的海量合成數(shù)據(jù)進行訓練。

GR00T N1 可輕松適應并完成通用任務，如單手或雙手抓取、移動物體，將物體從一只手臂轉移到另一只手臂，或執(zhí)行需要長語境和通用技能組合的多步驟任務。這些功能可應用于物品搬運、包裝和檢查等各種使用場景中。

開發(fā)者和研究人員可以使用真實數(shù)據(jù)或合成數(shù)據(jù)針對特定人形機器人或任務對 GR00T N1進行后訓練。

在 GTC 主題演講中，黃仁勛展示了 1X 的人形機器人自主執(zhí)行室內(nèi)清理任務的過程，該過程利用了基于 GR00T N1 的后訓練策略。該款機器人的自主能力是 1X 與 NVIDIA AI 訓練協(xié)作的成果。

“人形機器人的未來開發(fā)重點在于適應能力和學習能力，”1X Technologies 首席執(zhí)行官 Bernt B?rnich 表示。 “NVIDIA 的 GR00T N1 模型在機器人推理和技能方面實現(xiàn)了重大突破。 我們僅需最少量的后訓練數(shù)據(jù)，就能在 NEO Gamma 上全面部署，這進一步推進了我們的使命——我們創(chuàng)造的機器人不是工具，而是伙伴，可以為人類提供有意義、有無限價值的幫助。”

全球其他優(yōu)先使用 GR00T N1 的領先機器人公司包括 [Agility Robotics]、[波士頓動力]、Mentee Robotics 和 [NEURA Robotics]。

NVIDIA、Google DeepMind 和 Disney Research 專注物理學

NVIDIA 宣布與 Google DeepMind 和 Disney Research 合作，共同開發(fā)開源物理引擎 Newton，可讓機器人學習如何以更高的精度處理復雜任務。

Newton 基于 [NVIDIA Warp] 框架構建，將針對機器人學習進行優(yōu)化，并與 Google DeepMind MuJoCo 和 [NVIDIA Isaac? Lab] 等仿真框架兼容。此外，三家公司還計劃讓 Newton 能夠利用迪士尼的物理引擎。

Google DeepMind 正在和 NVIDIA 合作開發(fā) MuJoCo-Warp，預計將機器人機器學習工作負載處理速度提升至 70 倍以上，并將通過 Google DeepMind 的 MJX 開源庫和 Newton 提供給開發(fā)者。

Disney Research 將成為首批使用 Newton 以推動其機器人角色平臺發(fā)展的公司之一，該平臺為下一代娛樂機器人提供支持，比如此次 GTC 主題演講中和黃仁勛一起登臺、以*星球大戰(zhàn)? *為靈感設計的富有表現(xiàn)力的 BDX 機器人，就是該平臺的成果。

“BDX 機器人只是一個開始。我們致力于以前所未有的方式，為更多角色賦予生命，而與 Disney Research、NVIDIA 和 Google DeepMind 的合作是實現(xiàn)這一愿景的關鍵，”Walt Disney 想象工程研發(fā)部門高級副總裁 Kyle Laughlin 說。 “此次合作將使我們能夠創(chuàng)造出比以往更具表現(xiàn)力、更具吸引力的新一代機器人角色，并以迪士尼獨有的方式與我們的游客建立聯(lián)系。”

NVIDIA 還將和 Disney Research 及 Intrinsic 進一步合作，為機器人數(shù)據(jù)流構建 [OpenUSD 管線和最佳實踐]。

更多數(shù)據(jù)推動機器人后訓練發(fā)展

大型、多樣化且高質量的數(shù)據(jù)集對機器人開發(fā)至關重要，但捕獲成本高昂。真實世界中，每人一天只有 24 小時，由此產(chǎn)生的人類演示數(shù)據(jù)，對于人形機器人來說是遠遠不夠的。

今天宣布的[用于合成運動生成的 NVIDIA Isaac GR00T Blueprint] 有助于應對這一挑戰(zhàn)。 該藍圖基于 Omniverse 和 [NVIDIA Cosmos Transfer] 世界基礎模型構建，讓開發(fā)者可以通過少量的人工演示生成大量合成運動數(shù)據(jù)，以用于操作任務。

利用為藍圖提供的首批組件，NVIDIA 能夠在短短 11 小時內(nèi)生成 780,000 個合成軌跡，相當于 6,500 小時或連續(xù)九個月的人類演示數(shù)據(jù)。然后，通過將合成數(shù)據(jù)與真實數(shù)據(jù)相結合，與僅使用真實數(shù)據(jù)相比，NVIDIA 將 GR00T N1 的性能提高了 40%。

GTC 上還宣布，為了進一步為開發(fā)者社區(qū)提供有價值的訓練數(shù)據(jù)，NVIDIA 將發(fā)布 GR00T N1 數(shù)據(jù)集，作為更大的[開源物理 AI 數(shù)據(jù)集]的一部分，現(xiàn)在可通過 [Hugging Face]下載。

可用性

NVIDIA GR00T N1 訓練數(shù)據(jù)和任務評估場景現(xiàn)在可以通過 [Hugging Face]和 [GitHub] 下載。用于合成運動生成的 NVIDIA Isaac GR00T Blueprint 現(xiàn)在也以交互式演示形式在 [build.nvidia.com]展示，也可以通過 [GitHub] 下載。
GTC 還宣布推出了 [NVIDIA DGX Spark]，一款個人 AI 超級計算機，為開發(fā)者提供一站式系統(tǒng)，可將 GR00T N1 的功能擴展到新機器人、任務和環(huán)境，而無需進行大量自定義編程。

Newton 物理引擎預計將在今年晚些時候推出。