利用NVIDIA技術(shù)推動下一代AI機器人發(fā)展

從人形機器人到工廠，基于物理 AI 的工業(yè)系統(tǒng)正在通過訓(xùn)練、仿真和推理加速發(fā)展。

ChatGPT 標志著生成式 AI 的大爆炸時刻。它幾乎可以針對任何查詢生成答案，有助于改變知識型員工在內(nèi)容創(chuàng)作、客戶服務(wù)、軟件開發(fā)和業(yè)務(wù)運營等方面的數(shù)字工作。

物理 AI 是 AI 在人形機器人、工廠和其它工業(yè)系統(tǒng)設(shè)備中的具象化體現(xiàn)，目前尚未達到突破點。

這阻礙了運輸和移動、制造業(yè)、物流和機器人等行業(yè)的發(fā)展。但由于三臺計算機能夠?qū)⑾冗M的訓(xùn)練、仿真和推理結(jié)合在一起，這種情況即將改變。

多模態(tài)物理 AI 的崛起

60 年來，“軟件 1.0”（由人類程序員編寫的串行代碼）在 CPU 驅(qū)動的通用計算機上運行。

隨后，在 2012 年，Alex Krizhevsky 在 Ilya Sutskever 和 Geoffrey Hinton 的指導(dǎo)下，開發(fā)了革命性的圖像分類深度學(xué)習(xí)模型 AlexNet，贏得了 ImageNet 計算機圖像識別大賽。

這標志著該行業(yè)首次接觸 AI。在 GPU 上運行神經(jīng)網(wǎng)絡(luò)，機器學(xué)習(xí)的這項突破開啟了軟件 2.0 時代。

如今，軟件自己就可以編寫軟件。世界上的計算工作負載正在從 CPU 上的通用計算轉(zhuǎn)向 GPU 上的加速計算，把摩爾定律遠遠地甩在后面。

借助生成式 AI，經(jīng)過訓(xùn)練的多模態(tài) transformer 和擴散模型可以生成響應(yīng)。

大語言模型是一維的，能夠以字母或單詞等模式預(yù)測下一個 token。圖像和視頻生成模型是二維的，能夠預(yù)測下一個像素。

這些模型都無法理解或解釋三維世界。而這就是物理 AI 大顯身手之處。

物理 AI 模型可以通過生成式 AI 來感知、理解物理世界，與物理世界交互和進行導(dǎo)航。借助加速計算，多模態(tài)物理 AI 領(lǐng)域的技術(shù)突破和基于物理的大規(guī)模仿真正在讓人們能夠通過機器人來實現(xiàn)物理 AI 的價值。

機器人是一個能夠感知、推理、計劃、行動和學(xué)習(xí)的系統(tǒng)。通常，人們把自主移動機器人（AMR）、機械臂或人形機器人看作機器人，但機器人體現(xiàn)類型還有很多。

在不久的將來，所有移動或監(jiān)控移動物體的東西都將是自主機器系統(tǒng)。這些系統(tǒng)將能夠感知環(huán)境，并對其做出反應(yīng)。

從手術(shù)室到數(shù)據(jù)中心，從倉庫到工廠，甚至交通控制系統(tǒng)或整個智慧城市，一切都將從手動操作的靜態(tài)系統(tǒng)轉(zhuǎn)變?yōu)橛晌锢?AI 體現(xiàn)的自主交互式系統(tǒng)。

下一個前沿：人形機器人

人形機器人是一種理想的通用機器人表現(xiàn)形式，因為它們可以在為人類構(gòu)建的環(huán)境中高效地運行，同時只需最小的部署和操作調(diào)整。

據(jù)高盛稱，到 2035 年，全球人形機器人市場的規(guī)模預(yù)計將達到 380 億美元，比近兩年前預(yù)測的約 60 億美元增長了六倍多。

世界各地的研究人員和開發(fā)者都在競相制造新一代機器人。

借助三臺計算機開發(fā)物理 AI

為了開發(fā)人形機器人，需要三個加速計算機系統(tǒng)來處理物理 AI 和機器人的訓(xùn)練、仿真和運行時。兩項計算技術(shù)的進步正在加速人形機器人的發(fā)展：多模態(tài)基礎(chǔ)模型和可擴展的、基于物理的機器人及其世界的仿真。

生成式 AI 的突破正在為機器人帶來 3D 感知、控制、技能規(guī)劃和智能。大規(guī)模的機器人仿真可以讓開發(fā)者在模擬物理定律的虛擬世界中改進、測試和優(yōu)化機器人技能，這有助于降低現(xiàn)實世界的數(shù)據(jù)采集成本，并確保它們能夠在安全、可控的環(huán)境中運行。

NVIDIA 打造了三個計算機和加速開發(fā)平臺，助力開發(fā)者創(chuàng)建物理 AI。

首先，在一臺超級計算機上訓(xùn)練模型。開發(fā)者可以在 NVIDIA 平臺上使用NVIDIA NeMo來訓(xùn)練和微調(diào)強大的基礎(chǔ)和生成式 AI 模型。他們還可以利用NVIDIA Project GR00T（一項為人形機器人開發(fā)通用基礎(chǔ)模型的計劃），使人形機器人能夠理解自然語言，并通過觀察人類動作來模仿動作。

其次，在NVIDIA OVX服務(wù)器上運行的NVIDIA Omniverse通過NVIDIA Isaac Sim等應(yīng)用程序編程接口和框架，為測試和優(yōu)化物理 AI 提供了開發(fā)平臺和仿真環(huán)境。

開發(fā)者可以使用 Isaac Sim 來仿真和驗證機器人模型，或者生成大量基于物理的合成數(shù)據(jù)來引導(dǎo)機器人模型的訓(xùn)練。研究人員和開發(fā)者還可以使用NVIDIA Isaac Lab，這是一個開源的機器人學(xué)習(xí)框架，為機器人強化學(xué)習(xí)和模仿學(xué)習(xí)提供動力，幫助加快機器人策略的訓(xùn)練和完善。

最后，訓(xùn)練好的 AI 模型被部署到運行時計算機上。NVIDIA Jetson Thor機器人計算機專為滿足緊湊型板載計算需求而設(shè)計。由控制策略、視覺和語言模型構(gòu)組成的模型集合構(gòu)成了機器人的大腦，并部署在一個節(jié)能的板載邊緣計算系統(tǒng)上。

根據(jù)他們的工作流和面臨的挑戰(zhàn)領(lǐng)域，機器人制造商和基礎(chǔ)模型開發(fā)者可以根據(jù)需要，使用盡可能多的加速計算平臺和系統(tǒng)。

打造下一代自主設(shè)施

機器人設(shè)施是所有這些技術(shù)的結(jié)晶。

Foxconn等制造商或亞馬遜機器人等物流公司可以組織自主機器人車隊與人類工人一起工作，并通過成百上千個傳感器來監(jiān)控工廠的運營情況。

這些自主倉庫和工廠將擁有數(shù)字孿生。數(shù)字孿生用于布局規(guī)劃和優(yōu)化、操作仿真，最重要的是，用于機器人車隊的軟件在環(huán)測試。

基于 Omniverse 構(gòu)建的“Mega”是工廠數(shù)字孿生的藍圖，使工業(yè)企業(yè)能夠在將機器人部署到實體工廠之前，先在仿真環(huán)境中測試和優(yōu)化機器人車隊，這有助于確保無縫集成、最佳性能和最小干擾。

Mega 允許開發(fā)者把虛擬機器人及其 AI 模型或機器人的大腦放入他們的工廠數(shù)字孿生中。數(shù)字孿生中的機器人通過感知環(huán)境、推理、規(guī)劃下一個動作，最后完成計劃的動作來執(zhí)行任務(wù)。

這些動作通過 Omniverse 中的世界仿真器，在數(shù)字環(huán)境中進行仿真。結(jié)果通過 Omniverse 傳感器仿真被機器人大腦感知。

通過傳感器仿真，機器人大腦決定下一個動作，循環(huán)繼續(xù)進行，與此同時，Mega 則一絲不茍地跟蹤工廠數(shù)字孿生中每個元素的狀態(tài)和位置。

這種先進的軟件在環(huán)測試方法使工業(yè)企業(yè)能夠在 Omniverse 數(shù)字孿生的安全范圍內(nèi)來仿真和驗證更改，幫助他們預(yù)測和解決潛在問題，以在實際部署過程中降低風(fēng)險和成本。

利用 NVIDIA 技術(shù)

賦能開發(fā)者生態(tài)

NVIDIA 通過三臺計算機，加速全球機器人開發(fā)者和機器人基礎(chǔ)模型構(gòu)建者生態(tài)的工作。

利用NVIDIA Isaac Manipulator、Isaac 加速庫和 AI 模型以及NVIDIA Jetson Orin，泰瑞達旗下的優(yōu)傲機器人公司構(gòu)建了 UR AI 加速器，這是一個即用型硬件和軟件工具包，使協(xié)作機器人開發(fā)者能夠開發(fā)應(yīng)用程序、加速開發(fā)，并縮短 AI 產(chǎn)品的上市時間。

RGo Robotics 使用NVIDIA Isaac Perceptor來幫助其 wheel.me 自主移動機器人隨時隨地工作，并通過賦予它們類似人類的感知能力和視覺空間信息，來做出明智的決策。

1X Technologies、Agility Robotics、Apptronik、波士頓動力公司、傅利葉、銀河通用、Mentee、Sanctuary AI、宇樹科技和小鵬機器人等人形機器人制造商正在采用 NVIDIA 的機器人開發(fā)平臺。

波士頓動力公司正在使用 Isaac Sim 和 Isaac Lab制造四足和人形機器人，以提高人類生產(chǎn)力，解決勞動力短缺問題，并優(yōu)先解決倉庫的安全問題。

傅利葉正在利用 Isaac Sim 來訓(xùn)練人形機器人，使其能夠在科學(xué)研究、醫(yī)療和制造業(yè)等需要高水平互動和適應(yīng)性的領(lǐng)域中運行。

利用 Isaac Lab 和 Isaac Sim，銀河通用開發(fā)了名為 DexGraspNet 的大型機器人靈巧抓取數(shù)據(jù)集，該數(shù)據(jù)集可應(yīng)用于各種靈巧機器手，以及用于評估靈巧抓取模型的仿真環(huán)境。

使用 Isaac 平臺和 Isaac Lab，F(xiàn)ield AI 開發(fā)了風(fēng)險受限的多任務(wù)和多用途基礎(chǔ)模型，使機器人能夠在戶外現(xiàn)場環(huán)境中安全地運行。

物理 AI 時代已經(jīng)到來，它正在改變世界的重工業(yè)和機器人技術(shù)。