黃仁勛介紹NVIDIA的多項新技術(shù)

本周二，NVIDIA創(chuàng)始人兼首席執(zhí)行官黃仁勛介紹了NVIDIA的多項新技術(shù)，這些技術(shù)有望為萬億美元的產(chǎn)業(yè)帶來改變。NVIDIA的多項新技術(shù)可助力各領(lǐng)域?qū)崿F(xiàn)現(xiàn)實和虛擬世界模擬，包括自動駕駛、虛擬形象、機器人、以及地球氣候建模等領(lǐng)域。

黃仁勛在本周二的GTC線上大會發(fā)表了主題演講，帶來了NVIDIA Omniverse Avatar和NVIDIA Omniverse Replicator等多項最新發(fā)布和演示，并展示了用于3D工作流程的虛擬世界模擬和協(xié)作平臺 —— NVIDIA Omniverse，以及Omniverse是如何將NVIDIA的各項技術(shù)相結(jié)合。

他分享了使用Omniverse Avatar平臺的多個使用案例，包括用于客戶支持的Project Tokkio和用于視頻會議的Project Maxine。

黃仁勛表示：“如何使用Omniverse模擬倉庫、工廠、物理和生物系統(tǒng)、5G邊緣、機器人、自動駕駛汽車，甚至是虛擬形象的數(shù)字孿生，是一個永恒的主題?！?/p>

在主題演講的最后，他宣布NVIDIA將建立一個數(shù)字孿生來模擬和預(yù)測氣候變化。該數(shù)字孿生名為Earth Two，簡稱E-2。

全棧數(shù)據(jù)中心級開放式平臺

黃仁勛表示，加速計算推動了現(xiàn)代AI的發(fā)展，它掀起的浪潮正在涌向科學(xué)界和全球各行各業(yè)。而這一切都基于3類芯片 —— GPU、CPU、DPU，以及從云端到邊緣部署廣泛的多種系統(tǒng) —— DGX、HGX、EGX、RTX和AGX系統(tǒng)。

從圖形、AI、數(shù)據(jù)科學(xué)到機器人，NVIDIA已經(jīng)為300萬名開發(fā)者創(chuàng)建了150個加速庫。

在GTC上，NVIDIA還發(fā)布了65個全新以及更新的SDK。

黃仁勛表示：“NVIDIA加速計算是一個全棧數(shù)據(jù)中心級開放式平臺?！?/p>

在介紹NVIDIA Quantum-2時，黃仁勛將其稱為“到目前為止最先進的網(wǎng)絡(luò)平臺”，并且隨著BlueField-3 DPU的發(fā)布，全球?qū)⒂瓉碓圃売嬎恪uantum-2 所提供的超高性能、廣泛的可訪問性、以及高安全性，正是云計算供應(yīng)商和超級計算中心所需要的。

網(wǎng)絡(luò)安全是企業(yè)和國家的首要問題，黃仁勛發(fā)布了依托于三大支柱的零信任框架，以應(yīng)對這一挑戰(zhàn)。

BlueField DPU將應(yīng)用程序與基礎(chǔ)架構(gòu)隔離。最新BlueField SDK——NVIDIA DOCA 1.2實現(xiàn)了新一代分布式防火墻。黃仁勛介紹道， NVIDIA Morpheus假設(shè)入侵者已進入其內(nèi)部，會利用“加速計算和深度學(xué)習(xí)的超強力量來檢測入侵者的活動”。

Omniverse Avatar 和

Omniverse Replicator

黃仁勛表示，有了Omniverse，“我們就有了創(chuàng)建全新3D世界，或?qū)ξ锢硎澜邕M行建模的技術(shù)。”

NVIDIA還發(fā)布了Omniverse Avatar，致力于助力開發(fā)者使用Omniverse創(chuàng)建交互式角色，并使此角色具備視覺和語言能力，能夠就各類主題進行交談，并理解自然語言中的深層含義。

黃仁勛展示了Project Maxine如何利用Omniverse Avatar平臺將計算機視覺、Riva語音AI以及虛擬形象動畫和圖形連接到一個實時對話的AI機器人——“Toy Jensen Omniverse Avatar”上。

他還演示了Project Tokkio，這是一個位于自助式餐廳服務(wù)亭中的虛擬服務(wù)員，其可看到兩名顧客，與之交談并理解他們的對話。

黃仁勛還展示了Project Maxine為虛擬協(xié)作和內(nèi)容創(chuàng)建應(yīng)用添加先進視頻和音頻功能的能力。

一項演示中，一位女士在嘈雜的咖啡廳中用英語進行視頻通話，在去除背景噪音后可以清楚地聽到她所說的話。她的話被實時轉(zhuǎn)錄并翻譯成法語、德語和西班牙語，而且借助Omniverse，以上多門外語均出自虛擬形象之口，并且這位虛擬形象在對話時的聲音和語調(diào)與她本人完全相同。

為了幫助開發(fā)者創(chuàng)建訓(xùn)練AI所需的海量數(shù)據(jù)，NVIDIA發(fā)布了Omniverse Replicator——一款用于訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)的合成數(shù)據(jù)生成引擎。

NVIDIA開發(fā)了兩款Replicator合成數(shù)據(jù)生成引擎：面向通用機器人、用于Isaac Sim的Omniverse Replicator，以及面向自動駕駛汽車、用于DRIVE Sim的Omniverse Replicator。

自去年年底發(fā)布以來，Omniverse已被500家公司的設(shè)計師下載了7萬次。

AI 模型和系統(tǒng)

黃仁勛發(fā)布了用于訓(xùn)練大型語言模型的Nemo Megatron。他表示，此模型 “將成為有史以來最大的主流HPC應(yīng)用?！?/p>

圖形作為現(xiàn)代數(shù)據(jù)科學(xué)中的一種關(guān)鍵數(shù)據(jù)結(jié)構(gòu)，現(xiàn)在可以通過全新Python軟件包Deep Graph Library（DGL）投射到深度神經(jīng)網(wǎng)絡(luò)框架中。

今日發(fā)布的NVIDIA Modulus用于構(gòu)建和訓(xùn)練物理學(xué)機器學(xué)習(xí)模型，這些模型可以學(xué)習(xí)并充分遵守物理學(xué)法則。

Triton是一款適用于所有工作負(fù)載的推理服務(wù)器，其升級版現(xiàn)在可以推理森林模型，并執(zhí)行大型語言模型的多GPU多節(jié)點推理。

黃仁勛共發(fā)布了三個新的庫：

ReOpt – 面向10萬億美元的物流行業(yè)

cuQuantum – 致力于加速量子計算研究

cuNumeric – 致力于為Python社區(qū)的科學(xué)家、數(shù)據(jù)科學(xué)家以及機器學(xué)習(xí)和AI研究者而加速NumPy。

黃仁勛還發(fā)布了NVIDIA Launchpad，以助力將基于NVIDIA AI技術(shù)的服務(wù)帶到邊緣。NVIDIA正在與數(shù)據(jù)中心巨頭Equinix合作，將NVIDIA AI預(yù)安裝并集成到全球的數(shù)據(jù)中心中。

機器人技術(shù)

NVIDIA Isaac生態(tài)系統(tǒng)現(xiàn)已有700多家公司和合作伙伴，這個數(shù)字在過去4年里增長了5倍。

黃仁勛宣布，NVIDIA Isaac機器人平臺現(xiàn)可輕松集成至機器人操作系統(tǒng)（ROS）中。這是一套應(yīng)用廣泛的軟件庫和工具，適用于機器人應(yīng)用。

黃仁勛解釋道，建立在Omniverse之上的Isaac Sim是有史以來最逼真的機器人模擬器。

“該模擬器的目標(biāo)是讓機器人無法分清自己是在模擬環(huán)境中還是在現(xiàn)實世界中。” 為此，Isaac Sim Replicator可生成用于訓(xùn)練機器人的合成數(shù)據(jù)。

黃仁勛表示，Replicator可以模擬傳感器，生成自動標(biāo)記的數(shù)據(jù)，并通過一個域隨機化引擎，創(chuàng)建豐富、多樣化的訓(xùn)練數(shù)據(jù)集。

自動駕駛汽車

黃仁勛表示，所有移動之物都將實現(xiàn)完全或近乎完全的自主化?！暗?024年，絕大多數(shù)新電動車都將具備真正的自動駕駛功能。”

NVIDIA DRIVE是NVIDIA的自動駕駛汽車全棧開放式平臺，而Hyperion 8是NVIDIA最新的完整硬件和軟件架構(gòu)。其傳感器套件包括12個攝像頭、9個雷達、12個超聲波和一個前置激光雷達，所有處理均通過兩個NVIDIA Orin 系統(tǒng)級芯片進行。

黃仁勛詳細(xì)介紹了Hyperion內(nèi)置的幾項新技術(shù)，包括用于DRIVE Sim的Omniverse Replicator。Omniverse Replicator是一個基于Omniverse的自動駕駛汽車合成數(shù)據(jù)生成引擎。

NVIDIA目前正在運行Hyperion 8傳感器、4D感知、基于深度學(xué)習(xí)的多傳感器融合、特征追蹤和一個新的規(guī)劃引擎。

汽車內(nèi)部也將被徹底改變。NVIDIA Maxine技術(shù)將重新定義我們與汽車的互動方式。

“Maxine將把您的汽車變成一位管家?！?/p>

Earth Two

黃仁勛最后宣布，NVIDIA將構(gòu)建Earth Two （E-2）來模擬和預(yù)測氣候變化?！盀榱藙?chuàng)建Earth Two，我們將需要使用迄今為止發(fā)明的所有技術(shù)。”

責(zé)任編輯：haq