SIGGRAPH主題演講：NVIDIA首席執(zhí)行官帶來(lái)生成式AI多項(xiàng)創(chuàng)新

在生成式AI繼續(xù)席卷日益數(shù)字化和互聯(lián)化的世界之際，NVIDIA創(chuàng)始人兼首席執(zhí)行官黃仁勛重返全球知名的計(jì)算機(jī)圖形大會(huì) SIGGRAPH舞臺(tái)。

“生成式AI時(shí)代和AI的iPhone時(shí)刻已經(jīng)到來(lái)”，黃仁勛在SIGGRAPH現(xiàn)場(chǎng)向數(shù)千名觀眾發(fā)表了主題演講，并通過(guò)直播分享給全球觀眾。

黃仁勛發(fā)布了GH200 Grace Hopper 超級(jí)芯片平臺(tái)和一個(gè)名為NVIDIA AI Workbench的全新統(tǒng)一工作空間，以簡(jiǎn)化NVIDIA AI平臺(tái)上模型的調(diào)節(jié)和部署。此外，他宣布將對(duì)NVIDIA Omniverse進(jìn)行重大升級(jí)，加入對(duì)生成式AI和 OpenUSD的支持。

這些發(fā)布旨在將過(guò)去十年所有的創(chuàng)新結(jié)合在一起，其中包括人工智能、虛擬世界、加速、模擬、協(xié)作等創(chuàng)新與技術(shù)。

黃仁勛表示：“計(jì)算機(jī)圖形學(xué)和 AI 密不可分，圖形學(xué)需要 AI，AI 也需要圖形學(xué)。”他解釋說(shuō)，AI 將在虛擬世界中學(xué)習(xí)技能，于此同時(shí)，AI 也可以用于創(chuàng)建虛擬世界。

AI和實(shí)時(shí)圖形的基礎(chǔ)

黃仁勛表示，“五年前在 SIGGRAPH 上，NVIDIA 將 AI 和實(shí)時(shí)光線追蹤引入 GPU ，從此顛覆了計(jì)算機(jī)圖形。不僅如此，在 NVIDIA 通過(guò) AI 重塑計(jì)算機(jī)圖形的同時(shí)，也致力于為 AI 重塑 GPU?！?br />
這些努力換來(lái)的成果是越來(lái)越強(qiáng)大的系統(tǒng)。例如 NVIDIA HGX H100，它利用 8 個(gè) GPU 和總共 1 萬(wàn)億個(gè)晶體管來(lái)實(shí)現(xiàn)加速計(jì)算，超越基于CPU的系統(tǒng) 。

“這就是全球數(shù)據(jù)中心迅速轉(zhuǎn)向加速計(jì)算的原因，”黃仁勛告訴觀眾。 “買得越多，省得越多?！?br />
為了延續(xù) AI 的發(fā)展勢(shì)頭，NVIDIA 打造了 Grace Hopper 超級(jí)芯片NVIDIA GH200，該芯片結(jié)合了 72 核 Grace CPU 和 Hopper GPU，并已于 5 月全面投產(chǎn)。

黃仁勛介紹說(shuō)，已經(jīng)投產(chǎn)的 NVIDIA GH200 將補(bǔ)充一個(gè)配備領(lǐng)先 HBM3e 內(nèi)存的附加版本。

黃仁勛宣布推出新一代 GH200 Grace Hopper 超級(jí)芯片，它能夠連接多個(gè) GPU，以實(shí)現(xiàn)卓越的性能和易于擴(kuò)展的服務(wù)器設(shè)計(jì)。

專為處理世界上復(fù)雜的生成式工作負(fù)載而構(gòu)建的新平臺(tái)，將提供多種配置，其中涵蓋大型語(yǔ)言模型、推薦系統(tǒng)和矢量數(shù)據(jù)庫(kù)等。

與當(dāng)前一代產(chǎn)品相比，雙配置的內(nèi)存容量增加了 3.5 倍，帶寬增加了 3 倍，包括一臺(tái)具有 144 個(gè) Arm Neoverse 核心、8 petaflops 的 AI 性能和 282 GB 最新 HBM3e 內(nèi)存技術(shù)的單服務(wù)器。

領(lǐng)先的系統(tǒng)制造商預(yù)計(jì)將在 2024 年第二季度交付基于該平臺(tái)的系統(tǒng)。

NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛在SIGGRAPH 主題演講的現(xiàn)場(chǎng)，座無(wú)虛席

NVIDIA AI Workbench加速自定義生成式AI的應(yīng)用

為了加快全球企業(yè)對(duì)自定義生成式AI的應(yīng)用，黃仁勛發(fā)布了NVIDIA AI Workbench。該平臺(tái)為開發(fā)者提供了一個(gè)統(tǒng)一、易用的工作空間，使他們能夠在個(gè)人電腦或工作站上快速創(chuàng)建、測(cè)試和微調(diào)生成式AI模型，然后將這些模型擴(kuò)展到幾乎所有數(shù)據(jù)中心、公有云或 NVIDIA DGX Cloud。


AI Workbench 大大降低了企業(yè)AI項(xiàng)目的門檻。開發(fā)者通過(guò)在本地系統(tǒng)上運(yùn)行的簡(jiǎn)單界面，就可以使用自定義數(shù)據(jù)對(duì)來(lái)自 Hugging Face、GitHub 和 NGC 等常見資源庫(kù)的模型進(jìn)行微調(diào)，然后在多個(gè)平臺(tái)上輕松共享。


雖然目前有成千上萬(wàn)的預(yù)訓(xùn)練模型可用，但使用許多現(xiàn)有的開源工具自定義這些模型依然十分困難且耗時(shí)。

黃仁勛表示：“為了使這種能力更加普及，我們必須使其能夠在幾乎任何地方運(yùn)行?！?br />
借助AI Workbench，開發(fā)者只需點(diǎn)擊幾下就能自定義和運(yùn)行生成式AI。開發(fā)者可以將所有必要的企業(yè)級(jí)模型、框架、SDK 和庫(kù)整合到一個(gè)統(tǒng)一的開發(fā)者工作空間中。

“有了 AI Workbench，任何人都可以做到這些?！秉S仁勛說(shuō)道。

包括戴爾科技、慧與、惠普、 Lambda、聯(lián)想和超微在內(nèi)的領(lǐng)先AI基礎(chǔ)架構(gòu)提供商正在使用AI Workbench，在本地設(shè)備等開發(fā)者想要工作的任何地點(diǎn)提供企業(yè)級(jí)生成式AI功能。

黃仁勛還宣布NVIDIA將與初創(chuàng)企業(yè)Hugging Face一起為數(shù)百萬(wàn)開發(fā)者提供生成式AI超級(jí)計(jì)算，幫助他們構(gòu)建大型語(yǔ)言模型等高級(jí)AI應(yīng)用。


開發(fā)者將能夠使用Hugging Face 平臺(tái)內(nèi)的NVIDIA DGX Cloud AI 超級(jí)計(jì)算訓(xùn)練和調(diào)整高級(jí) AI 模型。

黃仁勛表示，“這將是一項(xiàng)全新的服務(wù)，將世界上頂尖的AI社區(qū)與頂尖的訓(xùn)練和基礎(chǔ)設(shè)施連接起來(lái)?！?br />
在視頻展示中，黃仁勛演示了 AI Workbench 和 ChatUSD 如何將這一切結(jié)合在一起：用戶在 GeForce RTX 4090 筆記本電腦上啟動(dòng)項(xiàng)目，隨著項(xiàng)目變得復(fù)雜，可以輕松地將項(xiàng)目擴(kuò)展到工作站，亦或者是數(shù)據(jù)中心。

使用 Jupyter Notebook，用戶可以訓(xùn)練模型使其生成 Toy Jensen 的太空?qǐng)D片。因?yàn)槟Ｐ蛷奈匆娺^(guò)Toy Jensen，如果此時(shí)模型提供的結(jié)果不理想，用戶可以使用 Toy Jensen 的八張圖像微調(diào)模型，然后再次訓(xùn)練它以獲得更準(zhǔn)確的結(jié)果。

最終，通過(guò) AI Workbench，可以將新模型部署到企業(yè)應(yīng)用程序中。

全新NVIDIA Enterprise 4.0 推進(jìn)AI部署

為進(jìn)一步加快生成式AI的應(yīng)用，NVIDIA發(fā)布了企業(yè)軟件套件的最新版本 —— NVIDIA AI Enterprise 4.0。

NVIDIA AI Enterprise為企業(yè)提供采用生成式AI所需的工具，同時(shí)帶來(lái)了大規(guī)模企業(yè)部署所需的安全性和API穩(wěn)定性。

Omniverse 的重大升級(jí)：加入對(duì)生成式AI和 OpenUSD的支持以實(shí)現(xiàn)工業(yè)數(shù)字化

黃仁勛發(fā)布了 NVIDIA Omniverse 的重要更新，這是一個(gè) OpenUSD 原生開發(fā)平臺(tái)，用于跨工具構(gòu)建、模擬和協(xié)作，為開發(fā)人員和企業(yè)提供新的基礎(chǔ)應(yīng)用程序和服務(wù)，以利用 OpenUSD 框架和生成式 AI 優(yōu)化和增強(qiáng)他們的 3D 流程和虛擬世界。


他還宣布了 NVIDIA 對(duì) OpenUSD 的貢獻(xiàn)，OpenUSD 是用于描述、模擬和跨 3D 工具協(xié)作的框架和通用流通平臺(tái)。

Omniverse 平臺(tái)的更新包括 Omniverse Kit（用于開發(fā)原生 OpenUSD 應(yīng)用和擴(kuò)展程序的引擎）以及 NVIDIA Omniverse Audio2Face 基礎(chǔ)應(yīng)用和空間計(jì)算功能的升級(jí)。

Cesium、Convai、Move AI、SideFX Houdini 和 Wonder Dynamics 現(xiàn)已通過(guò) OpenUSD 與 Omniverse 相連。

Adobe 和NVIDIA 宣布計(jì)劃將在Omniverse為用戶提供 Adobe Firefly（Adobe的創(chuàng)作生成式AI模型系列）的 API 接口，以擴(kuò)大雙方在 Adobe Substance 3D、生成式AI和 OpenUSD項(xiàng)目方面的合作。


Omniverse 用戶現(xiàn)在可以構(gòu)建與其他基于 OpenUSD 的空間計(jì)算平臺(tái)（例如 ARKit 和 RealityKit）兼容的內(nèi)容、體驗(yàn)和應(yīng)用程序。

黃仁勛宣布將為開發(fā)者和企業(yè)提供種類廣泛的框架、資源和服務(wù)，以加快通用場(chǎng)景描述（即OpenUSD）的應(yīng)用，包括地理空間數(shù)據(jù)模型、指標(biāo)組裝和模擬就緒（或 SimReady）、OpenUSD 規(guī)格等。

黃仁勛還發(fā)布了四款NVIDIA打造的全新Omniverse Cloud API，使開發(fā)者能夠更加流暢地實(shí)施和部署OpenUSD流程和應(yīng)用。
· ChatUSD：它是一個(gè)大語(yǔ)言模型 (LLM) 代理，可幫助開發(fā)人員和藝術(shù)家處理 OpenUSD 數(shù)據(jù)和場(chǎng)景，用于從文本生成 Python-USD 代碼腳本并回答USD知識(shí)問(wèn)題。
· RunUSD：一個(gè)云API，通過(guò)檢查上傳文件與 OpenUSD 版本的兼容性，將 OpenUSD 文件轉(zhuǎn)換為全路徑追蹤渲染圖像，并使用 Omniverse Cloud 生成渲染圖像。
· DeepSearch： 一個(gè)LLM 代理，可在海量無(wú)標(biāo)記資產(chǎn)數(shù)據(jù)庫(kù)中進(jìn)行快速語(yǔ)義搜索。
· USD-GDN Publisher：一項(xiàng)一鍵式服務(wù)，使企業(yè)和軟件制造商能夠從基于 Omniverse 的應(yīng)用程序（例如 USD Composer）向 Omniverse Cloud圖形交付網(wǎng)絡(luò) (GDN) 發(fā)布高保真、基于 OpenUSD 的體驗(yàn)，并實(shí)時(shí)流式傳輸?shù)骄W(wǎng)絡(luò)瀏覽器和移動(dòng)設(shè)備。

上周，NVIDIA 宣布與皮克斯、Adobe、蘋果和 Autodesk 共同創(chuàng)立 OpenUSD 聯(lián)盟。

強(qiáng)大的新型臺(tái)式電腦系統(tǒng)和服務(wù)器

黃仁勛表示NVIDIA和全球工作站廠商將發(fā)布性能強(qiáng)大的全新RTX工作站，為生成式AI和數(shù)字化時(shí)代的開發(fā)和內(nèi)容創(chuàng)建提供更強(qiáng)大的算力。

來(lái)自BOXX、戴爾科技、惠普和聯(lián)想等廠商的這些系統(tǒng)配備NVIDIA RTX 6000 Ada GPU以及 NVIDIA AI Enterprise和NVIDIA Omniverse Enterprise軟件。

NVIDIA還發(fā)布了三款全新的桌面工作站基于Ada架構(gòu)的GPU —— NVIDIA RTX 5000、RTX 4500和 RTX 4000，為全球?qū)I(yè)人員提供最新的AI、圖形和實(shí)時(shí)渲染技術(shù)。

黃仁勛還詳細(xì)介紹了NVIDIA如何與全球數(shù)據(jù)中心系統(tǒng)廠商一起通過(guò)搭載全新NVIDIA OVX繼續(xù)大力推動(dòng)生成式 AI 和工業(yè)數(shù)字化的發(fā)展。NVIDIA OVX 基于功能強(qiáng)大的通用數(shù)據(jù)中心處理器NVIDIA L40S GPU 打造而成。

這些性能強(qiáng)大的新系統(tǒng)將利用NVIDIA Omniverse平臺(tái)加速高計(jì)算密集度的復(fù)雜應(yīng)用，包括AI訓(xùn)練和推理、3D設(shè)計(jì)和可視化、視頻處理、工業(yè)數(shù)字化等。

NVIDIA研究帶來(lái)新的創(chuàng)新

NVIDIA研究人員將在SIGGRAPH的實(shí)時(shí)現(xiàn)場(chǎng)活動(dòng)上展示一種生成式AI工作流程，幫助藝術(shù)家使用文本或圖像提示更快生成自定義紋理材質(zhì)和進(jìn)行更加精密的創(chuàng)作控制，從而快速創(chuàng)建并迭代 3D 場(chǎng)景的材質(zhì)。

NVIDIA研究部門還演示了AI如何通過(guò)全新 3D 功能將視頻會(huì)議的質(zhì)量提升到新的水平。此外，NVIDIA最近發(fā)表了一篇論文，闡述AI如何利用最少的捕捉設(shè)備支持3D視頻會(huì)議系統(tǒng)。

Maxine的生產(chǎn)版本現(xiàn)已在NVIDIA Enterprise中推出。專業(yè)人員和創(chuàng)作者即便使用普通的麥克風(fēng)和網(wǎng)絡(luò)攝像頭，也能夠利用AI的強(qiáng)大功能創(chuàng)造出高質(zhì)量的音頻和視頻效果。