NVIDIA研究成果年度盤點(diǎn)

技術(shù)創(chuàng)新的步伐在過(guò)去一年大大加速，其中最引人注目的是 AI。2024 年，NVIDIA Research 實(shí)現(xiàn)了諸多無(wú)與倫比的重大突破。

NVIDIA Research 匯聚了數(shù)百名頂尖智慧精英，他們?cè)?AI 等諸多前沿領(lǐng)域成為推動(dòng)技術(shù)發(fā)展的中流砥柱。

在過(guò)去的一年里，NVIDIA Research 在電路、內(nèi)存架構(gòu)和稀疏算法方面取得了豐碩的研究成果，為未來(lái) GPU 性能的改進(jìn)奠定了堅(jiān)實(shí)的基礎(chǔ)。NVIDIA Research 團(tuán)隊(duì)發(fā)明了新穎的圖形技術(shù)，繼續(xù)提升實(shí)時(shí)渲染的標(biāo)準(zhǔn)。此外，還開(kāi)發(fā)了提高 AI 能效的新方法——降低能耗、占用更少的 GPU 周期并提供更優(yōu)的結(jié)果。

但今年最激動(dòng)人心的進(jìn)展都在生成式 AI 領(lǐng)域。

我們現(xiàn)在不僅可以生成圖像和文本，還可以生成 3D 模型、音樂(lè)和聲音。我們還開(kāi)發(fā)了能夠以更好控制生成內(nèi)容的技術(shù)：生成逼真的人形機(jī)器人運(yùn)動(dòng)，以及生成一系列具有相同主題的圖像。

在科學(xué)領(lǐng)域，生成式 AI 的應(yīng)用能夠提供比傳統(tǒng)數(shù)值天氣模型更準(zhǔn)確的高分辨率天氣預(yù)報(bào)。AI 模型使我們能夠準(zhǔn)確地預(yù)測(cè)血糖水平對(duì)不同食物的反應(yīng)。具身生成式 AI 正被用于開(kāi)發(fā)自動(dòng)駕駛汽車和機(jī)器人。

這些僅僅是 NVIDIA 在 2024 年取得的成就。下面，我們將深入介紹 NVIDIA Research 在生成式 AI 領(lǐng)域取得的最突出的成果。當(dāng)然，我們將繼續(xù)為 AI 開(kāi)發(fā)新的模型和方法，并期望在 2025 年取得更令人興奮的成果。

ConsiStory

AI 生成多幅以同一主角

為主題的圖像

ConsiStory 由 NVIDIA 與特拉維夫大學(xué)的研究人員聯(lián)合開(kāi)發(fā)，能夠使多幅以同一主角為主題的圖像生成變得更加容易，這對(duì)于繪制連環(huán)畫或開(kāi)發(fā)腳本等敘事型應(yīng)用場(chǎng)景來(lái)說(shuō)至關(guān)重要。

研究人員開(kāi)發(fā)出的這個(gè)方法引入了一種名為“主體驅(qū)動(dòng)的共享注意力”的技術(shù)，可將生成同一主體圖像所需的時(shí)間從 13 分鐘縮短到 30 秒左右。

閱讀 ConsiStory 論文，可訪問(wèn)：https://arxiv.org/abs/2402.03286

ConsiStory 能夠生成一系列以同一人物為主題的圖像

Edify 3D

生成式 AI 進(jìn)入新維度

NVIDIA Edify 3D 是一個(gè)基礎(chǔ)模型，它使開(kāi)發(fā)人員和內(nèi)容創(chuàng)作者能夠快速地生成 3D 物體，并利用這些物體把想法變成原型以及填充虛擬世界。

Edify 3D 可以幫助創(chuàng)作者使用 AI 生成的資產(chǎn)來(lái)快速地構(gòu)思、布局和概念化沉浸式環(huán)境。無(wú)論是新手還是經(jīng)驗(yàn)豐富的內(nèi)容創(chuàng)作者，都可以通過(guò)文本和圖像提示來(lái)利用該模型。該模型現(xiàn)在是用于開(kāi)發(fā)視覺(jué)生成式 AI 的 NVIDIA Edify 多模態(tài)架構(gòu)的一部分。

Fugatto

用于音樂(lè)、語(yǔ)音等的

靈活 AI 聲音機(jī)器

NVIDIA 的一個(gè)研究團(tuán)隊(duì)最近發(fā)布了 Fugatto。利用輸入的文本和音頻，這個(gè)基礎(chǔ)性生成式 AI 模型可以生成或轉(zhuǎn)換由任意的音樂(lè)、人聲和聲音所構(gòu)成的作品。

例如，它可以根據(jù)文本提示創(chuàng)作音樂(lè)片段、在現(xiàn)有歌曲中刪除或添加樂(lè)器、改變?nèi)寺暤目谝艋蚯榫w，甚至生成從未聽(tīng)過(guò)的全新聲音。音樂(lè)制作人、廣告公司、視頻游戲開(kāi)發(fā)者或語(yǔ)言學(xué)習(xí)工具的開(kāi)發(fā)者都有望從中受益。

GluFormer

AI 可預(yù)測(cè)四年后的

血糖水平

AI 模型 GluFormer 由魏茲曼科學(xué)研究院、初創(chuàng)公司 Pheno.AI 和 NVIDIA 的研究人員共同主導(dǎo)開(kāi)發(fā)，它能夠根據(jù)過(guò)去的血糖監(jiān)測(cè)數(shù)據(jù)，預(yù)測(cè)個(gè)人未來(lái)的血糖水平和其他健康指標(biāo)。

研究人員表示，在將飲食攝入數(shù)據(jù)添加到該模型中后，GluFormer 還能預(yù)測(cè)個(gè)人的血糖水平對(duì)特定食物和飲食變化的反應(yīng)，實(shí)現(xiàn)精準(zhǔn)的營(yíng)養(yǎng)管理。研究團(tuán)隊(duì)在其他 15 個(gè)數(shù)據(jù)集上對(duì) GluFormer 進(jìn)行了驗(yàn)證，發(fā)現(xiàn)它能很好地預(yù)測(cè)其他群體的健康狀況，包括糖尿病前期、1 型和 2 型糖尿病、妊娠糖尿病以及肥胖癥。

LATTE3D

幾乎可以做到根據(jù)文字提示

即時(shí)生成 3D 形狀

NVIDIA Research 今年發(fā)布的另一個(gè) 3D 生成模型是 LATTE3D，它就像一臺(tái)高速的虛擬 3D 打印機(jī)，能在 1 秒內(nèi)將文字提示轉(zhuǎn)換成 3D 表征。該模型生成的形狀采用標(biāo)準(zhǔn)渲染應(yīng)用中常用的格式，可輕松地服務(wù)于虛擬環(huán)境中，應(yīng)用在視頻游戲開(kāi)發(fā)、營(yíng)銷、設(shè)計(jì)項(xiàng)目或搭建機(jī)器人的虛擬訓(xùn)練場(chǎng)地。

MaskedMimic

重建人形機(jī)器人的

真實(shí)運(yùn)動(dòng)

為了推進(jìn)人形機(jī)器人的發(fā)展，NVIDIA 的研究人員發(fā)布了 MaskedMimic，這是一個(gè) AI 框架，它能夠?qū)D像修復(fù)技術(shù)（即從不完整或被遮蔽的視角重建完整數(shù)據(jù)的過(guò)程）應(yīng)用于運(yùn)動(dòng)描述中。

MaskedMimic 可以根據(jù)部分信息（例如運(yùn)動(dòng)的文字描述，或來(lái)自虛擬現(xiàn)實(shí)頭盔的頭部和手部位置數(shù)據(jù)）補(bǔ)全信息以推斷全身運(yùn)動(dòng)。它已經(jīng)成為旨在加速人形機(jī)器人開(kāi)發(fā)的研究項(xiàng)目 NVIDIA Project GR00T 的一部分。

StormCast

大大加強(qiáng)天氣預(yù)報(bào)、

氣候模擬

在氣候科學(xué)領(lǐng)域，NVIDIA Research 發(fā)布了 StormCast，這是一個(gè)用于模擬大氣動(dòng)力學(xué)的生成式 AI 模型。在全球數(shù)據(jù)上訓(xùn)練而成的其他機(jī)器學(xué)習(xí)模型的空間分辨率通常為 30 公里，時(shí)間分辨率為 6 小時(shí)，而 StormCast 達(dá)到了 3 公里的空間分辨率和每小時(shí)的時(shí)間分辨率。

NVIDIA 研究人員利用來(lái)自來(lái)自美國(guó)中部的約三年半美國(guó)國(guó)家海洋和大氣管理局（NOAA）氣候數(shù)據(jù)對(duì) StormCast 進(jìn)行了訓(xùn)練。當(dāng)與降水雷達(dá)配合使用時(shí)，StormCast 能夠提供最多提前 6 小時(shí)的預(yù)報(bào)，其準(zhǔn)確度比 NOAA 最先進(jìn)的 3 公里尺度區(qū)域天氣預(yù)報(bào)模型高出 10%。

閱讀與勞倫斯伯克利國(guó)家實(shí)驗(yàn)室和華盛頓大學(xué)的研究人員合作撰寫的 StormCast 論文，可訪問(wèn)：https://arxiv.org/abs/2408.10958

NVIDIA Research 在 AI、自動(dòng)駕駛汽車、機(jī)器人領(lǐng)域創(chuàng)下多項(xiàng)新紀(jì)錄

整個(gè) 2024 年，源自 NVIDIA Research 的模型在 AI 訓(xùn)練和推理、路線優(yōu)化、自動(dòng)駕駛等領(lǐng)域的基準(zhǔn)測(cè)試中創(chuàng)下了多項(xiàng)新紀(jì)錄。

NVIDIA cuOpt 是一項(xiàng)用于物流改進(jìn)的優(yōu)化 AI 微服務(wù)，在基準(zhǔn)測(cè)試中創(chuàng)造了 23 項(xiàng)世界紀(jì)錄。在針對(duì) AI 訓(xùn)練和推理的 MLPerf 行業(yè)基準(zhǔn)測(cè)試中，NVIDIA Blackwell 平臺(tái)展現(xiàn)了世界級(jí)的性能。

在自動(dòng)駕駛汽車領(lǐng)域，NVIDIA Research 的端到端自動(dòng)駕駛模型 Hydra-MDP 在 CVPR 2024 自動(dòng)駕駛國(guó)際挑戰(zhàn)賽上獲得了“端到端自動(dòng)駕駛”賽道冠軍。

在機(jī)器人領(lǐng)域，F(xiàn)oundationPose（一個(gè)用于 6D 姿態(tài)估計(jì)和新物體跟蹤的統(tǒng)一基礎(chǔ)模型）在基于模型的不可見(jiàn)物體姿態(tài)估計(jì) BOP 排行榜上名列第一。

NVIDIA Research在全球擁有數(shù)百名科學(xué)家和工程師，專注于 AI、計(jì)算機(jī)圖形學(xué)、計(jì)算機(jī)視覺(jué)、自動(dòng)駕駛汽車和機(jī)器人等領(lǐng)域的研究。點(diǎn)擊“閱讀原文”了解更多有關(guān) NVIDIA Research 的信息。

GTC 2025 將于2025 年 3 月 17 至 21 日在美國(guó)加州圣何塞及線上同步舉行。