NVIDIA視覺生成式AI的最新進展

NVIDIA Research 發(fā)表 50 多篇論文，介紹 AI 軟件在創(chuàng)意產(chǎn)業(yè)、自動駕駛汽車開發(fā)、醫(yī)療和機器人領(lǐng)域的潛在應(yīng)用。

NVIDIA 的研究人員站在快速發(fā)展的視覺生成式 AI 領(lǐng)域最前沿，正在開發(fā)用于創(chuàng)建和解釋圖像、視頻與 3D 環(huán)境的新技術(shù)。

NVIDIA日前在西雅圖舉行的國際計算機視覺與模式識別會議（CVPR）上展示 50 多個此類項目成果。其中的兩篇論文（一篇關(guān)于擴散模型訓練動態(tài)，另一篇關(guān)于自動駕駛汽車高清地圖）入圍了 CVPR 最佳論文獎。

NVIDIA 同時還在 CVPR 自動駕駛大型挑戰(zhàn)賽中獲得了大規(guī)模端到端駕駛類別第一名。這座重要的里程碑代表 NVIDIA 正在將生成式 AI 全面應(yīng)用于自動駕駛模型。NVIDIA 提交的獲獎作品在全球 450 多件參賽作品中脫穎而出，還獲得了 CVPR 創(chuàng)新獎。

NVIDIA 在 CVPR 上展示的研究成果包括：一種可輕松定制以描繪特定物體或角色的文本轉(zhuǎn)圖像模型、全新的物體姿態(tài)估計模型、神經(jīng)輻射場（NeRF）編輯技術(shù)以及一種能夠理解流行語的視覺語言模型等。另外還展示了介紹汽車、醫(yī)療和機器人等行業(yè)的特定領(lǐng)域創(chuàng)新的論文。

這些研究成果都加入了強大的 AI 模型，幫助創(chuàng)作者能夠更快地將其藝術(shù)構(gòu)想變?yōu)楝F(xiàn)實，加快制造業(yè)自主機器人的訓練速度，通過協(xié)助處理放射學報告為醫(yī)療專業(yè)人員提供支持。

NVIDIA 感知與學習研究副總裁 Jan Kautz 表示：“人工智能，尤其是生成式人工智能，是一次關(guān)鍵的技術(shù)進步。從可以為專業(yè)創(chuàng)作者提供超強助力的強大圖像生成模型，一直擴展到可以幫助開發(fā)新一代自動駕駛汽車的自動駕駛軟件，都將在 CVPR 上呈現(xiàn) NVIDIA Research 如何不斷拓寬技術(shù)邊界?！?/p>

NVIDIA 還在 CVPR 上發(fā)布了 NVIDIA Omniverse Cloud Sensor RTX，這套能實現(xiàn)物理級精確傳感器仿真的微服務(wù)，從而加速各類全自主機器的開發(fā)工作。

無需微調(diào)，JeDi 簡化自定義圖像生成

擴散模型是當前基于文本生成圖像的核心方法。使用擴散模型的創(chuàng)作者通常以一個特定的角色或物體為中心，例如圍繞一只動畫老鼠創(chuàng)作一個故事，或者集思廣益討論一款特定玩具的廣告等。

此前的研究已經(jīng)讓這些創(chuàng)作者能夠通過微調(diào)（即用戶在自定義數(shù)據(jù)集上訓練模型）對擴散模型的輸出結(jié)果進行個性化處理，使模型能夠?qū)Ｗ⒂谔囟ǖ闹黝}。但這一過程非常耗時，而且不支持普通用戶使用。

由約翰-霍普金斯大學（Johns Hopkins University）、豐田工業(yè)大學芝加哥分校（Toyota Technological Institute at Chicago）和 NVIDIA 研究人員共同撰寫的論文《JeDi》提出了一種新的技術(shù)，使用戶只需要使用參考圖像就能在幾秒鐘內(nèi)輕松實現(xiàn)個性化的擴散模型輸出結(jié)果。研究小組發(fā)現(xiàn)該模型達到了最先進的質(zhì)量水平，明顯優(yōu)于當前基于微調(diào)和無微調(diào)的方法。

JeDi 還可以與檢索增強生成（RAG）相結(jié)合，為品牌產(chǎn)品目錄等數(shù)據(jù)庫生成特定視覺效果。

新基礎(chǔ)模型讓姿態(tài)更完美

NVIDIA 研究人員還在 CVPR 上展示了用于物體姿態(tài)估計和跟蹤的基礎(chǔ)模型 FoundationPose。該模型無需進行微調(diào)，即可在推理過程中即時應(yīng)用于新的物體。

該模型通過一小組參考圖像或者物體的 3D 呈現(xiàn)了解物體的形狀，并且在流行的物體姿態(tài)估計基準測試中創(chuàng)下了新紀錄。在了解物體形狀后，它就可以識別并跟蹤物體在視頻中的 3D 移動和旋轉(zhuǎn)情況，即使在光線條件較差或有視覺障礙物的復雜場景中也不受影響。

FoundationPose 可用于工業(yè)應(yīng)用，以幫助自主機器人識別和跟蹤與之交互的物體。它還可以用于增強現(xiàn)實應(yīng)用，使用 AI 模型在實時場景上疊加視覺效果。

NeRFDeformer 轉(zhuǎn)換 3D 場景，

只需一張快照

NeRF 是一種 AI 模型，可以基于在環(huán)境不同位置拍攝的一系列 2D 圖像進行 3D 場景渲染。在機器人等領(lǐng)域，NeRF 可用于生成現(xiàn)實世界復雜場景的沉浸式 3D 渲染，例如雜亂無章的房間或建筑工地等。一旦需要進行更改，開發(fā)人員就需要手動定義場景的轉(zhuǎn)變方式，或者重新制作 NeRF。

伊利諾伊大學香檳分校（University of Illinois Urbana-Champaign）和 NVIDIA 的研究人員則使用 NeRFDeformer 簡化了這一過程。在 CVPR 大會上展示的這一方法，可以利用單張 RGB-D 圖像成功轉(zhuǎn)換現(xiàn)有的 NeRF。RGB-D 圖像由正常照片與深度圖組合而成，深度圖可以捕捉到場景中每個物體與攝像機之間的距離。

VILA 視覺語言模型獲取圖像

NVIDIA 與麻省理工學院（MIT）聯(lián)合開展的 CVPR 研究項目正在推動視覺語言模型技術(shù)的發(fā)展。視覺語言模型是一種能夠處理視頻、圖像和文本的生成式 AI 模型。

該研究小組開發(fā)的 VILA 是一個開源視覺語言模型系列。在測試 AI 模型回答圖像問題能力的關(guān)鍵基準測試中，VILA 的表現(xiàn)優(yōu)于先前的神經(jīng)網(wǎng)絡(luò)。VILA 獨特的預訓練流程解鎖了新的模型能力，包括更加深厚的世界知識、更強大的上下文學習能力以及多圖像間的推理能力。

VILA 可以理解流行語并基于多個圖像或視頻進行推理。

VILA 模型系列支持使用 NVIDIA TensorRT-LLM 開源程序庫進行推理優(yōu)化，并且可以部署在數(shù)據(jù)中心、工作站甚至邊緣設(shè)備的 NVIDIA GPU 上。

在 NVIDIA 技術(shù)博客和 GitHub 上均可進一步了解 VILA。

生成式 AI 助力自動駕駛和智慧城市研究

在 NVIDIA 主筆的 CVPR 論文中，關(guān)于自動駕駛汽車研究的論文有十多篇。其他與自動駕駛汽車相關(guān)的重點內(nèi)容包括：

NVIDIA 自動駕駛汽車應(yīng)用研究，贏得 CVPR 自動駕駛挑戰(zhàn)賽冠軍并在如下 demo 中進行了演示。

NVIDIA AI 研究副總裁 Sanja Fidler 于 6 月 17 日的自動駕駛研討會上發(fā)表關(guān)于視覺語言模型的演講。

多倫多大學和 NVIDIA 研究人員共同撰寫的論文《在軌跡預測中生成和利用在線地圖的不確定性》成為 24 篇入圍 CVPR 最佳論文獎的論文之一。

此外，在本屆 CVPR 上，NVIDIA 為 AI 城市挑戰(zhàn)賽提供了有史以來最大的室內(nèi)合成數(shù)據(jù)集，助力研究人員和開發(fā)人員推進智慧城市與工業(yè)自動化解決方案的開發(fā)。該挑戰(zhàn)賽的數(shù)據(jù)集使用 NVIDIA Omniverse 生成，這是一個由 API、SDK 和服務(wù)構(gòu)成的平臺，可幫助開發(fā)人員構(gòu)建基于通用場景描述（OpenUSD）的應(yīng)用和工作流。

NVIDIA Research 在全球擁有數(shù)百名科學家和工程師，專注于 AI、計算機圖形學、計算機視覺、自動駕駛汽車和機器人等領(lǐng)域的研究。