NVIDIA Instant NeRF將多組靜態(tài)圖像變?yōu)?D數(shù)字場景

了解 AI 研究項目如何在數(shù)秒內(nèi)幫助藝術(shù)家等用戶用 2D 圖像打造 3D 體驗。

想象一幅風(fēng)光旖旎的畫面，比如水畔的懸崖峭壁。即便只是 2D 圖像，如此美景依舊令人心馳神往。如果同一畫面能以 3D 效果展現(xiàn)，那么無需跋涉就能身臨其境。

NVIDIA RTX 技術(shù)驅(qū)動的 AI 恰恰能讓我們得償所愿。創(chuàng)作者運用 Instant NeRF 便能在短短數(shù)秒之間將多組靜態(tài)圖像變?yōu)?3D 數(shù)字場景。

簡單好用的輻射場

AI 模型 NeRF 全稱為“神經(jīng)輻射場”，可通過輸入表現(xiàn)某個場景的 2D 圖像并在其間執(zhí)行插值，渲染完整的 3D 場景。NeRF 以神經(jīng)網(wǎng)絡(luò)的形式運行，后者是一種復(fù)制大腦組織形式的模型，常用于需要模式識別的任務(wù)。

NeRF 在運用空間位置和體積渲染的基礎(chǔ)上，通過圖像的相機位姿對場景的 3D 迭代進(jìn)行渲染。這類模型的計算量往往很大，因此對渲染能力的要求很高，耗時也較久。

NVIDIA 近日的 AI 研究項目帶來了破局之策。

Instant NeRF 使 NeRF 全面升級：通過 AI 加速的逆渲染，對光的現(xiàn)實表現(xiàn)形式進(jìn)行估計，幫助研究人員運用從不同角度拍攝的 2D 圖像構(gòu)建 3D 場景。現(xiàn)在只需幾秒即可生成場景，而且 3D 渲染成品的精細(xì)程度與 NeRF 模型的訓(xùn)練時長成正比。

在 2022 年的 SIGGRAPH 計算機圖形會議上，NVIDIA 的研究人員發(fā)布了四個神經(jīng)圖形基礎(chǔ)樣例（以及預(yù)訓(xùn)練數(shù)據(jù)集，均屬于 Instant-NGP 訓(xùn)練工具集）。人們可以借此用自己的數(shù)據(jù)創(chuàng)建 NeRF。這些研究人員憑借該項成果獲得了最佳論文獎，《時代》周刊也將 Instant NeRF 評為了 2022 年度最佳發(fā)明。

Instant NeRF 不僅能夠加快 NeRF 渲染，還可通過 NVIDIA RTX 和 GeForce RTX 臺式電腦和筆記本電腦的 GPU 完成整個圖像重建過程。雖然場景渲染時長取決于數(shù)據(jù)集規(guī)模、圖像和視頻源內(nèi)容等多種因素，但 AI 訓(xùn)練并不需要服務(wù)器級或基于云的硬件。

NVIDIA RTX 工作站和 GeForce RTX PC 是滿足 NeRF 渲染計算需求的理想之選。NVIDIA RTX 和 GeForce RTX GPU 配備專用的 AI 硬件加速器 Tensor Core，可為在本地運行生成式 AI 提供強大動力。

各就各位，整裝待發(fā)，強勢出擊

開啟 Instant NeRF 探索之旅，了解輻射場并以全新方式體驗畫面之美。

開發(fā)者和技術(shù)發(fā)燒友可以下載源代碼庫進(jìn)行編譯。非技術(shù)用戶也可以從 GitHub 上下載 Instant-NGP 軟件的 Windows 安裝程序。

雖然此安裝程序適用于多種 RTX GPU，但擁有最新架構(gòu)的 GeForce RTX 40 系列和 NVIDIA RTX Ada Generation GPU 才能充分發(fā)揮它的實力。

《Instant NeRF 入門》指南在介紹功能的同時，也將引導(dǎo)用戶完成全程操作，包括加載“NeRF Fox”等單個基礎(chǔ)樣例，以便了解可實現(xiàn)的效果。詳細(xì)說明和類似上文的視頻演示針對如何使用自定義數(shù)據(jù)創(chuàng)建 NeRF 進(jìn)行了講解，包括獲取優(yōu)質(zhì)輸入圖像的方式、基于源代碼編譯代碼庫的技巧等。該指南也針對 Instant NeRF 圖形用戶界面的使用、場景參數(shù)優(yōu)化、基于場景創(chuàng)建動畫等內(nèi)容進(jìn)行了說明。

圖像、視頻、現(xiàn)實的層層遞進(jìn)

借助 AI 將圖像變?yōu)?3D 場景已令人驚嘆，但更神奇的是進(jìn)行 3D 創(chuàng)作。

從 Instant NeRF 的一項最近更新開始，用戶可以基于靜態(tài)圖像進(jìn)行場景渲染，模擬置身虛擬環(huán)境之中，在 3D 空間里自由移動。用戶只要在虛擬現(xiàn)實 (VR) 環(huán)境中戴上頭顯設(shè)備，就將完全置身新的世界，感受身臨其境的體驗。

其中蘊藏的潛力幾乎是無窮無盡的。

舉例而言，房屋中介可以創(chuàng)建并分享 3D 房產(chǎn)模型，升級虛擬看房體驗；零售商可以通過一組圖像和 RTX GPU 上運行的 AI 在網(wǎng)店中展示產(chǎn)品。這些 AI 模型能驅(qū)動創(chuàng)造力，讓其他行業(yè)也能利用身臨其境的 3D 體驗。

使用 Instant NeRF 即可在 VR 中輕松清理場景，降低了高品質(zhì) NeRF 的創(chuàng)建難度。

下載 Instant-NGP 開始創(chuàng)作之旅。

生成式 AI 正改變各類游戲、視頻會議和互動體驗。