使用NVIDIA Kaolin Wisp研究神經(jīng)場

研究 神經(jīng)場 近年來，它已成為計算機圖形學(xué)和計算機視覺領(lǐng)域的一個日益熱門的話題。通過使用將坐標作為輸入并在該位置輸出相應(yīng)數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)，神經(jīng)場可以表示形狀、外觀、運動和其他物理量等 3D 數(shù)據(jù)。

這些表示已被證明在生成建模和三維重建等各種應(yīng)用中非常有用。 NVIDIA 項目，如： NGLOD， GANcraft， NeRF-Tex， EG3D， Instant-NGP 和 可變比特率神經(jīng)場 ，正在以各種方式推進神經(jīng)領(lǐng)域、計算機圖形學(xué)和計算機視覺領(lǐng)域的最新技術(shù)。

研究挑戰(zhàn)

神經(jīng)領(lǐng)域的研究進展迅速，這意味著標準和軟件往往落后。實現(xiàn)差異可能導(dǎo)致質(zhì)量指標和性能的巨大差異。新項目的啟動成本可能相當高，因為神經(jīng)場的組成部分越來越復(fù)雜。研究小組之間的工作經(jīng)常重復(fù)——例如，創(chuàng)建整個交互式應(yīng)用程序來可視化神經(jīng)場輸出。

一個重要的里程碑是： NVIDIA Instant NGP ，由于其能夠以近瞬間速度擬合各種信號，如神經(jīng)輻射場（ NERF ）、符號距離場（ SDF ）和圖像，最近吸引了研究界的廣泛關(guān)注。由于其計算效率，它開啟了實際應(yīng)用和研究方向的新前沿。然而，由于高度專業(yè)化和優(yōu)化的代碼很難適應(yīng)和擴展，這種計算效率也可能成為研究的障礙。

NVIDIA Kaolin Wisp

NVIDIA Kaolin Wisp 是一個快節(jié)奏、面向研究的神經(jīng)領(lǐng)域庫，旨在支持研究人員應(yīng)對日益增長的學(xué)科挑戰(zhàn)。它建在核心之上 Kaolin 庫 功能，包括用于 3D 深度學(xué)習研究的更通用和穩(wěn)定的組件。

Wisp 的目標是為神經(jīng)領(lǐng)域的研究提供一個共同的核心庫和框架。該庫由可用于創(chuàng)建復(fù)雜神經(jīng)場的模塊化構(gòu)建塊和用于訓(xùn)練和可視化神經(jīng)場的交互式應(yīng)用程序組成。

圖 1. NVIDIA Kaolin Wisp 交互式渲染的屏幕截圖，顯示了正在進行的神經(jīng)場優(yōu)化。攝像機和占用結(jié)構(gòu)的占用狀態(tài)在頂部可視化。右側(cè)的屬性檢查器允許用戶獲取有關(guān)場景的更多信息并對其進行操作。

Wisp 沒有提供具體的實現(xiàn)，而是為神經(jīng)領(lǐng)域提供了構(gòu)建塊。該框架易于擴展用于研究目的，由模塊化管道組成，其中每個管道組件可以輕松互換，為標準培訓(xùn)提供即插即用配置。

Wisp 的目標不是提供可用于生產(chǎn)的代碼，而是快速交付新模塊，保持這項技術(shù)的領(lǐng)先地位。它還提供了一組豐富的示例，展示了 Kaolin 核心框架以及［ZHK 七］核心如何用于加速研究。

NVIDIA Kaolin Wisp 功能亮點

Kaolin Wisp 使用基于 Python 的 API ，該 API 基于 PyTorch ，使用戶能夠快速開發(fā)項目。與許多其他基于 PyTorch 的公共項目兼容， Kaolin Wisp 可以輕松地使用基于 PyTorch / CUDA 的構(gòu)建塊進行自定義。

雖然 Wisp 旨在提高開發(fā)人員的速度而不是計算性能，但庫中提供的構(gòu)建塊經(jīng)過優(yōu)化，可以在幾分鐘內(nèi)訓(xùn)練神經(jīng)領(lǐng)域，并以交互方式可視化它們。

Kaolin Wisp 用構(gòu)建塊填充，以混合匹配的方式組成神經(jīng)場管道。值得注意的例子是要素網(wǎng)格，包括：

層次八叉樹：來自 NGLOD 用于學(xué)習空間細分樹上的特征。八叉樹還支持光線跟蹤操作，除了 SDF 外，還可以訓(xùn)練基于多視圖圖像的 NGLOD NeRF 變體。

三平面特征：用于 EG3D 和 卷積占用網(wǎng)絡(luò) 學(xué)習三平面紋理貼圖上的體積特征的論文。三平面還支持多分辨率金字塔結(jié)構(gòu)中的多細節(jié)層次（ LOD ）。

代碼本：來自 可變二元神經(jīng)場 ，學(xué)習具有可微可學(xué)習密鑰的壓縮特征碼本。

哈希網(wǎng)格：來自 即時 NGP 用于學(xué)習具有高性能內(nèi)存訪問的緊湊緩存友好特征碼本的論文。

圖 3. NVIDIA Kaolin Wisp 架構(gòu)和構(gòu)建塊

NVIDIA Kaolin Wisp 與支持神經(jīng)基元管道靈活渲染的交互式渲染器配對，如 NeRF 和神經(jīng) SDF 的變體。它允許集成新的表示。

OpenGL 風格的光柵化原語可以與神經(jīng)表示混合并匹配，以添加更多數(shù)據(jù)層的可視化，如相機和占用結(jié)構(gòu)。通過在 GUI 上支持可與培訓(xùn)和渲染交互的自定義小部件，它還允許輕松構(gòu)建可定制的應(yīng)用程序。

其他有用的功能包括屬性查看器、優(yōu)化控件、自定義輸出渲染緩沖區(qū)和允許輕松操縱場景攝影機的攝影機對象。

關(guān)于作者

Nathan Horrocks 是 NVIDIA Research 的內(nèi)容營銷經(jīng)理。他重點強調(diào)了 NVIDIA 實驗室在世界各地進行的驚人研究。

審核編輯：郭婷