NVIDIA研究團(tuán)隊(duì)分享了實(shí)時(shí)路徑追蹤和內(nèi)容創(chuàng)建方面的開(kāi)創(chuàng)性工作

NVIDIA在夏季的多場(chǎng)頂級(jí)圖形大會(huì)上展示其如何為藝術(shù)家、創(chuàng)作者和游戲玩家推動(dòng)實(shí)時(shí)路徑追蹤和內(nèi)容創(chuàng)作工具的發(fā)展。

計(jì)算機(jī)圖形和AI是NVIDIA的基石，兩者的強(qiáng)強(qiáng)結(jié)合助力創(chuàng)作者距離實(shí)現(xiàn)實(shí)時(shí)渲染影院級(jí)3D圖像的目標(biāo)邁進(jìn)。

在今年夏天舉行的一系列圖形學(xué)大會(huì)上，NVIDIA研究團(tuán)隊(duì)分享了實(shí)時(shí)路徑追蹤和內(nèi)容創(chuàng)建方面的開(kāi)創(chuàng)性工作，其中的大部分工作都是基于最先進(jìn)的AI技術(shù)。這些項(xiàng)目使用推動(dòng)實(shí)時(shí)渲染技術(shù)發(fā)展的新工具解決圖形學(xué)領(lǐng)域最棘手的問(wèn)題。

其中一個(gè)項(xiàng)目的目標(biāo)是提高渲染光線在穿過(guò)毛皮或霧氣等復(fù)雜素材時(shí)的真實(shí)性。另一個(gè)目標(biāo)是幫助藝術(shù)家更輕松地將他們的創(chuàng)意設(shè)想轉(zhuǎn)化為栩栩如生的模型和場(chǎng)景。

在本周舉行的SIGGRAPH 2021大會(huì)以及最近舉行的高性能圖形學(xué)大會(huì)和歐洲圖形學(xué)渲染研討會(huì)上，這些研究進(jìn)展突顯了NVIDIA RTX GPU如何繼續(xù)推進(jìn)逼真實(shí)時(shí)圖形學(xué)的前沿。

要想實(shí)時(shí)渲染逼真的圖像，就必須對(duì)光線進(jìn)行精準(zhǔn)的模擬，按照物理世界中的光線規(guī)律進(jìn)行建模。目前，路徑追蹤是已知的最有效的方法，而這需要消耗大量的計(jì)算資源，不過(guò)可以呈現(xiàn)出美輪美奐的圖像。

NVIDIA RTX平臺(tái)帶有專門(mén)的光線追蹤硬件和高性能Tensor Core，能夠高效評(píng)估AI模型，堪稱為這項(xiàng)任務(wù)的量身定制。但在有些情況下，創(chuàng)建高清渲染圖像仍具有挑戰(zhàn)性。

比如一只在樹(shù)林中潛行的老虎。

看清光線：實(shí)時(shí)路徑追蹤

為了使一個(gè)場(chǎng)景完全逼真，創(chuàng)作者必須渲染復(fù)雜的照明效果，如反射、陰影和可見(jiàn)的薄霧。

在森林場(chǎng)景中，斑駁的陽(yáng)光透過(guò)樹(shù)葉，與濃霧中懸浮的水分子交織成朦朧的畫(huà)面。之前的技術(shù)無(wú)法實(shí)時(shí)渲染云層、塵土飛揚(yáng)的地面或霧氣等逼真的圖像。但是NVIDIA研究人員開(kāi)發(fā)了一些技術(shù)，通常能夠?qū)⑦@些現(xiàn)象的視覺(jué)效果計(jì)算效率提高10倍。

老虎本身既被陽(yáng)光照耀，又被樹(shù)木遮擋。當(dāng)它穿過(guò)樹(shù)林時(shí)，其倒影在下面的池塘中清晰可見(jiàn)。為了實(shí)現(xiàn)這種具有直接和間接反射的豐富視覺(jué)效果照明，需要為場(chǎng)景中的每個(gè)像素計(jì)算數(shù)千條路徑。

這項(xiàng)任務(wù)耗費(fèi)的資源過(guò)多，因此無(wú)法實(shí)時(shí)完成。為此，NVIDIA研究團(tuán)隊(duì)創(chuàng)建了一種路徑采樣算法，這種算法優(yōu)先考慮最有可能對(duì)最終圖像作出貢獻(xiàn)的光線路徑和反射，并且其圖像渲染速度比之前快了100倍以上。

老虎的AI：神經(jīng)輻射緩存

另外一組NVIDIA研究人員利用一種名為神經(jīng)輻射緩存的新技術(shù)在全局照明方面取得了突破。這種方法同時(shí)使用了用于光線追蹤的NVIDIA RT Core和用于AI加速的Tensor Core，在渲染動(dòng)態(tài)場(chǎng)景的同時(shí)現(xiàn)場(chǎng)訓(xùn)練一個(gè)微小的神經(jīng)網(wǎng)絡(luò)。

該神經(jīng)網(wǎng)絡(luò)可以學(xué)習(xí)光線在整個(gè)場(chǎng)景中的分布情況。當(dāng)在NVIDIA GeForce RTX 3090 GPU上運(yùn)行時(shí)，它每秒可評(píng)估超過(guò)10億次全局照明查詢，以交互式幀率描繪老虎致密的皮毛，具有之前無(wú)法實(shí)現(xiàn)的豐富的光照細(xì)節(jié)。

完美創(chuàng)建難以實(shí)現(xiàn)的紋理

隨著渲染算法的進(jìn)步，現(xiàn)有的3D內(nèi)容必須跟上算法所能達(dá)到的復(fù)雜性和豐富性，這一點(diǎn)至關(guān)重要。

NVIDIA研究人員正在深入探索這一領(lǐng)域，開(kāi)發(fā)各種支持內(nèi)容創(chuàng)作者建立豐富、逼真3D環(huán)境模型的技術(shù)。其中的一個(gè)重點(diǎn)領(lǐng)域是具有高度幾何復(fù)雜性的素材，而使用傳統(tǒng)技術(shù)可能難以模擬這些材質(zhì)。

Polo衫的編織式樣、地毯的紋理或草葉的特征往往比一個(gè)像素小得多，因此很難有效地存儲(chǔ)和渲染它們的表現(xiàn)形式。NVIDIA研究人員正在用NeRF-Tex解決這個(gè)問(wèn)題，該方法使用神經(jīng)網(wǎng)絡(luò)來(lái)表現(xiàn)這些具有挑戰(zhàn)性的素材并對(duì)它們對(duì)照明的反應(yīng)進(jìn)行編碼。

見(jiàn)樹(shù)亦見(jiàn)林

復(fù)雜的幾何物體在外觀上也有差異，這取決于它們與觀察者的距離。以一棵枝繁葉茂的樹(shù)為例：距離近時(shí)，可以看到樹(shù)枝、樹(shù)葉和樹(shù)皮上的大量細(xì)節(jié)；而距離遠(yuǎn)時(shí)，可能只能看到一團(tuán)綠色。

雖然為場(chǎng)景中森林另一端的樹(shù)渲染樹(shù)皮和樹(shù)葉細(xì)節(jié)消耗了大量時(shí)間，但在放大畫(huà)面時(shí)，模型應(yīng)盡可能地真實(shí)。

這是計(jì)算機(jī)圖形學(xué)中的一個(gè)經(jīng)典問(wèn)題——LOD。藝術(shù)家們經(jīng)常被這一挑戰(zhàn)所困擾，他們?yōu)槊總€(gè)3D物體手動(dòng)建立多個(gè)版本的模型以實(shí)現(xiàn)高效渲染。

NVIDIA研究人員開(kāi)發(fā)了一種可以基于逆向渲染方法自動(dòng)生成簡(jiǎn)化模型的新方法。通過(guò)該方法，創(chuàng)作者可以生成簡(jiǎn)化的模型。這些模型經(jīng)過(guò)優(yōu)化，看起來(lái)與原來(lái)的模型沒(méi)有區(qū)別，但其幾何復(fù)雜性卻大大降低。

NVIDIA 在SIGGRAPH 2021大會(huì)上的風(fēng)采

由全球200多名科學(xué)家組成的NVIDIA研究團(tuán)隊(duì)專注于AI、計(jì)算機(jī)圖形、計(jì)算機(jī)視覺(jué)、自動(dòng)駕駛汽車、機(jī)器人技術(shù)等領(lǐng)域。在8月9日至13日舉行的SIGGRAPH會(huì)議上，NVIDIA研究人員將發(fā)表以下論文：

● 用于路徑追蹤的實(shí)時(shí)神經(jīng)輻射緩存

● 神經(jīng)場(chǎng)景圖渲染

● 無(wú)偏移光線行進(jìn)透射率估算器

● StrokeStrip：筆劃簇的關(guān)節(jié)參數(shù)化和擬合

編輯：jq