解碼AI驅(qū)動(dòng)的DLSS 3.5光線重建功能

神經(jīng)網(wǎng)絡(luò)渲染器提高了光線追蹤圖像質(zhì)量，使用可在采樣光線之間生成更高質(zhì)量像素的 AI 網(wǎng)絡(luò)取代需要人工設(shè)計(jì)的降噪器。

AI 不斷提高 PC 游戲品質(zhì)的上限。

具有光線重建功能的 DLSS 3.5 可以為密集型光線追蹤的游戲和應(yīng)用創(chuàng)建更高質(zhì)量的光線追蹤畫面。這種增強(qiáng)型 AI 賦能的神經(jīng)網(wǎng)絡(luò)渲染器是一項(xiàng)突破性功能，它利用經(jīng) NVIDIA 超級(jí)計(jì)算機(jī)訓(xùn)練的 AI 網(wǎng)絡(luò)取代需要人工設(shè)計(jì)的降噪器，從而顯著提升所有 NVIDIA RTX GPU 的光線追蹤圖像質(zhì)量。該功能可提升光線反射、全局光照和陰影等光照效果，打造更加真實(shí)，身臨其境的游戲體驗(yàn)。

一束光線，一項(xiàng)突破

光線追蹤作為一種渲染技術(shù)，可通過渲染精準(zhǔn)物理關(guān)系的反射、折射、陰影和間接光照，實(shí)現(xiàn)對(duì)場(chǎng)景及其中物體光照效果的逼真模擬。光線追蹤通過追蹤觀景式相機(jī)（決定場(chǎng)景中的視線）的光線路徑來生成計(jì)算機(jī)圖形圖像。該路徑會(huì)穿過 2D 視平面進(jìn)入 3D 場(chǎng)景，然后返回光源。例如，如果光線照射到鏡子上，就會(huì)生成反射。

而光線追蹤相當(dāng)于打造現(xiàn)實(shí)世界中被光束照亮的物體的數(shù)字版本，創(chuàng)造出光從觀察者的眼睛到與光相互作用的物體的路徑。這就是光線追蹤。

以這種方式模擬光線——為屏幕上的每個(gè)像素發(fā)射光線——需要大量的計(jì)算，即使是對(duì)于離線渲染器來說也是如此無論是計(jì)算幾分鐘或幾小時(shí)內(nèi)的場(chǎng)景。而另一種方法則是讓光線樣本向場(chǎng)景中的各個(gè)點(diǎn)發(fā)射少量光線，以獲得場(chǎng)景光照、反射率和陰影的代表性樣本。

然而，這種方式存在局限性。輸出的是帶有間隙和噪聲的斑點(diǎn)圖像，足以確定光線追蹤時(shí)場(chǎng)景的外觀如何展現(xiàn)。為了填充未計(jì)算光線追蹤的缺失像素，人工設(shè)計(jì)的降噪器使用兩種不同的方法：在多幀中依時(shí)累積像素，或?qū)ζ溥M(jìn)行空間插值以將相鄰像素混合在一起。通過此過程，帶噪聲的原始輸出會(huì)被轉(zhuǎn)換為光線追蹤圖像。經(jīng)此流程，含噪點(diǎn)的原始輸出結(jié)果會(huì)被轉(zhuǎn)換成光線追蹤圖像。

這會(huì)增加開發(fā)過程的復(fù)雜性和成本，并且在大量采用光線追蹤技術(shù)的游戲中會(huì)降低幀率。其原因在于此類游戲會(huì)同時(shí)運(yùn)行多個(gè)降噪器以實(shí)現(xiàn)不同的光照效果。

DLSS 3.5 光線重建技術(shù)引入了經(jīng) NVIDIA 超級(jí)計(jì)算機(jī)訓(xùn)練且由 AI 驅(qū)動(dòng)的神經(jīng)網(wǎng)絡(luò)，可在采樣光線之間生成更高質(zhì)量的像素。該技術(shù)可識(shí)別不同的光線追蹤效果，從而可使用時(shí)間和空間數(shù)據(jù)做出更明智的決策，并保留高頻信息以實(shí)現(xiàn)更高質(zhì)量的升級(jí)。光線重建還可以從訓(xùn)練數(shù)據(jù)中識(shí)別光照模式（例如全局光照或環(huán)境光遮蔽），并在游戲中重現(xiàn)該效果。

“傳送門 (Portal)”RTX 版是光線重建在實(shí)際應(yīng)用中的優(yōu)秀示例。關(guān)閉 DLSS 后，降噪器很難重建轉(zhuǎn)動(dòng)的風(fēng)扇旁邊的動(dòng)態(tài)陰影。

啟用 DLSS 3.5 和光線重建后，降噪器會(huì)在 AI 上進(jìn)行訓(xùn)練，識(shí)別與陰影相關(guān)的某些模式并保持圖像穩(wěn)定，積累準(zhǔn)確的像素，同時(shí)混合相鄰像素以生成高質(zhì)量的反射。

深度學(xué)習(xí)，沉浸游戲

光線重建只是性能倍增的 DLSS 所使用的 AI 突破性圖形技術(shù)的其中之一。作為 DLSS 的基礎(chǔ)，超分辨率功能會(huì)對(duì)多個(gè)分辨率較低的圖像進(jìn)行采樣，并使用先前幀的運(yùn)動(dòng)數(shù)據(jù)和反饋來重建原生質(zhì)量的圖像。這能實(shí)現(xiàn)在不犧牲游戲性能的情況下獲得高質(zhì)量圖像。

DLSS 3 引入了“幀生成”功能，通過使用 AI 分析前后幀的數(shù)據(jù)來預(yù)測(cè)下一個(gè)生成的幀應(yīng)該是什么樣子，從而提高性能。然后，這些生成的幀會(huì)被插入到已渲染的幀之間。將 DLSS 生成的幀與 DLSS 超分辨率相結(jié)合，可使 DLSS 3 在 AI 助力下重建所顯示像素?cái)?shù)的八分之七。與不使用 DLSS 相比，其幀率最高可提升至原來的 4 倍。

由于 DLSS 幀生成是在 GPU 上進(jìn)行后處理（在主渲染后應(yīng)用）的，因此即使游戲受到 CPU 的瓶頸限制，它也能提高幀率。

生成式 AI 正改變各類游戲、視頻會(huì)議和互動(dòng)體驗(yàn)。



審核編輯：劉清