NVIDIA Turing推動(dòng)VR邁向完全沉浸式體驗(yàn)

在過(guò)去的數(shù)十年中，VR 體驗(yàn)不再只是科幻電影的專屬，它們已經(jīng)進(jìn)入研究實(shí)驗(yàn)室，進(jìn)而走向了家庭和辦公室。但是，即便是今天的最佳 VR 體驗(yàn)也尚未實(shí)現(xiàn)完全的沉浸感。

NVIDIA 最新推出的 Turing GPU 蓄勢(shì)待發(fā)，有望使 VR 體驗(yàn)朝著這一目標(biāo)邁進(jìn)一大步。NVIDIA 在 SIGGRAPH 和科隆游戲展 (Gamescom) 上宣布，Turing 將結(jié)合實(shí)時(shí)光線追蹤、AI 和全新渲染技術(shù)，推動(dòng) VR 技術(shù)在沉浸感和逼真度方面再次飛躍。

實(shí)時(shí)光線追蹤

通過(guò)引入光線追蹤核心 (RT Core)，Turing 可達(dá)到逼真的視覺(jué)保真度。這些處理器專門用于加速光線與環(huán)境中物體相交位置的計(jì)算，首次在游戲和應(yīng)用程序中實(shí)現(xiàn)了實(shí)時(shí)光線追蹤。

這些光學(xué)計(jì)算可復(fù)制光線的行為方式，從而創(chuàng)造出驚艷無(wú)比的逼真畫質(zhì)，讓 VR 開(kāi)發(fā)者能夠更好地模擬現(xiàn)實(shí)世界的環(huán)境。

Turing 的 RT Core 還可以利用 NVIDIA VRWorks Audio SDK 進(jìn)行音頻模擬。迄今的 VR 體驗(yàn)可以提供方位精準(zhǔn)的音頻體驗(yàn)。但它們?nèi)詿o(wú)法滿足計(jì)算需求，不能充分地反映出環(huán)境的空間大小、形狀和材質(zhì)屬性，在動(dòng)態(tài)環(huán)境中尤甚。

與上一代技術(shù)相比，借助 RTX 平臺(tái)，VRWorks Audio 的運(yùn)行速度可提高 6 倍。其光線追蹤的音頻技術(shù)能夠?qū)崟r(shí)創(chuàng)建虛擬環(huán)境的物理逼真聲學(xué)圖像。

在 SIGGRAPH 上，我們演示了 VRWorks Audio 與 NVIDIA Holodeck 的集成，并展示了在開(kāi)發(fā)復(fù)雜虛擬環(huán)境時(shí)，該技術(shù)如何創(chuàng)建更為逼真的音效并加速音頻工作流程。

由AI 打造更為逼真的 VR 環(huán)境

作為一種 GPU 加速 AI 的方法，深度學(xué)習(xí)有望能夠解決 VR 的最大視覺(jué)和感知挑戰(zhàn)。圖像可以得到進(jìn)一步增強(qiáng)，位置和眼動(dòng)追蹤可以得到改善，角色動(dòng)畫也可以變得更加生動(dòng)逼真。

Turing 架構(gòu)搭載的 Tensor Core 每秒可進(jìn)行高達(dá) 500 萬(wàn)億張量運(yùn)算，從而加速推理過(guò)程并將 AI 應(yīng)用于高級(jí)渲染技術(shù)，使虛擬環(huán)境更加逼真。

高級(jí)VR 渲染技術(shù)

Turing 還搭載一系列全新渲染功能，可提升 VR 的性能和視覺(jué)質(zhì)量。

可變速率著色 (VRS， Variable Rate Shading) 能夠優(yōu)化渲染。主要方法是在場(chǎng)景的詳細(xì)區(qū)域中應(yīng)用更多著色性能，并在擁有較少可感知細(xì)節(jié)的場(chǎng)景中限制計(jì)算。這可以降低場(chǎng)景外圍區(qū)域的著色率（用戶不太可能留意的區(qū)域，尤其是當(dāng)與眼動(dòng)追蹤相結(jié)合時(shí)），從而用于注視點(diǎn)渲染。

多視圖渲染 (Multi-View Rendering)能夠支持提供超寬視場(chǎng)和斜面顯示屏的下一代頭顯設(shè)備，這樣用戶就能看到一個(gè)無(wú)邊框的虛擬世界。多視圖渲染是單通道立體視覺(jué) (Single Pass Stereo) 的新一代版本，可以將單個(gè)渲染通道的投影視圖數(shù)量增加兩倍，達(dá)到四張。這四張投影視圖現(xiàn)在都獨(dú)立于位置，并且能夠沿任何軸移動(dòng)。通過(guò)渲染四張投影視圖，系統(tǒng)可以加速搭載極寬視場(chǎng)的斜面（非共面）頭顯設(shè)備。

Turing 的多視圖渲染技術(shù)可以加速四張視圖的幾何處理。

讓VR 連接輕而易舉

Turing 是 NVIDIA 首款擁有 USB Type-C 和 VirtualLink* 硬件支持的 GPU，其中 VirtualLink 是通過(guò)單一的輕量級(jí) USB-C 數(shù)據(jù)線來(lái)驅(qū)動(dòng)新一代 VR 頭顯設(shè)備的全新開(kāi)放式行業(yè)標(biāo)準(zhǔn)。

現(xiàn)在的 VR 頭盔在設(shè)置上十分復(fù)雜，需連接多條笨重的數(shù)據(jù)線。VirtualLink 通過(guò)一根數(shù)據(jù)線來(lái)提供電源、顯示和數(shù)據(jù)，同時(shí)可傳輸大量帶寬以滿足未來(lái)頭顯設(shè)備的需求，從而簡(jiǎn)化了 VR 的設(shè)置過(guò)程。單條連接器同時(shí)還可以用于將 VR 連接至小型設(shè)備，如輕薄型筆記本電腦，后者只提供一個(gè)小巧的 USB-C 連接器。

責(zé)任編輯：彭菁