NVIDIA在圖形學(xué)研究領(lǐng)域的最新進(jìn)展

在今年最重要的圖形學(xué)大會(huì)(SIGGRAPH 2022)上， NVIDIA 的論文合著者將發(fā)表創(chuàng)紀(jì)錄的 16 篇研究論文，推動(dòng)神經(jīng)渲染、3D 模擬、全息技術(shù)等領(lǐng)域的發(fā)展。

NVIDIA 在圖形學(xué)研究領(lǐng)域的最新學(xué)術(shù)合作取得了豐碩的成果，包括能夠順利模擬運(yùn)動(dòng)動(dòng)作的強(qiáng)化學(xué)習(xí)模型、用于虛擬現(xiàn)實(shí)的超薄全息眼鏡以及隱藏式光源照明條件下的物體實(shí)時(shí)渲染技術(shù)。

上述學(xué)術(shù)成果及其他項(xiàng)目將在 8 月 8 日 至 11 日于溫哥華舉行的 SIGGRAPH 2022 上發(fā)表。本次大會(huì)以線上線下結(jié)合的方式舉辦， NVIDIA 研究人員將在此次大會(huì)上發(fā)表 16 篇技術(shù)論文，包含了與達(dá)特茅斯學(xué)院、斯坦福大學(xué)、瑞士洛桑聯(lián)邦理工學(xué)院和特拉維夫大學(xué)等 14 所大學(xué)合作完成的研究。

這些論文覆蓋整個(gè)圖形學(xué)研究領(lǐng)域，將帶來(lái)神經(jīng)內(nèi)容創(chuàng)建工具、顯示和人類感知、計(jì)算機(jī)圖形學(xué)數(shù)學(xué)基礎(chǔ)以及神經(jīng)渲染方面的進(jìn)展。

可模擬多技能角色的神經(jīng)工具

當(dāng)使用強(qiáng)化學(xué)習(xí)模型開(kāi)發(fā)基于物理的動(dòng)畫(huà)角色時(shí)， AI 通常一次只能學(xué)習(xí)一種技能，比如走路、跑步或翻跟頭。但來(lái)自加州大學(xué)伯克利分校、多倫多大學(xué)和 NVIDIA 的研究人員創(chuàng)建了一個(gè)使 AI 能夠?qū)W習(xí)一整套技能的框架。上圖中便展示了一個(gè)能夠揮劍、使用盾牌并在摔倒后爬起來(lái)的戰(zhàn)士角色。

為動(dòng)畫(huà)角色實(shí)現(xiàn)這些流暢、栩栩如生的動(dòng)作通常是一項(xiàng)乏味又費(fèi)力的工作，因?yàn)?a target="_blank">開(kāi)發(fā)者需要為每項(xiàng)新任務(wù)重新訓(xùn)練 AI。正如這篇論文所述，研究團(tuán)隊(duì)使強(qiáng)化學(xué)習(xí) AI 能夠重復(fù)利用已有技能來(lái)應(yīng)對(duì)新場(chǎng)景，從而提高效率并減少額外需要的運(yùn)動(dòng)數(shù)據(jù)。

動(dòng)畫(huà)、機(jī)器人、游戲和治療學(xué)領(lǐng)域的創(chuàng)作者都可以使用這樣的工具。NVIDIA 研究人員還將在 SIGGRAPH 大會(huì)上發(fā)表多篇其他論文，介紹用于點(diǎn)云表面重建和交互式形狀編輯的 3D 神經(jīng)工具以及讓 AI 能夠更好理解矢量草圖誤差并提高延時(shí)視頻視覺(jué)質(zhì)量的 2D 工具。

將虛擬現(xiàn)實(shí)技術(shù)集成到輕型眼鏡中

大多數(shù)虛擬現(xiàn)實(shí)用戶需要佩戴笨重的頭戴式顯示器才能進(jìn)入 3D 數(shù)字世界，但研究人員正在研究重量更輕、類似于普通眼鏡的替代品。

NVIDIA 與斯坦福大學(xué)的研究人員合作，將 3D 全息圖像所需的技術(shù)集成到一個(gè)只有幾毫米厚的穿戴式顯示器中。這種顯示器的厚度僅 2.5 毫米，還不到其他被稱為“餅干鏡”的薄型 VR 顯示器的一半，而且后者使用的是只支持 2D 圖像的折疊光學(xué)技術(shù)。

研究人員將顯示器的質(zhì)量和尺寸作為一種計(jì)算問(wèn)題，并使用 AI 算法，共同對(duì)光學(xué)器件進(jìn)行設(shè)計(jì)，完成了這項(xiàng)難度極大的工作。

之前， VR 顯示器的放大鏡和顯示面板之間需要隔開(kāi)一段距離以創(chuàng)建全息影像，而新型顯示器采用空間光調(diào)制器，使得不需要隔開(kāi)距離就可以在用戶眼前創(chuàng)建全息影像。瞳孔復(fù)制波導(dǎo)和幾何相位透鏡等其他部件進(jìn)一步縮小了設(shè)備的體積。

除了這篇論文之外，斯坦福大學(xué)和 NVIDIA 在大會(huì)上還發(fā)表了另一篇 VR 領(lǐng)域的合著論文，提出了一種新的計(jì)算機(jī)生成全息技術(shù)框架，該框架能夠優(yōu)化帶寬的使用，并提高圖像的質(zhì)量。此外， NVIDIA 與紐約大學(xué)和普林斯頓大學(xué)的科學(xué)家還將發(fā)表一篇顯示和感知研究領(lǐng)域的合著論文，該論文測(cè)量了渲染質(zhì)量如何影響用戶對(duì)屏幕信息的反應(yīng)速度。

“高光”一刻：樹(shù)立復(fù)雜實(shí)時(shí)照明的新標(biāo)桿

準(zhǔn)確地實(shí)時(shí)模擬場(chǎng)景中的光線路徑一直是圖形學(xué)領(lǐng)域的重中之重。猶他大學(xué)計(jì)算機(jī)學(xué)院和 NVIDIA 在一篇論文中詳細(xì)介紹了一種路徑重采樣算法，能夠?qū)Π[藏光源在內(nèi)的復(fù)雜照明場(chǎng)景進(jìn)行實(shí)時(shí)渲染，為該領(lǐng)域樹(shù)立了新標(biāo)桿。

想象一下，一個(gè)昏暗房間中的桌子上有一個(gè)玻璃花瓶，屋外路燈的燈光照射在上面。光滑的表面形成了一條長(zhǎng)長(zhǎng)的光路，光線在光源和觀眾的眼睛之間多次反射。一般情況下，計(jì)算此類光線路徑對(duì)于像游戲這樣的實(shí)時(shí)應(yīng)用來(lái)說(shuō)過(guò)于復(fù)雜，所以大多用于電影或其他離線渲染應(yīng)用。

這篇論文著重介紹了在渲染過(guò)程中使用統(tǒng)計(jì)重采樣技術(shù)(算法在追蹤這些復(fù)雜的光路時(shí)重復(fù)進(jìn)行數(shù)千次計(jì)算)實(shí)時(shí)、高效地模擬這些光路。研究人員將該算法應(yīng)用于計(jì)算機(jī)圖形學(xué)領(lǐng)域具有挑戰(zhàn)性的一個(gè)典型場(chǎng)景：間接照明條件下的一套金屬、陶瓷和玻璃茶壺。

NVIDIA 在 SIGGRAPH 上發(fā)布的相關(guān)論文還包括：用于逆向體積渲染的新采樣策略、用于 2D 形狀操控的新數(shù)學(xué)表示法、為渲染和其他應(yīng)用創(chuàng)建具有更高均勻性的采樣器的軟件以及將有偏渲染算法轉(zhuǎn)化為更高效的無(wú)偏算法的方法。

神經(jīng)渲染：NeRF 和 GAN 推動(dòng)合成場(chǎng)景的發(fā)展

神經(jīng)渲染算法可以從真實(shí)世界的數(shù)據(jù)中學(xué)習(xí)，然后創(chuàng)建合成圖像。為了在 2D 和 3D 領(lǐng)域做到這一點(diǎn)， NVIDIA 的多個(gè)研究項(xiàng)目正致力于開(kāi)發(fā)最先進(jìn)的工具。

在 2D 領(lǐng)域，與特拉維夫大學(xué)合作開(kāi)發(fā)的 StyleGAN-NADA 模型可以根據(jù)用戶的文字提示來(lái)生成具有特定風(fēng)格的圖像，而且無(wú)需參考示例。例如用戶可以直接生成復(fù)古的汽車圖像，生成愛(ài)犬的畫(huà)像，或者把大房子變成小屋。

在 3D 領(lǐng)域，NVIDIA 和多倫多大學(xué)的研究人員正在開(kāi)發(fā)能夠支持創(chuàng)建大型虛擬世界的工具。在 SIGGRAPH 大會(huì)上，他們將發(fā)表一篇名為《基于多分辨率哈希編碼的即時(shí)神經(jīng)圖形基元》的論文，介紹 NVIDIA 在使用 Instant NeRF 訓(xùn)練模型方面實(shí)現(xiàn)的重大技術(shù)突破。

NeRF，即基于 2D 圖像集合的 3D 場(chǎng)景，僅僅是神經(jīng)圖形基元技術(shù)的功能之一。它可以用來(lái)展示任何復(fù)雜的空間信息，目前已被應(yīng)用于圖像壓縮、三維形狀高精度展示和超高分辨率圖像等領(lǐng)域。

這項(xiàng)工作與多倫多大學(xué)的一個(gè)合作項(xiàng)目不謀而合。就像是將 JPEG 用于壓縮 2D 圖像一樣，該合作項(xiàng)目壓縮 3D 神經(jīng)圖形基元，幫助用戶在手機(jī)和機(jī)器人等小型設(shè)備之間存儲(chǔ)和分享 3D 地圖與娛樂(lè)體驗(yàn)。

NVIDIA 在全球有 300 多名研究人員，這些團(tuán)隊(duì)專注于 AI、計(jì)算機(jī)圖形學(xué)、計(jì)算機(jī)視覺(jué)、自動(dòng)駕駛汽車和機(jī)器人技術(shù)等領(lǐng)域。點(diǎn)擊“閱讀原文”，進(jìn)一步了解 NVIDIA Research。

原文標(biāo)題：AI 在 SIGGRAPH 上大放異彩：頂尖學(xué)術(shù)研究者與 NVIDIA 合作，共同解決圖形學(xué)領(lǐng)域的最大挑戰(zhàn)

文章出處：【微信公眾號(hào)：NVIDIA英偉達(dá)企業(yè)解決方案】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

審核編輯：湯梓紅