光線追蹤如何實現(xiàn)實時三維圖形

作者：Kristof Beets，Imagination Technologies PowerVR產(chǎn)品管理資深總監(jiān)

我們所處的世界充滿著由太陽或其他人造光源發(fā)射出的數(shù)以億計的光線。當(dāng)光照射到物體表面時，光線會以各種方式反彈、分散和反射，直至最終到達(dá)我們的眼睛。正是這種復(fù)雜的交互作用創(chuàng)造了我們的現(xiàn)實“視界”。光線追蹤是一種用于三維（3D）圖形的照明技術(shù)，它可以模擬真實世界中的光線照射方式。雖然它能產(chǎn)生最逼真的效果，但是從傳統(tǒng)上看，其過程對于計算機而言還是過于復(fù)雜，以致無法實時創(chuàng)建三維圖形。

如今，它被廣泛用于為廣告和電影創(chuàng)建超逼真的渲染效果，但是在這些應(yīng)用中，即使利用當(dāng)今功能非常強大的計算服務(wù)器，生成每一幀數(shù)據(jù)仍需花費數(shù)小時。光線追蹤是個時髦詞，作為實時圖形的發(fā)展方向，它令人們感到非常興奮（也有人將其視為炒作，這取決于你的看法）。在本文中，我們將認(rèn)識光線追蹤，并了解實現(xiàn)它的方法。

簡化問題

在三維游戲中，場景由各種物體組成，當(dāng)這些物體組合在一起時，就會形成數(shù)百萬個三角形。光線追蹤最基本的功能就是發(fā)射出一條光線，然后沿著它在三維場景中的路徑來定位它所到達(dá)的第一個物體，進(jìn)而確定應(yīng)該如何對該物體進(jìn)行照明。然而，用場景中的每個物體去測試一條光線以確定它們是否相交，這樣的做法效率太低、計算成本太高，完全無法實時進(jìn)行。

因此，為了使用光線追蹤技術(shù)，我們需要解決這一問題。

使用場景層次結(jié)構(gòu)將兔子劃分到多個小方框中

這可以通過建立光線追蹤加速結(jié)構(gòu)來實現(xiàn)。為了做到這一點，我們可以圍繞整個游戲場景繪制一個方框，然后將其劃分為多個較小的方框，再將這些小方框細(xì)分為更小的方框，我們按這種方式不斷將方框進(jìn)行細(xì)分，直到小方框中的三角形數(shù)量達(dá)到便于管理的程度為止。我們將其稱為場景層次結(jié)構(gòu)，它幫助我們將問題簡化到一定程度，使現(xiàn)有的圖形處理器可以有效地進(jìn)行處理。

這種方法之所以有用，是因為當(dāng)我們向游戲場景中發(fā)射光線時，可以根據(jù)場景層次結(jié)構(gòu)逐層進(jìn)行檢查。首先，我們要檢查光線到底有沒有射入最大的方框（即我們的場景）。如果有，我們將繼續(xù)檢查下一層的小方框。在這個階段，我們會發(fā)現(xiàn)光線射入了一些方框，但沒有射入另一些方框。接下來，我們可以不斷將光線未射入的方框排除在外，只重點關(guān)注光線射入的那些方框，直至我們找到光線與三角形相交的地方。至此，我們終于找到了自己的目標(biāo)。

這種層次結(jié)構(gòu)使我們能夠找到光線和三角形最近的交點，而不必測試場景中的每個三角形。這極大地簡化了問題，因此可以更快地完成處理過程。

在幾何處理階段（該階段硬件會完成物體的動畫處理工作）之后，我們會將那些三角形置入一個稱為場景層次生成器的專用硬件中，該生成器可以生成上面所述的加速結(jié)構(gòu)。我們還添加了一些專門的光線/方框/三角形測試器，它們是專用的固定功能硬件，用于通過加速結(jié)構(gòu)進(jìn)行光線追蹤，并確定光線與三角形的交點。與使用軟件可編程管線相比，在專用硬件中完成所有這些操作要快得多，而且更節(jié)省面積和功耗。

那么，當(dāng)硬件確定光線照射到一個三角形之后，下一步該做什么？接下來我們會觸發(fā)一個片段著色器，這是一個小程序，可以確定該三角形特定位置的顏色，這一步和傳統(tǒng)的渲染方式基本相似。然后，通過該片段著色器程序，我們將更多的光線發(fā)射到三維場景中，隨著此過程的不斷重復(fù)，就可以建立起我們的光線追蹤場景。

一致性問題

但是，現(xiàn)在我們又有一個新問題。我們向場景中發(fā)射了大量光線，那么該如何高效地進(jìn)行所有處理工作呢？我們需要從存儲器內(nèi)的加速結(jié)構(gòu)中獲取方框和三角形，并且當(dāng)每條光線每次照射到一個物體上時都會觸發(fā)一次片段程序。

不幸的是，光線是不穩(wěn)定的，它們不一定會沿著同一方向傳播。在專業(yè)術(shù)語中，我們將此描述為不一致性——這會帶來問題。不一致的數(shù)據(jù)訪問對現(xiàn)代的圖形處理器（GPU）來說是不利的。這有點像在按字母順序排列的名片簿中查找信息，但給我們的名字卻是按完全隨機的順序排列的——這就需要我們不停地來回翻查，會占用寶貴的時間和精力。

光線追蹤加速結(jié)構(gòu)

更糟糕的是，當(dāng)光線隨機地向四處反彈時，它們還會照射到不同的物體和三角形上，這些物體和三角形需要分別著色和添加陰影，這將觸發(fā)不同的著色器程序。然而，GPU喜歡以并行方式處理著色器。這正是GPU的強大之處：以大規(guī)模并行方式處理數(shù)據(jù)的能力使其比其他處理器（如CPU）更具優(yōu)勢。這是因為GPU的算術(shù)邏輯單元（ALU）本質(zhì)上采用了單指令多線程（SIMT）方式。但是，如果每條光線會觸發(fā)一個不同的著色器，那么將無法在GPU上運行，因為這需要多指令多線程（MIMT）架構(gòu)，該架構(gòu)在芯片面積和功耗方面的效率都很低。

針對此問題的一種解決方案是采用Imagination Technologies開發(fā)的一致性引擎，該引擎可以追蹤光線，并且在場景中所有混亂的光線之間找到秩序。

如果你看下面的圖片，一開始可能會覺得光線是隨機的。但是，如果你更仔細(xì)地觀察，會發(fā)現(xiàn)實際上是存在一致性的。

為了更清楚地對此進(jìn)行解釋，請注意圖中物體的某些部分是如何反射相同黃色對象的。盡管看起來很混亂，但還是會發(fā)現(xiàn)有一些光線是沿著同一方向傳播的，并照射到了相似的對象上。我們的一致性引擎會對此進(jìn)行查找，并將這些光線分組，從而使它們更易于被GPU處理。這就是“魔法”，我們重新實現(xiàn)了高效的數(shù)據(jù)訪問和執(zhí)行，從而降低了處理的功耗以及對帶寬的需求。

混合渲染的好處

太好了，我們現(xiàn)在可以高效地進(jìn)行光線追蹤了。然而，正如我們前面說的，現(xiàn)實世界中會有數(shù)以億計的光線向四面八方反射，從而形成我們眼睛看到的圖像。因此，即使考慮到我們實現(xiàn)的所有效率提升，使用光線追蹤來創(chuàng)建整個場景仍然是有問題的。那么解決方案是什么？混合渲染。

雖然傳統(tǒng)的柵格化渲染在如今是一種很好的方法，但它卻困擾于空間交互問題，例如燈光/陰影、反射和折射——而這些復(fù)雜的事情正是光線追蹤所擅長的。通過混合渲染方法，我們可以同時利用兩者的優(yōu)勢，對簡單的物體使用柵格化渲染，然后從著色器發(fā)射一些光線，并有選擇性地創(chuàng)建數(shù)量有限的空間光線追蹤查詢，進(jìn)而創(chuàng)建超逼真的陰影、照明效果和精確的反射。通過使用這種混合渲染方法，我們極大地減少了所需追蹤的光線數(shù)量，這最終使我們實現(xiàn)了實時性能。

手機上的光線追蹤：真的會實現(xiàn)嗎？

答案很簡單：是的，會實現(xiàn)。如今智能手機中的GPU相比其首次推出時已經(jīng)取得了巨大的進(jìn)步，這不僅體現(xiàn)在功能方面，在實際可實現(xiàn)的性能方面亦是如此。事實上，高端智能手機已經(jīng)突破了1 TFLOPS（每秒萬億次浮點運算）的計算壁壘，而這曾是專用游戲機的專屬能力。這其中的核心問題是效率。智能手機依賴于電池續(xù)航時間，而光線追蹤相比傳統(tǒng)的渲染方法更高效，因此它很有可能會很快地被添加到移動設(shè)備體驗中。

利用上述創(chuàng)新，Imagination可以實現(xiàn)高效的光線追蹤。在智能手機中，使用傳統(tǒng)的柵格化方法在游戲中“偽造”陰影和反射的成本非常高。在Unity或Unreal等現(xiàn)代游戲引擎中，反射是使用級聯(lián)陰影貼圖生成的。這需要多次渲染屏幕中的幾何體，并將陰影貼圖查找表寫入存儲器中，所有這些操作都會消耗周期和帶寬，并產(chǎn)生大量的GPU和系統(tǒng)功耗。

通過使用光線追蹤，我們可以向光源發(fā)射一條光線，如果該光線碰到了光以外的任何東西，我們就知道該片段處于陰影中。所以，使用我們簡化且高度優(yōu)化的光線追蹤解決方案會簡單得多，相比級聯(lián)陰影貼圖所需的預(yù)處理，它是一種功耗更低的解決方案。

在分析我們自2016年以來的原型光線追蹤硬件時，我們發(fā)現(xiàn)相比陰影、反射和其他技術(shù)，光線追蹤的功耗通常不到一半，但獲得的質(zhì)量卻高得多。這里需要意識到的是，一種復(fù)雜但“虛假”的技術(shù)比簡單的光線追蹤技術(shù)功耗更高，而光線追蹤技術(shù)實現(xiàn)的效果卻逼真得多，這使得它不僅適合現(xiàn)代的高端智能手機，而且是非常理想的選擇。

人工智能和超分辨率

雖然在智能手機中應(yīng)用光線追蹤是一種選擇，但我們同樣對云游戲的日益普及感到興奮，這得益于5G網(wǎng)絡(luò)和邊緣計算的發(fā)展。在云游戲中，我們的光線追蹤架構(gòu)所實現(xiàn)的帶寬和功效很可能也是至關(guān)重要的。

我們需要不斷地進(jìn)行創(chuàng)新，才能以更少的成本實現(xiàn)更多的成果，因此，我們對人工智能（AI）處理的飛速發(fā)展感到非常興奮。再加上神經(jīng)網(wǎng)絡(luò)，它們可以與光線追蹤結(jié)合使用，從而提供更高的效率。例如，當(dāng)我們?yōu)榱颂岣咝蕛H追蹤相關(guān)光線時，可能會得到含有噪聲的結(jié)果。神經(jīng)網(wǎng)絡(luò)在降噪方面有很好的前景，可以利用學(xué)到的“智能”來填補缺失的細(xì)節(jié)。這和現(xiàn)實中的工作方式是一致的，因為我們的大腦也會填補有限的人類視覺系統(tǒng)留下的許多空白。

神經(jīng)網(wǎng)絡(luò)可以用來提高圖像質(zhì)量，同時無需使用更高的分辨率

另一個極具潛力的概念是超分辨率。它同樣是利用神經(jīng)網(wǎng)絡(luò)的能力，去智能地學(xué)習(xí)如何填補缺失的細(xì)節(jié)，以支持GPU以較低的分辨率進(jìn)行渲染，從而提高性能并降低功耗，同時仍然保持視覺質(zhì)量。

面向未來

毫無疑問，實時光線追蹤擁有光明的前景，這對于任何對三維圖形感興趣的人來說無疑是令人興奮的。由于光線追蹤基于真實世界的物理原理，因此可以提供最高水平的真實感，同時相比我們迄今為止一直在使用的技巧和近似方法，它還可以提供很高的效率。低功耗的柵格化圖形處理、開創(chuàng)性的光線追蹤操作，再加上人工智能和神經(jīng)網(wǎng)絡(luò)的持續(xù)創(chuàng)新，所有這些結(jié)合在一起，有助于將圖形處理提升到一個新的高度。

作者簡介：


Kristof Beets，現(xiàn)任Imagination Technologies的PowerVR產(chǎn)品管理資深總監(jiān)，他已在Imagination工作超過19年，先后擔(dān)任過各種開發(fā)、產(chǎn)品和營銷職位。

申請轉(zhuǎn)載文章
公眾號：物理演示實驗室（UPC-Phy-Demo-Lab）
審核編輯：何安