Arm精銳超級(jí)分辨率技術(shù)解析

作者：Arm 開發(fā)者生態(tài)系統(tǒng)戰(zhàn)略總監(jiān) Peter Hodges

近日，Arm 推出了 Arm 精銳超級(jí)分辨率技術(shù) (Arm Accuracy Super Resolution, Arm ASR)，這是一款面向移動(dòng)設(shè)備進(jìn)行優(yōu)化升級(jí)的出色開源超級(jí)分辨率（下文簡(jiǎn)稱“超分”）解決方案。本文將為你介紹我們所采用的方法，并歡迎你一同加入我們的技術(shù)探索旅程。

制作精良的游戲能夠帶領(lǐng)玩家踏上一段動(dòng)人的旅程。游戲開發(fā)者套件里有許多工具可以為此增添助力，例如引人入勝的音樂、富有想象力的操控模式和圖形效果等。就圖形技術(shù)而言，手游中圖像的精細(xì)程度令人震撼。游戲被渲染到包含數(shù)百萬(wàn)像素的屏幕上，并以驚人的 60Hz 或更高的刷新率顯示呈現(xiàn)。

推動(dòng)游戲開發(fā)更上一層樓是行業(yè)永無止境的追求。現(xiàn)代手游通過復(fù)雜的光照和著色器，不斷突破極限，以實(shí)現(xiàn)開發(fā)者的愿景。然而代價(jià)在于，這不僅加重了 GPU 的負(fù)載，還會(huì)消耗更多電力。即使是在高端 PC 上，我們也認(rèn)識(shí)到超分技術(shù)正是我們所追尋的答案。

Arm 精銳超級(jí)分辨率技術(shù)

通過超分技術(shù)，一幀的內(nèi)容得以在某些階段先以較低分辨率渲染，然后應(yīng)用該技術(shù)從低分辨率放大到高分辨率。這一技術(shù)并非在幀渲染的每個(gè)環(huán)節(jié)都使用，否則可能會(huì)在渲染全屏效果或用戶界面時(shí)產(chǎn)生不美觀的瑕疵。然而，在管線的早期階段，該技術(shù)可以發(fā)揮顯著作用，并作為流程的一環(huán)提供抗鋸齒效果。

圖：將超分技術(shù)集成到幀中

后處理技術(shù)示例

在眾多可用的解決方案中，AMD 超級(jí)分辨率銳畫技術(shù) 2 (FSR 2) 引起了我們的關(guān)注。作為 GPUOpen 的一部分，該開源項(xiàng)目始于 2016 年，采用相對(duì)寬松的 MIT 許可證，旨在提供可移植的解決方案，以緩解 PC 和游戲主機(jī)之間存在的性能差異。這引發(fā)了我們的關(guān)注和思考：優(yōu)秀的移動(dòng)端解決方案應(yīng)該具備哪些特性？

超分技術(shù)的類型

超分技術(shù)主要分為空間類和時(shí)域類。最先問世和被開發(fā)者采用的是空間類技術(shù)。

空間類超分會(huì)逐幀生成結(jié)果，其工作原理理解起來更加簡(jiǎn)單，對(duì)游戲引擎的要求也相對(duì)較低，例如 FSR 1 和驍龍游戲超級(jí)分辨率 (GSR) 就是這一類的代表。但該技術(shù)的缺點(diǎn)在于，開發(fā)者在選擇渲染分辨率時(shí)不能過于激進(jìn)，否則最終圖像可能會(huì)出現(xiàn)模糊。不過，這種技術(shù)的算力成本相對(duì)較低。

而時(shí)域類超分則更為復(fù)雜，它通過整合多個(gè)幀的信息來生成最終結(jié)果。通常來說，它能夠從較低分辨率生成更高質(zhì)量的圖像。但這對(duì)游戲引擎提出了額外的輸入要求。例如，必須提供深度和運(yùn)動(dòng)矢量信息，并且最好有反應(yīng)性遮罩，以便處理如粒子效果等缺乏深度或運(yùn)動(dòng)信息的元素。

邁向時(shí)域類超分技術(shù)

我們決定直接選用時(shí)域類超分技術(shù)，來應(yīng)對(duì)常見的圖形性能挑戰(zhàn)，并為手游開發(fā)者帶來優(yōu)勢(shì)。我們以 AMD FSR 2 為基礎(chǔ)，它能夠提供不錯(cuò)的效果，但實(shí)現(xiàn)成本相對(duì)較高，僅適用于 PC 和高端游戲主機(jī)。我們的解決方案源自 FSR 2，因此開發(fā)者能夠繼續(xù)使用熟悉的 API 和配置選項(xiàng)。

在研究過程中，我們采用了大家熟悉的小餐館場(chǎng)景，并且增加了更多的局部重疊光源和主光源衰減，以此模擬實(shí)際的計(jì)算挑戰(zhàn)，大約需要渲染 280 萬(wàn)個(gè)三角形。

針對(duì)搭載 Arm Immortalis-G720 GPU 和采用 2800x1260 顯示分辨率的商用移動(dòng)設(shè)備，我們對(duì)收集的結(jié)果進(jìn)行分析后，發(fā)現(xiàn) GPU 性能得到了顯著提升。

圖：使用 Arm ASR、FSR 2、FSR 1 和 GSR 時(shí)的

原生分辨率和提升性能的幀率分析

同樣重要的是，這項(xiàng)技術(shù)能夠穩(wěn)定保持在相對(duì)較低的溫度下，渲染出高質(zhì)量的結(jié)果。而以原生分辨率進(jìn)行渲染時(shí)，不可避免地會(huì)出現(xiàn)明顯的發(fā)熱升溫，這會(huì)有損游戲中的用戶體驗(yàn)，并縮短游戲時(shí)間。

Arm ASR 的性能表現(xiàn)

Arm ASR 的出色性能得益于一系列高效的著色器代碼，不僅減輕了 GPU 的負(fù)載，也降低了帶寬需求。

圖：FSR 2 和 Arm ASR 的 GPU 性能分析

性能的提升往往也同樣意味著節(jié)省能耗，由此可以延長(zhǎng)電池續(xù)航時(shí)間，這對(duì)于用戶的日常使用是一大利好。在我們與 MediaTek 的協(xié)作中，證實(shí)了這一推測(cè)，在搭載天璣 9300 芯片的手機(jī)上進(jìn)行了測(cè)試并得到了以下結(jié)果。

圖：原生全分辨率 (1080p)、Arm ASR 質(zhì)量、平衡和性能模式下從 540p 提升到 1080p，以及原生半分辨率 (540p) 的功耗對(duì)比

Arm 游戲內(nèi)容團(tuán)隊(duì)一直在努力制作一款虛幻引擎 (Unreal Engine) 演示，以挑戰(zhàn)未來移動(dòng)端 GPU 的性能極限。我們也期待將 Arm ASR 應(yīng)用于此類內(nèi)容演示中。

這個(gè)演示場(chǎng)景中包含了許多精致入微的細(xì)節(jié)，這正是因?yàn)槲覀冊(cè)?Arm ASR 中支持了穩(wěn)健對(duì)比度自適應(yīng)銳化 (RCAS) 技術(shù)，AMD FSR 1 和 FSR 2 也采用了這項(xiàng)技術(shù)。效果顯而易見。

與開源社區(qū)共享成果

我們對(duì)這項(xiàng)工作成果深感自豪，并希望基于 MIT 開源許可協(xié)議與開發(fā)者社區(qū)進(jìn)行成果共享，使得每一位開發(fā)者都能親身感受 Arm ASR 的優(yōu)勢(shì)，并在自己的項(xiàng)目中嘗試應(yīng)用。