超分辨率技術(shù)大熱，能不能解決物聯(lián)網(wǎng)剛需？

隨著圖形渲染技術(shù)和傳感器的發(fā)展，我們?cè)谌粘Ｉ钪薪佑|到的分辨率已經(jīng)從過去的720p、1080p提升至了4K、8K。然而這之前的圖像、視頻依然停留在原有的分辨率上，且對(duì)于圖形性能不夠的硬件來說，要渲染出4K以上的分辨率依然吃力，于是超分辨率技術(shù)就此應(yīng)運(yùn)而生。

超分辨率技術(shù)的不同技術(shù)路線

現(xiàn)有的超分辨率技術(shù)分為幾種，比如基于插值的超分辨率技術(shù)、基于重構(gòu)的超分辨率技術(shù)和基于深度學(xué)習(xí)的超分辨率技術(shù)等等。插值的方法主要基于圖像插值技術(shù)，也就是圖像縮放技術(shù)，利用已知的像素來插值計(jì)算出未知像素的值，最后利用常規(guī)的圖像技術(shù)進(jìn)行一定修復(fù)等等。這是最快捷的一種方法，但質(zhì)量上就不好說了，鋸齒和邊緣處理不到位，可以說與理想的超分辨率相差甚遠(yuǎn)。

而深度學(xué)習(xí)的方法已經(jīng)在機(jī)器視覺領(lǐng)域獲得了良好的應(yīng)用，所以基于該方法的超分辨率技術(shù)可謂成果頗豐，且重構(gòu)效果遠(yuǎn)優(yōu)于傳統(tǒng)的方法。通過卷積神經(jīng)網(wǎng)絡(luò)獲得的高分辨率圖像，不僅紋理細(xì)節(jié)更加清晰，也在信噪比上達(dá)到了優(yōu)秀的表現(xiàn)。

GPU廠商主推的超分辨率技術(shù)

由于超分辨率技術(shù)可以顯著減少游戲場(chǎng)景中的圖形壓力，顯著提高游戲幀率，目前應(yīng)用最廣的仍是GPU廠商。最先推出類似技術(shù)的是英偉達(dá)，其DLSS技術(shù)于2019年推出，只不過當(dāng)時(shí)的1.0版本可謂一塌糊涂，甚至不如簡(jiǎn)單的圖像插值技術(shù)。

DLSS 2.1與2.3版本的對(duì)比 /英偉達(dá)

2020年推出的2.0版本中，英偉達(dá)用上了自家GPU中的專用AI處理單元TensorCore，并用到了時(shí)間抗鋸齒升采樣技術(shù)，而且新的AI不需要針對(duì)每個(gè)游戲進(jìn)行訓(xùn)練也能集成這一技術(shù)。而且作為一項(xiàng)基于深度學(xué)習(xí)的技術(shù)，DLSS一直在不斷完善，目前處于2.3版本的DLSS對(duì)運(yùn)動(dòng)拖影和粒子效果的渲染又有了極大的改善。正是在龐大的運(yùn)算和訓(xùn)練下，DLSS無可厚非地成了當(dāng)前效果最好的游戲超分辨率技術(shù)，但也將這一技術(shù)限制在了英偉達(dá)自家的GPU平臺(tái)上。

FSR在四種模式下的表現(xiàn) / AMD

AMD為了與老黃相抗衡，也推出了對(duì)應(yīng)的超分辨率技術(shù)FSR，與DLSS技術(shù)相比，F(xiàn)SR涉及到的計(jì)算工作就要少一大截了，畢竟不需要額外的計(jì)算單元。FSR作為一種后處理算法，主要還是利用空間算法對(duì)當(dāng)前畫面幀進(jìn)行升級(jí)和增強(qiáng)，而無需任何的深度學(xué)習(xí)。雖然如此一來游戲的幀數(shù)有了顯著提高，但在圖形質(zhì)量上仍然會(huì)看見不少模糊之處，尤其是在動(dòng)態(tài)場(chǎng)景中，運(yùn)動(dòng)偽影的現(xiàn)象比較嚴(yán)重。但好在FSR技術(shù)無需特定的硬件，所以即便是競(jìng)爭(zhēng)對(duì)手的GPU，也能充分利用這一技術(shù)。

據(jù)傳，AMD即將在不久后的GDC上發(fā)布全新的FSR 2.0技術(shù)，這次AMD也效仿了英偉達(dá)，用上時(shí)間數(shù)據(jù)來進(jìn)行升采樣，更讓人驚喜的是，即便如此，該技術(shù)依然無需任何獨(dú)立機(jī)器學(xué)習(xí)硬件，這意味著FSR 2.0有很大幾率成為DLSS的合格競(jìng)爭(zhēng)對(duì)手。

物聯(lián)網(wǎng)能不能搭上超分辨率技術(shù)這班車？

其實(shí)這兩家即便在技術(shù)路線上有所差異，但標(biāo)榜的都是提高游戲的幀數(shù)和圖形質(zhì)量，然而目前如此高效的超分辨率技術(shù)只能用于游戲上嗎？反觀一些物聯(lián)網(wǎng)，尤其是工業(yè)物聯(lián)網(wǎng)的應(yīng)用，同樣需要對(duì)較低分辨率的圖片視頻進(jìn)行處理。低分辨率在一定程度上限制了信息傳輸?shù)臏?zhǔn)確性，從而降低了傳輸效率。比如醫(yī)學(xué)影像中，高分辨率的圖像可以更準(zhǔn)確地對(duì)疾病進(jìn)行判斷。但是以上三家所用到的超分辨率技術(shù)出于各種原因，目前還是只能用作游戲優(yōu)化技術(shù)。

首先是因?yàn)閷?shí)現(xiàn)方式的不同，在游戲里支持這樣的超分辨率技術(shù)，其實(shí)是靠和圖形渲染引擎的集成來實(shí)現(xiàn)的，而不是簡(jiǎn)單地對(duì)圖像或視頻進(jìn)行處理。所以除非是用到了Unity或Unreal之類的圖形引擎，比如工業(yè)場(chǎng)景中興起的數(shù)字孿生系統(tǒng)等，是無法充分利用到這些技術(shù)的。

其次，這些技術(shù)對(duì)于硬件的算力同樣存在一定的要求，這里提到的算力不只是圖形算力，還有AI算力，如果是英偉達(dá)的DLSS技術(shù)的話，還需要特定的硬件才能實(shí)現(xiàn)。而目前物聯(lián)網(wǎng)場(chǎng)景中的邊緣設(shè)備往往沒有很高的算力。即便在開始推行邊緣AI的情況下，最多也只是對(duì)圖像和視頻做一些簡(jiǎn)單的處理，比如準(zhǔn)確識(shí)別智能水表上的刻度等等。

這也不是說目前物聯(lián)網(wǎng)沒辦法享受這樣的超分辨率技術(shù)，但稍微可行的方案可能還是需要在云端實(shí)現(xiàn)。比如智能監(jiān)控?cái)z像頭拍攝的視頻，在存儲(chǔ)至云端的同時(shí)，也可以同時(shí)進(jìn)行AI超分辨率重建。

不過這種方案目前應(yīng)該很難普及，一是考慮到這類云服務(wù)器的部署成本偏高，如果只是單通道傳輸還算好，而工業(yè)物聯(lián)網(wǎng)場(chǎng)景中往往是數(shù)十條1080p視頻流同時(shí)傳輸。二是到不少物聯(lián)網(wǎng)應(yīng)用講究的依然是實(shí)時(shí)數(shù)據(jù)傳輸。就拿將智能監(jiān)控?cái)z像頭作為寵物攝像頭來說，這其中的需求就是實(shí)時(shí)觀察寵物動(dòng)向，而不是等待AI重構(gòu)完后回傳的視頻。

好在邊緣AI、深度學(xué)習(xí)模型已經(jīng)在物聯(lián)網(wǎng)領(lǐng)域喚起了關(guān)注，專注于傳感器、MCU等硬件的廠商，都開始或多或少加入一定的AI/ML計(jì)算性能。未來邊緣AI算力提升，超分辨率深度學(xué)習(xí)模型開銷變小的前提下，物聯(lián)網(wǎng)可以真正享受到超分辨率技術(shù)帶來的好處。