人工智能在影像升級中的關(guān)鍵作用

從我們的智能手機到監(jiān)控攝像頭，人工智能在將模糊、顆粒狀的照片轉(zhuǎn)化為高分辨率照片方面做得越來越好。

這些改進背后的秘密是一對被稱為人工智能超分辨率和人工智能升級的技術(shù)，在這兩種技術(shù)中，人工智能模型在巨大的數(shù)據(jù)集上進行訓(xùn)練，可以提升模糊圖像的質(zhì)量或增加其分辨率。

IEEE會員Yale Fox表示：“由于幾項關(guān)鍵技術(shù)的進步，人工智能的升級在這些年里有了顯著的提高。其中一個進步是遷移學(xué)習(xí)，它允許開發(fā)人員將預(yù)先訓(xùn)練好的模型用于新任務(wù)，大大提高了升級的速度和準(zhǔn)確性。另一個關(guān)鍵發(fā)展是大型圖像數(shù)據(jù)集的可用性，這對于訓(xùn)練深度學(xué)習(xí)算法識別和生成高質(zhì)量圖像至關(guān)重要?！?/p>

Fox表示，圖形處理單元（GPU）的進步也改善了這項技術(shù)。

“GPU和深度學(xué)習(xí)的結(jié)合對于使人工智能更快、更高效地升級也至關(guān)重要。GPU可以同時處理大量數(shù)據(jù)，從而實現(xiàn)更快的訓(xùn)練和推理?！?/p>

許多智能手機使用人工智能升級來提高照片的質(zhì)量和分辨率。但這項技術(shù)也在其他領(lǐng)域有應(yīng)用，包括醫(yī)療、衛(wèi)星和娛樂行業(yè)。

衛(wèi)星成像：近年來，發(fā)射到軌道上的衛(wèi)星數(shù)量激增。發(fā)射更小、更輕的衛(wèi)星變得更容易、更便宜。但較小的衛(wèi)星可能無法像較大的衛(wèi)星那樣攜帶昂貴的高分辨率相機。正如IEEE Xplore的這篇文章（https://ieeexplore.ieee.org/document/9757881）所示，人工智能超分辨率使較小的衛(wèi)星能夠用較小的相機捕捉更好的圖像。

天氣預(yù)報：一些氣象衛(wèi)星監(jiān)視著地球的大部分地區(qū)。他們拍攝的照片可能只顯示了幾平方英里大小的細(xì)節(jié)。IEEE Access的一篇文章（https://ieeexplore.ieee.org/document/9001044）描述了一種教低分辨率氣象衛(wèi)星如何拍攝更好照片的系統(tǒng)。它通過使用舊的天氣和氣候數(shù)據(jù)來做到這一點，這有助于提高這些大面積氣象衛(wèi)星的圖片質(zhì)量。

視頻會議：通過筆記本電腦甚至手機傳輸?shù)膶崟r視頻使用了大量的互聯(lián)網(wǎng)帶寬。幾十年來，這些服務(wù)一直依靠音頻和視頻編解碼器來壓縮和解壓縮數(shù)據(jù)流（https://spectrum.ieee.org/ai-video-codecs-waveone）。這些編解碼器中的許多都有幾十年的歷史，是在互聯(lián)網(wǎng)速度慢得多的時候開發(fā)的。

Fox說：“最先進的算法現(xiàn)在只需要一個人的一張高分辨率照片，然后相機跟蹤他們的面部肌肉是如何運動的，以創(chuàng)建一種深度偽造的圖像。這意味著帶寬和文件大小減少了近800倍，這對視頻通話等應(yīng)用程序至關(guān)重要。這是一個巨大的增長，它確實稍微進行了改變?！?/p>

視頻游戲和流媒體視頻：與在線視頻會議一樣，圖像放大在視頻游戲中產(chǎn)生了巨大影響。IEEE Spectrum（https://spectrum.ieee.org/ai-graphics-neural-rendering）的一份報告顯示，對于一些圖形密集的視頻游戲，每八個像素中就有七個是由人工智能生成的，因此速度快了530%。對于如何將超分辨率技術(shù)應(yīng)用于點播視頻流，也有重要的研究（https://ieeexplore.ieee.org/document/10019712）。

醫(yī)學(xué)成像：超分辨率技術(shù)在醫(yī)學(xué)領(lǐng)域有著廣泛的應(yīng)用。許多醫(yī)學(xué)圖像，如X射線和MRI掃描，由于各種因素，包括掃描時間長度和設(shè)備的限制，分辨率較低。例如，提高腫瘤周圍微小血管的分辨率可以幫助癌癥的識別和治療（https://ieeexplore.ieee.org/document/8854062）。超分辨率還可以改善胎兒的成像，因為胎兒往往會四處移動，使成像變得困難。

那么，是什么讓這些技術(shù)變得更好呢？

IEEE高級會員Fabrizzio Soares說，更好的訓(xùn)練數(shù)據(jù)。

Soares說：“值得一提的是，這些算法依賴于圖像中先前的知識，因此提供的樣本越多，模型就越準(zhǔn)確。但建立最完整的圖像數(shù)據(jù)庫是一個難題。此外，提供的樣本越多，模型就越大。因此，訓(xùn)練和維護模型需要付出更大的努力?！?/p>

審核編輯：黃飛