0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

機(jī)器學(xué)習(xí)中如何使用擴(kuò)散模型產(chǎn)生高保真度圖像

硬件三人行 ? 來源:TensorFlow ? 作者:Chitwan Saharia、Jon ? 2021-08-24 09:22 ? 次閱讀

發(fā)布人:Google Research Brain 團(tuán)隊(duì)研究員 Jonathan Ho 和軟件工程師 Chitwan Saharia

自然圖像合成是范圍很廣的一類機(jī)器學(xué)習(xí) (ML) 任務(wù),會面臨各種類型的應(yīng)用所帶來的許多設(shè)計(jì)挑戰(zhàn)。其中之一就是圖像超分辨率,即訓(xùn)練一個(gè)模型來將低分辨率的圖像,轉(zhuǎn)換為細(xì)節(jié)豐富的高分辨率圖像(例如 RAISR)。超分辨率的應(yīng)用有很多,從恢復(fù)古舊的家族畫像,到改善醫(yī)療成像系統(tǒng) (Super-resolution imaging),均有涉獵。另一個(gè)類似的圖像合成任務(wù)是類條件下的圖像生成,即訓(xùn)練一個(gè)模型,并根據(jù)輸入的類別標(biāo)簽生成樣本圖像。最終生成的樣本圖像可用于提高圖像分類、分割等下游模型的性能。例如,GAN 經(jīng)常受到不穩(wěn)定的訓(xùn)練和模式崩潰的影響,而自回歸模型通常受到合成速度慢的影響。

RAISR

https://ai.googleblog.com/2016/11/enhance-raisr-sharp-images-with-machine.html

一般來說,這些圖像合成任務(wù)由深度生成模型完成,如 GAN、VAE,以及自回歸模型。然而,通過訓(xùn)練讓這些模型在困難的高分辨率數(shù)據(jù)集上,合成高質(zhì)量的樣本時(shí),它們的表現(xiàn)均有不足。例如,GAN 經(jīng)常受到不穩(wěn)定的訓(xùn)練和模式崩潰的影響,而自回歸模型通常受到合成速度慢的影響。

GAN

https://arxiv.org/abs/1406.2661

VAE

https://arxiv.org/abs/1312.6114

自回歸模型

https://arxiv.org/abs/1601.06759

但是,2015 年首次提出的擴(kuò)散模型 (Diffusion Model) 由于其訓(xùn)練的穩(wěn)定性及在圖像和音頻生成方面的樣本質(zhì)量結(jié)果很有潛力,最近又重新引起了關(guān)注。因此,與其他類型的深度生成模型相比,此模型在得失方面有了不錯的權(quán)衡。擴(kuò)散模型的工作原理是通過逐步添加高斯噪聲來破壞訓(xùn)練數(shù)據(jù),慢慢抹去數(shù)據(jù)中的細(xì)節(jié),直到變成純噪聲。然后再訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)來逆轉(zhuǎn)這個(gè)破壞過程。運(yùn)行這個(gè)反向破壞過程,可以通過逐漸去噪,來從純噪聲中合成數(shù)據(jù),直到產(chǎn)生一個(gè)干凈的樣本。這個(gè)合成過程可以被解釋為一種優(yōu)化算法,會按照數(shù)據(jù)密度的梯度來產(chǎn)生可能的樣本。

擴(kuò)散模型

https://arxiv.org/abs/1503.03585

可以被解釋為

https://arxiv.org/abs/2006.11239

按照數(shù)據(jù)密度的梯度

https://arxiv.org/abs/1907.05600

今天,我們會介紹兩種相互聯(lián)系的方法。它們將推動擴(kuò)散模型的圖像合成質(zhì)量界限,即通過重復(fù)優(yōu)化獲得的超級分辨率 (SR3) 和用于類條件合成的模型,此模型又名為級聯(lián)擴(kuò)散模型 (CDM)。經(jīng)證明,通過擴(kuò)大擴(kuò)散模型的規(guī)模以及精心選擇的數(shù)據(jù)增強(qiáng)技術(shù),我們可以取得比現(xiàn)有方法更出色的結(jié)果。具體來說,SR3 可以實(shí)現(xiàn)強(qiáng)大的圖像超分辨率結(jié)果,在人工評估方面的表現(xiàn)優(yōu)于 GAN。CDM 生成的高保真 ImageNet 樣本在 FID 得分 (Fréchet inception distance) 和分類準(zhǔn)確率得分上都大大超過了 BigGAN-deep 和 VQ-VAE2。

分類準(zhǔn)確率得分

https://arxiv.org/abs/1905.10887

BigGAN-deep

https://arxiv.org/abs/1809.11096

VQ-VAE2

https://arxiv.org/abs/1906.00446

SR3:圖像超分辨率

SR3 是一個(gè)超分辨率擴(kuò)散模型,它通過輸入低分辨率圖像,從純噪聲中構(gòu)建相應(yīng)的高分辨率圖像。該模型利用圖像破壞過程為訓(xùn)練對象,在這個(gè)過程中,噪聲被逐步添加到高分辨率圖像中,直到只剩下純噪聲為止。然后,它將逆轉(zhuǎn)這一過程,從純噪聲開始,逐步去除噪聲,再通過指導(dǎo)輸入的低分辨率圖像,達(dá)到目標(biāo)分布。

SR3

http://iterative-refinement.github.io

通過大規(guī)模的訓(xùn)練,在擴(kuò)縮到所輸入低分辨率圖像的 4-8 倍時(shí),SR3 在人臉和自然圖像的超分辨率任務(wù)中取得了強(qiáng)大的基準(zhǔn)結(jié)果。這些超分辨率模型可以進(jìn)一步級聯(lián)起來,增加有效的超分辨率縮放系數(shù),例如,通過將 64x64→256x256 和 256x256→1024x1024 的人臉超分辨率模型堆疊在一起,來執(zhí)行 64x64→1024x1024 的超分辨率任務(wù)。

以人工評估研究為例,我們比較了 SR3 與現(xiàn)有方法。通過開展雙選項(xiàng)必選實(shí)驗(yàn) (Two-alternative forced choice),我們要求受訪者在引用的高分辨率圖像和模型輸出之間做出選擇,并回答問題(猜一猜哪張圖像是攝像機(jī)拍攝的?)。我們通過混淆率(評分者選擇模型輸出而不是參考圖像的次數(shù)百分比,一個(gè)完美的算法能夠達(dá)到 50% 的混淆率)來衡量模型的性能。這項(xiàng)研究的結(jié)果如下圖所示。

上:我們在 16x16→128x128 的人臉任務(wù)中實(shí)現(xiàn)了接近 50% 的混淆率,優(yōu)于一流的人臉超分辨率方法 PULSE 和 FSRGAN。下:在 64x64 → 256x256 的自然圖像這個(gè)更困難的任務(wù)中,我們也達(dá)到了 40% 的混淆率,表現(xiàn)水準(zhǔn)遠(yuǎn)超回歸基線

PULSE

https://arxiv.org/abs/2003.03808

FSRGAN

https://arxiv.org/abs/1711.10703

CDM:類條件 ImageNet 生成

在展示了 SR3 處理自然圖像超分辨率方面的有效性之后,我們便更進(jìn)一步——將這些 SR3 模型用于類條件圖像生成。CDM 是利用 ImageNet 數(shù)據(jù)訓(xùn)練的類條件擴(kuò)散模型,可以生成高分辨率的自然圖像。由于 ImageNet 是一個(gè)困難的高熵?cái)?shù)據(jù)集,我們將 CDM 構(gòu)建為多個(gè)擴(kuò)散模型的級聯(lián)。這種級聯(lián)方法會將多個(gè)空間分辨率的生成模型串聯(lián)起來:一個(gè)擴(kuò)散模型以低分辨率生成數(shù)據(jù),搭配一連串的 SR3 超分辨率擴(kuò)散模型,生成圖像的分辨率逐漸提高到最高。眾所周知,級聯(lián)可以改善高分辨率數(shù)據(jù)的質(zhì)量和訓(xùn)練速度,這一點(diǎn)在以前的研究(例如自回歸模型和 VQ-VAE-2)以及同時(shí)進(jìn)行的擴(kuò)散模型研究中都有所體現(xiàn)。正如以下定量結(jié)果所證明的那樣,CDM 進(jìn)一步突出了級聯(lián)在擴(kuò)散模型中對樣本質(zhì)量的有效性和對下游任務(wù)(如圖像分類)的有用性。

級聯(lián)流水線的示例,其中包括一系列擴(kuò)散模型:第一個(gè)模型用于生成低分辨率的圖像,然后其余的模型負(fù)責(zé)執(zhí)行上采樣,以最終生成高分辨率的圖像。此為用于生成類條件 ImageNet 的流水線,以 32x32 分辨率的類條件擴(kuò)散模型開始,然后是使用 SR3 的 2 倍和 4 倍的類條件超分辨率

從我們的 256x256 級聯(lián)類條件 ImageNet 模型中選擇的生成圖像

同時(shí)進(jìn)行

https://arxiv.org/abs/2102.09672

研究

https://arxiv.org/abs/2105.05233

將 SR3 模型納入級聯(lián)流水線的同時(shí),我們還引入了一種新的數(shù)據(jù)增強(qiáng)技術(shù),稱之為 “條件增強(qiáng)”,它可以進(jìn)一步優(yōu)化 CDM 的樣本質(zhì)量結(jié)果。雖然 CDM 中的超分辨率模型利用數(shù)據(jù)集中的原始圖像訓(xùn)練而成,但在生成過程中,它們需要以超分辨率對低分辨率基礎(chǔ)模型生成的圖像進(jìn)行處理,而這些圖像與原始圖像相比,質(zhì)量可能不夠高。這就導(dǎo)致了超分辨率模型的訓(xùn)練和測試水平不對等。條件增強(qiáng)是指對級聯(lián)流水線中每個(gè)超分辨率模型的低分辨率輸入圖像進(jìn)行數(shù)據(jù)增強(qiáng)。在我們的研究中,這些增強(qiáng)包括高斯噪聲和高斯模糊,防止各個(gè)超分辨率模型對其低分辨率的條件輸入過度擬合,最終讓 CDM 得到更好的高分辨率樣本質(zhì)量。

總的來說,CDM 生成的高保真樣本在類條件 ImageNet 生成的 FID 得分和分類準(zhǔn)確率得分方面都優(yōu)于 BigGAN-deep 和 VQ-VAE-2。不同于 ADM 和 VQ-VAE-2 等其他模型,CDM 是一個(gè)純粹的生成模型,不會使用分類器來提高樣本質(zhì)量。有關(guān)樣本質(zhì)量的定量結(jié)果如下所示。

就不使用額外分類器來提高樣本質(zhì)量的方法而言,類條件 ImageNet FID 在 256x256 分辨率下的得分。BigGAN-deep 的分?jǐn)?shù)記錄自其在最佳截?cái)嘀禃r(shí)的表現(xiàn)(數(shù)值越低越好)

ImageNet 分類準(zhǔn)確率在 256x256 分辨率下的得分,用以衡量利用生成數(shù)據(jù)訓(xùn)練的分類器的驗(yàn)證集準(zhǔn)確率。與現(xiàn)有的方法相比,使用 CDM 生成的數(shù)據(jù)取得了明顯的進(jìn)步,縮小了真實(shí)數(shù)據(jù)和生成數(shù)據(jù)之間的分類準(zhǔn)確率的差距(數(shù)值越高越好)

結(jié)論

在 SR3 和 CDM 的助力下,我們已經(jīng)將擴(kuò)散模型的性能提升到了超分辨率和類條件 ImageNet 生成基準(zhǔn)的一流水平。我們很高興能進(jìn)一步探索擴(kuò)散模型在各種生成性建模問題上的極限。有關(guān)我們研究的更多信息,請參閱通過迭代優(yōu)化實(shí)現(xiàn)圖像超分辨和用于生成高保真圖像的級聯(lián)擴(kuò)散模型。

責(zé)任編輯:haq

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報(bào)投訴
  • 圖像
    +關(guān)注

    關(guān)注

    2

    文章

    1092

    瀏覽量

    41004
  • 模型
    +關(guān)注

    關(guān)注

    1

    文章

    3483

    瀏覽量

    49959
  • 機(jī)器學(xué)習(xí)

    關(guān)注

    66

    文章

    8490

    瀏覽量

    134034

原文標(biāo)題:用擴(kuò)散模型生成高保真度圖像

文章出處:【微信號:yingjiansanrenxing,微信公眾號:硬件三人行】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏

    評論

    相關(guān)推薦
    熱點(diǎn)推薦

    LME49600 單通道、110MHz、高保真、高電流耳機(jī)緩沖器技術(shù)手冊

    LME49600是一款高性能、低失真、高保真度的250mA音頻緩沖器。LME49600專為廣泛的應(yīng)用而設(shè)計(jì)。它可以在運(yùn)算放大器的反饋回路中使用。
    的頭像 發(fā)表于 05-20 09:45 ?160次閱讀
    LME49600 單通道、110MHz、<b class='flag-5'>高保真</b>、高電流耳機(jī)緩沖器技術(shù)手冊

    機(jī)器學(xué)習(xí)模型市場前景如何

    當(dāng)今,隨著算法的不斷優(yōu)化、數(shù)據(jù)量的爆炸式增長以及計(jì)算能力的飛速提升,機(jī)器學(xué)習(xí)模型的市場前景愈發(fā)廣闊。下面,AI部落小編將探討機(jī)器學(xué)習(xí)
    的頭像 發(fā)表于 02-13 09:39 ?282次閱讀

    【「具身智能機(jī)器人系統(tǒng)」閱讀體驗(yàn)】2.具身智能機(jī)器人大模型

    的設(shè)計(jì)不僅提高了機(jī)器人對環(huán)境的理解能力,還使其能夠更精準(zhǔn)地執(zhí)行復(fù)雜任務(wù)。 擴(kuò)散模型的新思路 除了大模型,擴(kuò)散
    發(fā)表于 12-29 23:04

    高保真功放電路的特點(diǎn) 低頻功放電路的應(yīng)用

    高保真功放電路的特點(diǎn) 高保真功放電路的主要目標(biāo)是盡可能準(zhǔn)確地再現(xiàn)輸入信號,以提供高質(zhì)量的音頻輸出。以下是高保真功放電路的一些關(guān)鍵特點(diǎn): 高信噪比(SNR) :高保真功放電路具有很高的信
    的頭像 發(fā)表于 12-03 10:36 ?897次閱讀

    一種新型機(jī)翼應(yīng)變載荷關(guān)系神經(jīng)網(wǎng)絡(luò)模型

    摘要 建立飛機(jī)結(jié)構(gòu)應(yīng)變載荷關(guān)系模型時(shí),地面標(biāo)定試驗(yàn)數(shù)據(jù)保真度高、但工況范圍及數(shù)量受限,有限元仿真工況范圍覆蓋廣、但數(shù)據(jù)保真度低,導(dǎo)致單獨(dú)依據(jù)地面標(biāo)定試驗(yàn)數(shù)據(jù)和有限元仿真數(shù)據(jù)建立的應(yīng)變載荷關(guān)系
    的頭像 發(fā)表于 11-21 10:59 ?452次閱讀
    一種新型機(jī)翼應(yīng)變載荷關(guān)系神經(jīng)網(wǎng)絡(luò)<b class='flag-5'>模型</b>

    擴(kuò)散模型的理論基礎(chǔ)

    擴(kuò)散模型的迅速崛起是過去幾年機(jī)器學(xué)習(xí)領(lǐng)域最大的發(fā)展之一。在這本簡單易懂的指南中,學(xué)習(xí)你需要知道的關(guān)于擴(kuò)散
    的頭像 發(fā)表于 10-28 09:30 ?1212次閱讀
    <b class='flag-5'>擴(kuò)散</b><b class='flag-5'>模型</b>的理論基礎(chǔ)

    AI大模型與傳統(tǒng)機(jī)器學(xué)習(xí)的區(qū)別

    AI大模型與傳統(tǒng)機(jī)器學(xué)習(xí)在多個(gè)方面存在顯著的區(qū)別。以下是對這些區(qū)別的介紹: 一、模型規(guī)模與復(fù)雜 AI大
    的頭像 發(fā)表于 10-23 15:01 ?2351次閱讀

    AI大模型圖像識別的優(yōu)勢

    AI大模型圖像識別展現(xiàn)出了顯著的優(yōu)勢,這些優(yōu)勢主要源于其強(qiáng)大的計(jì)算能力、深度學(xué)習(xí)算法以及大規(guī)模的數(shù)據(jù)處理能力。以下是對AI大模型
    的頭像 發(fā)表于 10-23 15:01 ?2246次閱讀

    數(shù)字功放和模擬功放哪個(gè)更保真

    避免了傳統(tǒng)模擬信號處理的許多失真和噪聲源,從而提供了更高保真度的音質(zhì)。 動態(tài)性能 :數(shù)字功放能夠處理更大的信號變化范圍,因此在處理大音量時(shí)表現(xiàn)更佳,動態(tài)性能優(yōu)越。 失真控制 :數(shù)字功放采用了先進(jìn)的算法對音頻信號進(jìn)行優(yōu)
    的頭像 發(fā)表于 10-10 09:30 ?1506次閱讀

    揭秘使用20位DAC生成超低噪聲、高保真波形的設(shè)計(jì)挑戰(zhàn)

    電子發(fā)燒友網(wǎng)站提供《揭秘使用20位DAC生成超低噪聲、高保真波形的設(shè)計(jì)挑戰(zhàn).pdf》資料免費(fèi)下載
    發(fā)表于 09-11 09:47 ?0次下載
    揭秘使用20位DAC生成超低噪聲、<b class='flag-5'>高保真</b>波形的設(shè)計(jì)挑戰(zhàn)

    AB類功放輸出和雙線分音的基本概念和原理

    AB類功放輸出: AB類功放是一種音頻放大器,它結(jié)合了A類和B類功放的優(yōu)點(diǎn)。A類功放提供高保真度和低失真,但效率較低。B類功放效率較高,但可能會產(chǎn)生交越失真。AB類功放通過在輸出晶體管上使用兩個(gè)偏置
    的頭像 發(fā)表于 08-23 10:52 ?1421次閱讀

    圖像分割與語義分割的CNN模型綜述

    圖像分割與語義分割是計(jì)算機(jī)視覺領(lǐng)域的重要任務(wù),旨在將圖像劃分為多個(gè)具有特定語義含義的區(qū)域或?qū)ο?。卷積神經(jīng)網(wǎng)絡(luò)(CNN)作為深度學(xué)習(xí)的一種核心模型,在
    的頭像 發(fā)表于 07-09 11:51 ?1734次閱讀

    深度學(xué)習(xí)模型權(quán)重

    在深度學(xué)習(xí)這一充滿無限可能性的領(lǐng)域中,模型權(quán)重(Weights)作為其核心組成部分,扮演著至關(guān)重要的角色。它們不僅是模型學(xué)習(xí)的基石,更是模型
    的頭像 發(fā)表于 07-04 11:49 ?3763次閱讀

    機(jī)器人視覺技術(shù)圖像分割方法有哪些

    機(jī)器人視覺技術(shù)是人工智能領(lǐng)域的一個(gè)重要分支,它涉及到圖像處理、模式識別、機(jī)器學(xué)習(xí)等多個(gè)學(xué)科。圖像分割是機(jī)
    的頭像 發(fā)表于 07-04 11:34 ?1541次閱讀

    LME49600高性能、高保真、大電流緩沖器數(shù)據(jù)表

    電子發(fā)燒友網(wǎng)站提供《LME49600高性能、高保真、大電流緩沖器數(shù)據(jù)表.pdf》資料免費(fèi)下載
    發(fā)表于 06-17 09:18 ?1次下載
    LME49600高性能、<b class='flag-5'>高保真</b>、大電流緩沖器數(shù)據(jù)表

    電子發(fā)燒友

    中國電子工程師最喜歡的網(wǎng)站

    • 2931785位工程師會員交流學(xué)習(xí)
    • 獲取您個(gè)性化的科技前沿技術(shù)信息
    • 參加活動獲取豐厚的禮品