0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

GAN論文閱讀路線圖,更快地通過(guò)大量閱讀入門GAN

DPVg_AI_era ? 來(lái)源:未知 ? 作者:李倩 ? 2018-11-05 17:25 ? 次閱讀

當(dāng)剛?cè)腴T深度對(duì)抗網(wǎng)絡(luò)(GAN),我們可能會(huì)遇到的第一個(gè)問題是:應(yīng)該從哪篇論文開始讀起呢?如果有著這樣的疑問,那就看看這篇GAN論文閱讀路線圖吧。

針對(duì)深度對(duì)抗網(wǎng)絡(luò)(GAN)的初學(xué)者,來(lái)自中東科技大學(xué)的學(xué)者?dil Sülo給出了GAN論文閱讀路線圖,以幫助人們更好更快地通過(guò)大量閱讀入門GAN。

路線圖按照下面四個(gè)準(zhǔn)則構(gòu)建而成:

從提綱到細(xì)節(jié)

從經(jīng)典到前沿

從通用領(lǐng)域到特定領(lǐng)域

專注于最先進(jìn)的技術(shù)

Generative Adversarial Networks – Paper Reading Road Map

今年夏天,我在我的實(shí)習(xí)工作中重點(diǎn)研究了Generative Adversarial Networks(GAN)。 起初,我對(duì)這個(gè)模型知之甚少,所以實(shí)習(xí)的最初幾周進(jìn)行了大量的紙質(zhì)閱讀。 為了幫助其他想要了解更多關(guān)于GAN技術(shù)的人,我想按照我閱讀的順序分享一些我讀過(guò)的文章。

在閱讀這些論文之前,如果您不熟悉這些論文,我建議您學(xué)習(xí)一些深度學(xué)習(xí)的基礎(chǔ)知識(shí)。 我也相信其中一些論文背后的數(shù)學(xué)可能非常困難,所以如果你覺得不舒服,你可以跳過(guò)這些部分。

這是我的論文閱讀路線圖,我給出了一些我自己關(guān)于論文的評(píng)論:

1. NIPS 2016 Tutorial: Generative Adversarial Networks

這是Ian Goodfellow的一個(gè)教程,介紹了GANS的重要性、它們的工作原理、與它們相關(guān)的研究前沿以及將GANS與其他方法結(jié)合起來(lái)最前沿的視覺模型。本教程首先介紹GANS的應(yīng)用實(shí)例。然后,Ian Goodfellow對(duì)GANS和其他模型,如變分編碼器進(jìn)行了比較。Goodfellow后來(lái)解釋了生成器和判別器是如何工作的,并且還描述了它們之間的關(guān)系。接下來(lái),Goodfellow給出了改進(jìn)GANS性能的一些技巧和竅門,以及與GANS相關(guān)的一些研究前沿。他還提及了GANS面臨的問題,比如模式崩塌。最后,Goodfellow提出了一些實(shí)際操作和解決方法。

Paper link: https://arxiv.org/abs/1701.00160

2. Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks

這篇論文描述了一種使卷積GAN訓(xùn)練更加穩(wěn)定的新型結(jié)構(gòu)——深度卷積生成網(wǎng)絡(luò)(DCGAN)。研究人員給出了這種結(jié)構(gòu)的一些指導(dǎo)方針,例如為更深的結(jié)構(gòu)移除全連接的隱藏層,為生成器和鑒別器使用 batch normalisation,在生成器中為除輸出層之外的所有層使用ReLU,以及在鑒別器中的所有層使用LeakyReLU。

Paper link: https://arxiv.org/abs/1511.06434

3. Wasserstein GAN

本文提出了一種Wasserstein GAN(WGAN)來(lái)優(yōu)化GANs的訓(xùn)練過(guò)程。借助于WGAN,作者避免了模式崩塌等問題,并提供了可以調(diào)試和超參數(shù)搜索的學(xué)習(xí)方式,使用weight clipping來(lái)進(jìn)行了一個(gè)Lipschitz約束,但是將在下一篇文章中看到另一種技術(shù),將改進(jìn)這部分。

Paper link: https://arxiv.org/abs/1701.07875

4. Improved Training of Wasserstein GANs

這篇論文發(fā)現(xiàn),有時(shí)WGAN可能會(huì)出現(xiàn)不滿意的結(jié)果,如產(chǎn)生不好的例子,不能收斂等。這是由于上面提到的weight clipping的使用。在這個(gè)工作中,研究人員提出了一種替代weight clipping命名梯度懲罰的方法,把這種結(jié)構(gòu)稱為WGAN-GP,并表明這種技術(shù)的使用極大地提高了WGAN的性能。

Paper link:https://arxiv.org/abs/1704.00028

5. On the Regularization of Wasserstein GANs

為了提升GAN訓(xùn)練的穩(wěn)定性,這篇論文提出了一種新的懲罰項(xiàng)來(lái)加強(qiáng)Lipschitz約束。他們把這種結(jié)構(gòu)稱為WGAN-LP,并且在他們的實(shí)驗(yàn)中,他們把它與上面提到的WGAN-GP進(jìn)行比較。

Paper link: https://arxiv.org/abs/1709.08894

下面的論文提出了新的技術(shù)和結(jié)構(gòu),可以作為最前沿的tricks 來(lái)使生成式對(duì)抗網(wǎng)絡(luò)的訓(xùn)練變得穩(wěn)定。

6. Is Generator Conditioning Causally Related to GAN Performance?

本文提出了一種重要的技術(shù)Jacobian Clamping。通過(guò)該技術(shù)的幫助,研究者提供了GAN生成器的conditioning 和由這些GAN生成器表示的模型的“質(zhì)量”之間存在因果關(guān)系的證據(jù)。

Paper link: https://arxiv.org/abs/1802.08768

7. Neural Photo Editing with Introspective Adversarial Networks

在這篇論文中,作者提出了感知圖像編輯器(Neural Photo Editor),它是一個(gè)圖像編輯界面,可以用生成神經(jīng)網(wǎng)絡(luò)的能力來(lái)對(duì)圖像進(jìn)行比較大的語(yǔ)義層面的合理修改。為了解決達(dá)到準(zhǔn)確重建而不損失特征性質(zhì),作者提出了內(nèi)省對(duì)抗式網(wǎng)絡(luò)(Introspective Adversarial Network),該網(wǎng)絡(luò)將GAN和VAE創(chuàng)新地結(jié)合在一起。通過(guò)使用基于權(quán)重分享的擴(kuò)張卷積(weight-shareddilated convolutions)計(jì)算塊,該模型可以有效的獲得遠(yuǎn)程依賴(long-rangedependencies),并且通過(guò)正交正則化(Orthogonal Regularization)這樣一個(gè)新的權(quán)重正則化方法,提升了泛化表現(xiàn)。作者在CeleA,SVHN和CIFAR-100數(shù)據(jù)庫(kù)上驗(yàn)證了模型的有效性,并且產(chǎn)生了具有高視覺保真度的樣例和重構(gòu)圖片。

Paper link: https://arxiv.org/abs/1609.07093

8. GANs Trained by a Two Time-Scale Update Rule Converge to a Local Nash Equilibrium

在這篇論文中, 作者引入兩種基于時(shí)間尺度的跟新規(guī)則,它們被證明可以收斂到穩(wěn)定的局部納什均衡。

Paper link: https://arxiv.org/abs/1706.08500

9. Spectral Normalization for Generative Adversarial Networks

這篇文章提出一種稱為spectral normalization的新的權(quán)重歸一化技術(shù),以穩(wěn)定GAN鑒別器的訓(xùn)練。

在高維空間中,鑒別器做出的密度比例估計(jì)往往不準(zhǔn)確,而且在訓(xùn)練中非常不穩(wěn)定,生成器網(wǎng)絡(luò)也難以學(xué)到目標(biāo)分布的多模態(tài)結(jié)構(gòu)。更糟糕的是,當(dāng)生成的和目標(biāo)數(shù)據(jù)分布區(qū)域不相交的時(shí)候,就存在著一個(gè)能完美區(qū)分生成的數(shù)據(jù)和目標(biāo)數(shù)據(jù)的鑒別器。一旦遇到了這樣的狀況、訓(xùn)練出了這樣的鑒別器,生成器的訓(xùn)練就基本停滯了,因?yàn)檫@樣產(chǎn)生的鑒別器的關(guān)于輸入的導(dǎo)數(shù)就成了0。這種情況讓作者們思考如何引入一些新的限制,避免訓(xùn)練出這樣的鑒別器。在這篇論文中,作者們提出了一種新的權(quán)重正則化方法,稱作“spectral normalization”(光譜標(biāo)準(zhǔn)化),它可以穩(wěn)定鑒別器網(wǎng)絡(luò)的訓(xùn)練過(guò)程。這種正則化方法的性質(zhì)很讓人喜歡:(1)只需要調(diào)節(jié)Lipschitz常數(shù)一個(gè)超參數(shù),而且想到達(dá)到令人滿意的模型表現(xiàn)也不需要反復(fù)調(diào)試僅有的這一個(gè)參數(shù);(2)方法的實(shí)現(xiàn)非常簡(jiǎn)單,額外的計(jì)算開銷也很小。

Paper link: https://arxiv.org/abs/1802.05957

10. Generalization and Equilibrium in Generative Adversarial Nets (GANs)

泛化能力是衡量生成模型好壞的一個(gè)重要標(biāo)準(zhǔn),本文指出 JS 散度、Wasserstein 距離都不能很好地衡量模型的泛化能力,為此,文中提出了一種基于 discriminator 的 neural network divergence/distance,用于衡量模型的泛化能力。此外作者還證明了 WGAN 的純策略納什均衡解的存在性,并提出MIX+GAN(混合策略 GAN)的訓(xùn)練模式,該模式在實(shí)際訓(xùn)練中更穩(wěn)定,并且證明了混合策略納什均衡解的存在性。

Paper link: https://arxiv.org/abs/1703.00573

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • GaN
    GaN
    +關(guān)注

    關(guān)注

    19

    文章

    2107

    瀏覽量

    75413
  • 深度學(xué)習(xí)
    +關(guān)注

    關(guān)注

    73

    文章

    5531

    瀏覽量

    122086

原文標(biāo)題:【新手必備】GAN生成對(duì)抗網(wǎng)絡(luò)論文閱讀路線圖(附論文下載鏈接)

文章出處:【微信號(hào):AI_era,微信公眾號(hào):新智元】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 0人收藏

    評(píng)論

    相關(guān)推薦

    在混合電源設(shè)計(jì)上,Si、SiC、GaN如何各司其職?

    ? 電子發(fā)燒友網(wǎng)報(bào)道(文/梁浩斌)今年5月英飛凌公布了專為AI數(shù)據(jù)中心設(shè)計(jì)的PSU(電源供應(yīng)單元)路線圖,在3.3kW、8kW、12kW的PSU方案上,都混合采用了硅、氮化鎵、碳化硅三種功率開關(guān)管
    的頭像 發(fā)表于 07-08 02:04 ?3798次閱讀
    在混合電源設(shè)計(jì)上,Si、SiC、<b class='flag-5'>GaN</b>如何各司其職?

    GAN039-650NBB氮化鎵(GaN)FET規(guī)格書

    電子發(fā)燒友網(wǎng)站提供《GAN039-650NBB氮化鎵(GaN)FET規(guī)格書.pdf》資料免費(fèi)下載
    發(fā)表于 02-13 16:10 ?0次下載
    <b class='flag-5'>GAN</b>039-650NBB氮化鎵(<b class='flag-5'>GaN</b>)FET規(guī)格書

    GAN041-650WSB氮化鎵(GaN)FET規(guī)格書

    電子發(fā)燒友網(wǎng)站提供《GAN041-650WSB氮化鎵(GaN)FET規(guī)格書.pdf》資料免費(fèi)下載
    發(fā)表于 02-13 14:24 ?0次下載
    <b class='flag-5'>GAN</b>041-650WSB氮化鎵(<b class='flag-5'>GaN</b>)FET規(guī)格書

    關(guān)于RISC-V學(xué)習(xí)路線圖推薦

    一個(gè)號(hào)的RISC-V學(xué)習(xí)路線圖可以幫助學(xué)習(xí)者系統(tǒng)地掌握RISC-V架構(gòu)的相關(guān)知識(shí)。比如以下是一個(gè)較好的RISC-V學(xué)習(xí)路線圖: 一、基礎(chǔ)知識(shí)準(zhǔn)備 計(jì)算機(jī)體系結(jié)構(gòu)基礎(chǔ) : 了解計(jì)算機(jī)的基本組成、指令集
    發(fā)表于 11-30 15:21

    未來(lái)10年智能傳感器怎么發(fā)展?美國(guó)發(fā)布最新MEMS路線圖

    此前,美國(guó)半導(dǎo)體工業(yè)協(xié)會(huì)(下文簡(jiǎn)稱“SIA”)和美國(guó)半導(dǎo)體研究聯(lián)盟(下文簡(jiǎn)稱“SRC”),聯(lián)合發(fā)布了未來(lái)10年(2023-2035)全球半導(dǎo)體產(chǎn)業(yè)技術(shù)發(fā)展路線圖——微電子和先進(jìn)封裝技術(shù)路線圖(下文
    的頭像 發(fā)表于 11-27 16:39 ?2225次閱讀
    未來(lái)10年智能傳感器怎么發(fā)展?美國(guó)發(fā)布最新MEMS<b class='flag-5'>路線圖</b>

    GaN有體二極管嗎?了解GaN的第三象限運(yùn)行

    電子發(fā)燒友網(wǎng)站提供《GaN有體二極管嗎?了解GaN的第三象限運(yùn)行.pdf》資料免費(fèi)下載
    發(fā)表于 09-19 12:55 ?7次下載
    <b class='flag-5'>GaN</b>有體二極管嗎?了解<b class='flag-5'>GaN</b>的第三象限運(yùn)行

    GaN應(yīng)用介紹

    電子發(fā)燒友網(wǎng)站提供《GaN應(yīng)用介紹.pdf》資料免費(fèi)下載
    發(fā)表于 09-12 09:55 ?0次下載
    <b class='flag-5'>GaN</b>應(yīng)用介紹

    GaN晶體管的應(yīng)用場(chǎng)景有哪些

    GaN(氮化鎵)晶體管,特別是GaN HEMT(高電子遷移率晶體管),近年來(lái)在多個(gè)領(lǐng)域展現(xiàn)出廣泛的應(yīng)用場(chǎng)景。其出色的高頻性能、高功率密度、高溫穩(wěn)定性以及低導(dǎo)通電阻等特性,使得GaN晶體管成為電力電子和高頻通信等領(lǐng)域的優(yōu)選器件。以
    的頭像 發(fā)表于 08-15 11:27 ?1359次閱讀

    2024學(xué)習(xí)生成式AI的最佳路線圖

    本文深入探討了2024年最佳生成式AI路線圖的細(xì)節(jié),引領(lǐng)我們穿越動(dòng)態(tài)進(jìn)展、新興趨勢(shì)以及定義這一尖端領(lǐng)域的變革應(yīng)用。引言在日新月異的人工智能領(lǐng)域,生成式AI猶如創(chuàng)新的燈塔,不斷拓展創(chuàng)造力與智慧的邊界
    的頭像 發(fā)表于 07-26 08:28 ?873次閱讀
    2024學(xué)習(xí)生成式AI的最佳<b class='flag-5'>路線圖</b>

    【《大語(yǔ)言模型應(yīng)用指南》閱讀體驗(yàn)】+ 俯瞰全書

    ,了解此書的主要內(nèi)容: 書分四篇,基礎(chǔ)、入門、進(jìn)階和展望。 基礎(chǔ)篇從人工智能起源開始、之后又介紹了機(jī)器學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)和大語(yǔ)言模型的基礎(chǔ)知識(shí),如果讀者學(xué)習(xí)過(guò)機(jī)器學(xué)習(xí)相關(guān)課程,那這個(gè)基礎(chǔ)篇的閱讀就會(huì)很輕
    發(fā)表于 07-21 13:35

    GaN MOSFET 器件結(jié)構(gòu)及原理

    GaN MOSFET(氮化鎵金屬氧化物半導(dǎo)體場(chǎng)效應(yīng)晶體管)是一種新型的功率器件,具有高功率密度、高效率和快速開關(guān)速度等優(yōu)點(diǎn)。與傳統(tǒng)的硅基MOSFET相比,GaN MOSFET具有更高的電子遷移率
    的頭像 發(fā)表于 07-14 11:39 ?1878次閱讀

    格芯收購(gòu) Tagore Technology 的 GaN 技術(shù)

    來(lái)源:Silicon Semiconductor 此次技術(shù)收購(gòu)擴(kuò)展了 GF(格芯) 的電源管理解決方案和差異化路線圖。 GlobalFoundries (格芯)收購(gòu)了 Tagore
    的頭像 發(fā)表于 07-08 12:33 ?640次閱讀

    CGD為電機(jī)控制帶來(lái)GaN優(yōu)勢(shì)

    評(píng)估套件具有 Qorvo 的高性能無(wú)刷直流 / 永磁同步電機(jī)控制器 / 驅(qū)動(dòng)器和 CGD 易于使用的 ICeGaN GaN 功率 IC 的性能 ? 英國(guó)劍橋 - Cambridge GaN
    發(fā)表于 06-07 17:22 ?1848次閱讀
    CGD為電機(jī)控制帶來(lái)<b class='flag-5'>GaN</b>優(yōu)勢(shì)

    英飛凌為AI數(shù)據(jù)中心提供先進(jìn)的高能效電源裝置產(chǎn)品路線圖

    英飛凌科技股份公司已翻開AI系統(tǒng)能源供應(yīng)領(lǐng)域的新篇章,發(fā)布了電源裝置(PSU)產(chǎn)品路線圖。該路線圖在優(yōu)先考慮能源效率前提下,專為滿足AI數(shù)據(jù)中心當(dāng)前和未來(lái)的能源需求而設(shè)計(jì)。
    發(fā)表于 06-03 18:24 ?823次閱讀
    英飛凌為AI數(shù)據(jù)中心提供先進(jìn)的高能效電源裝置產(chǎn)品<b class='flag-5'>路線圖</b>

    事關(guān)衛(wèi)星物聯(lián)網(wǎng)!LoRaWAN 2027 發(fā)展路線圖重磅公布

    4月16日,LoRa聯(lián)盟(LoRaAlliance)發(fā)布了LoRaWAN開發(fā)路線圖,以引導(dǎo)該標(biāo)準(zhǔn)未來(lái)演進(jìn)的方向。LoRaWAN開發(fā)路線圖LoRa作為低功耗廣域網(wǎng)通信領(lǐng)域的“明星”之一
    的頭像 發(fā)表于 04-26 08:06 ?531次閱讀
    事關(guān)衛(wèi)星物聯(lián)網(wǎng)!LoRaWAN 2027 發(fā)展<b class='flag-5'>路線圖</b>重磅公布

    電子發(fā)燒友

    中國(guó)電子工程師最喜歡的網(wǎng)站

    • 2931785位工程師會(huì)員交流學(xué)習(xí)
    • 獲取您個(gè)性化的科技前沿技術(shù)信息
    • 參加活動(dòng)獲取豐厚的禮品