AI畫的簡筆畫能到什么水平

AI畫的簡筆畫能到什么水平？

給一張美國演員Rami Malek的照片，效果是這樣的。

是不是和原圖很逼近了？

再來看下輸入《老友記》合影的效果。

雖然人物眾多，但出來的簡筆畫效果，依舊還是能分清劇中的人物。

如果毛發(fā)特別濃密的人物照，AI還能hold得住嗎？

小姐姐“爆炸頭”的邊緣毛發(fā)，也算得上是完美還原了。

再近距離一些的呢？來看“霉霉”（Taylor Swift）照片的效果。

可以說是相當?shù)募毠?jié)了，把發(fā)絲的層次感、光感，以及衣物的褶皺，都發(fā)揮的“淋漓盡致”。

……

這些就是出自一個叫ArtLine的AI的作品。

而且它在Reddit非?；鸨?，已經(jīng)達到了1100+的熱度。

如此惟妙惟肖的效果，你是不是認為又是GAN的功勞？

錯！

ArtLine完全沒有用到GAN：

也正因如此，ArtLine的效果真真兒的驚艷到了網(wǎng)友。

那么，它是如何做到的呢？

ArtLine背后的三大“法寶”

ArtLine的作者十分爽快地分享了其背后的三大技術(shù)：

Self-Attention

Progressive Resizing

Generator Loss

接下來，一起逐一看下各個技術(shù)背后的細節(jié)內(nèi)容。

Self-Attention部分引用的技術(shù)，出自兩年前GAN之父lan Goodfellow等人提出的研究。

等等，剛才不是還說“沒用到GAN”嗎？

作者對此的解釋是：

并沒有起到太大作用。

這項研究主要是在GAN生成中加入了注意力機制，同時將SNgan的思想引入到生成器當中。

所要解決的是傳統(tǒng)GAN自身存在的一些問題，例如：

使用小的卷積核很難發(fā)現(xiàn)圖像中的依賴關(guān)系

使用大的卷積核就會喪失卷積網(wǎng)絡參數(shù)與計算的效率

研究中核心的自注意力機制如下圖所示。

其中，f(x)，g(x)和h(x)都是普通的1x1卷積，差別只在于輸出通道大小不同。

而后，將f(x)的輸出轉(zhuǎn)置，并和g(x)的輸出相乘，再經(jīng)過softmax歸一化，得到一個Attention Map。

得到Attention Map之后，和h(x)逐像素點相乘，得到自適應的注意力feature maps。

從結(jié)果上來看，引入自注意力機制的效果，確實在FID和IS兩個性能指標下，得到了較好的效果。

ArtLine涉及到的第二個技術(shù)靈感，來自英偉達在2018年的一項研究。

這項研究主要提出了一種新的訓練對抗神經(jīng)網(wǎng)絡的方法。

核心思想是逐步訓練生成器和判別器：從低分辨率開始，隨著訓練進程推進，逐步增加新的層來提煉細節(jié)。

這種方法不僅加快了訓練速度并且更加穩(wěn)定，可以產(chǎn)生高質(zhì)量的圖像。

ArtLine所涉及到的最后一個技術(shù)，是來自斯坦福大學李飛飛團隊在2016年提出的研究。

這項研究主要解決了實現(xiàn)的風格轉(zhuǎn)換，比較費時的問題。

風格轉(zhuǎn)換部分主要用了上面的網(wǎng)絡模型，這個模型可以分為兩部分：左側(cè)是圖像轉(zhuǎn)換網(wǎng)絡，而右側(cè)是損耗網(wǎng)絡。

其超分辨率重建也是采用上面的網(wǎng)絡模型，只是具體內(nèi)部的圖像轉(zhuǎn)換網(wǎng)絡部分稍有區(qū)別。

這個網(wǎng)絡與之前的研究相比，效果達到了相當?shù)乃?，但速度卻提升了百倍之多，達到3個數(shù)量級。

關(guān)于作者

ArtLine的項目作者叫做Vijish Madhavan。

他在GitHub中坦言自己并非程序員出身，也道出了ArtLine目前存在的一些缺陷，例如處理像素低于500px的圖像時，效果并不理想等。

現(xiàn)在，ArtLine可以在線玩了！

感興趣的讀者，可以戳下方鏈接體驗一下。

Colab鏈接：

https://colab.research.google.com/github/vijishmadhavan/Light-Up/blob/master/ArtLine(Try_it_on_Colab).ipynb.ipynb)
https://colab.research.google.com/github/vijishmadhavan/Light-Up/blob/master/ArtLine.ipynb

GitHub項目地址：

https://github.com/vijishmadhavan/ArtLine

責任編輯：xj

原文標題：這個AI“大師級”簡筆畫水平，驚艷到了網(wǎng)友：竟然不用GAN

文章出處：【微信公眾號：人工智能與大數(shù)據(jù)技術(shù)】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。