清華劉永進(jìn)提出APDrawingGAN ，GAN秒變肖像畫！

自動(dòng)地將人臉照片轉(zhuǎn)換為高質(zhì)量的藝術(shù)肖像畫具有重要的藝術(shù)價(jià)值和實(shí)用價(jià)值。清華大學(xué)劉永進(jìn)教授課題組對此提出APDrawingGAN，結(jié)果優(yōu)于目前已有方法。該項(xiàng)工作被CVPR 2019錄取為oral paper。

肖像畫是一種獨(dú)特的藝術(shù)形式，通常使用一組稀疏的連續(xù)圖形元素如線條來捕捉一個(gè)人的外表特征。

肖像畫通常是在人物面前或基于人物照片進(jìn)行創(chuàng)作的，其創(chuàng)作依賴于細(xì)致的觀察、分析和豐富的經(jīng)驗(yàn)。一幅好的肖像畫能很好地捕捉到人的個(gè)性和情感。

圖1. 一些人臉照片和對應(yīng)的藝術(shù)家畫的肖像線條畫。

然而，即使是受過專業(yè)訓(xùn)練的藝術(shù)家，完成一幅精致的肖像畫也需要很長時(shí)間。因此，自動(dòng)地將人臉照片轉(zhuǎn)換為高質(zhì)量的藝術(shù)肖像畫具有重要的藝術(shù)價(jià)值和實(shí)用價(jià)值。

清華劉永進(jìn)組提出APDrawing GAN

隨著深度學(xué)習(xí)的發(fā)展，使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像風(fēng)格轉(zhuǎn)換的神經(jīng)風(fēng)格轉(zhuǎn)換（NST）方法被提出。隨后，基于生成對抗網(wǎng)絡(luò)（GAN）的方法在圖像風(fēng)格轉(zhuǎn)換上實(shí)現(xiàn)了很好的效果。

但是，這些已有方法多數(shù)針對于生成信息較為豐富的風(fēng)格，如油畫，這些風(fēng)格的圖像中包含很多零碎的圖形元素（如筆觸），而對單個(gè)元素的質(zhì)量要求較低。也就是說，在這些風(fēng)格的圖像中，一些細(xì)節(jié)上的瑕疵會(huì)被忽視。

藝術(shù)肖像線條畫(Artistic Portrait Drawings，簡稱APDrawings)和已有工作研究的油畫肖像的風(fēng)格有很大的不同。它主要有5個(gè)特點(diǎn)：

首先它是高度抽象的，只由少數(shù)稀疏、連續(xù)的圖形元素組成，因此瑕疵會(huì)比油畫中更明顯。

其次是具有強(qiáng)限制性，由于包含面部特征，APDrawings相比一般的風(fēng)格有更強(qiáng)的語義限制（因?yàn)槲覀儗θ四樅苁煜?，?huì)對人臉圖像中的瑕疵容忍度更低）。

具有多樣性，因?yàn)閷τ诓煌拿娌刻卣鳎囆g(shù)家繪制的方式是不同的（如眼睛和頭發(fā)）。

藝術(shù)創(chuàng)作的模糊性，人工創(chuàng)作導(dǎo)致了一些面部特征的輪廓沒法被完全精準(zhǔn)的定位，這對基于像素對應(yīng)的方法是個(gè)很大的挑戰(zhàn)。

APDrawings的概念性，藝術(shù)家有時(shí)會(huì)在原圖沒有亮度變化的地方添加額外的概念性的線條，比如頭發(fā)區(qū)域中的白線和五官的輪廓線。因此，即使是頂尖的方法也難以產(chǎn)生好的藝術(shù)肖像畫結(jié)果。

APDrawingGAN和一般P圖、摳圖、濾鏡等工具的不同在于，一般的軟件對真實(shí)照片進(jìn)行美化得到更美觀或具有某種特點(diǎn)的真實(shí)照片，而APDrawingGAN生成的是非真實(shí)感的抽象藝術(shù)肖像畫，既能捕捉到照片特征又和真實(shí)照片觀感完全不同。并且我們生成的線條風(fēng)格的藝術(shù)肖像畫比一般的肖像畫（如卡通、鉛筆素描）具有更少的圖形元素，更抽象，因此也更有難度。下圖展示了我們方法和一般圖像處理工具的結(jié)果對比。

圖2. 我們的方法和一般圖像處理工具的處理結(jié)果的對比。人臉照片來源于免費(fèi)版權(quán)圖片網(wǎng)站Pixabay。

在CVPR2019上，清華大學(xué)計(jì)算機(jī)系劉永進(jìn)教授課題組提出了APDrawingGAN，為了更有效地學(xué)習(xí)不同面部區(qū)域的不同繪制風(fēng)格，我們的GAN模型包括幾個(gè)專門針對不同面部特征區(qū)域的局部網(wǎng)絡(luò)，和一個(gè)用于捕捉整體特征的全局網(wǎng)絡(luò)。

論文地址：

https://cg.cs.tsinghua.edu.cn/papers/CVPR-2019-Drawing.pdf

APDrawingGAN的主要貢獻(xiàn)在于：

我們提出了一個(gè)層次化的GAN模型，可以有效地將人臉照片生成高質(zhì)量、富有表現(xiàn)力的藝術(shù)肖像線條畫。不僅如此，我們的方法對黑白線條分明的復(fù)雜發(fā)型繪制有更好的效果。

為了學(xué)習(xí)不同面部區(qū)域的不同繪制風(fēng)格，我們的模型將GAN的渲染輸出分為不同層次，每個(gè)層次被獨(dú)立的損失項(xiàng)控制。我們提出了一個(gè)針對藝術(shù)肖像畫的損失函數(shù)，它包含四個(gè)損失項(xiàng)：對抗損失、像素級損失、一種新的距離變換（DT）損失（用于學(xué)習(xí)藝術(shù)肖像畫中的線條筆畫）和一個(gè)局部變換損失（用于引導(dǎo)局部網(wǎng)絡(luò)保持面部特征）。

我們使用6655張人臉照片和非真實(shí)感渲染算法生成的結(jié)果進(jìn)行了預(yù)訓(xùn)練，構(gòu)建了一個(gè)包含140對高質(zhì)量正面人臉照片和對應(yīng)藝術(shù)肖像畫的APDrawings數(shù)據(jù)集，用于正式的訓(xùn)練和測試。

圖3. 我們提出的APDrawingGAN的結(jié)構(gòu)圖。左側(cè)為層次化生成器網(wǎng)絡(luò)的結(jié)構(gòu)，右側(cè)為層次化鑒別器網(wǎng)絡(luò)的結(jié)構(gòu)。

在APDrawingGAN中，生成器網(wǎng)絡(luò)G和鑒別器網(wǎng)絡(luò)D都采用層次化的結(jié)構(gòu)。生成器網(wǎng)絡(luò)G用于將輸入照片轉(zhuǎn)換為藝術(shù)肖像畫，它包含6個(gè)局部生成器（對應(yīng)于左右眼、鼻子、嘴巴、頭發(fā)和背景），1個(gè)全局生成器和1個(gè)融合網(wǎng)絡(luò)。

局部生成器的作用是學(xué)習(xí)不同局部面部特征的繪制風(fēng)格。我們將所有局部生成器的輸出混合到一個(gè)圖像Ilocal中。局部生成器和全局生成器都采用U-Net結(jié)構(gòu)。

然后我們使用一個(gè)融合網(wǎng)絡(luò)將Ilocal和全局生成器的輸出Iglobal融合在一起，以獲得最終的生成圖。鑒別器網(wǎng)絡(luò)D用于判斷輸入圖像是否是真實(shí)的，即是否是藝術(shù)家畫的藝術(shù)肖像畫。

其中全局鑒別器對整個(gè)圖像進(jìn)行檢查，以判斷肖像畫的整體特征。而局部鑒別器對不同的局部面部區(qū)域進(jìn)行檢查，評估細(xì)節(jié)的質(zhì)量。局部鑒別器和全局鑒別器都采用PatchGAN的形式。

為了進(jìn)一步應(yīng)對線條的風(fēng)格和藝術(shù)家畫作中不完全精確定位的輪廓，我們提出了一個(gè)全新的距離變換(Distance transform，簡稱DT)損失來學(xué)習(xí)藝術(shù)肖像線條畫中的線條筆畫風(fēng)格。

我們前面提到，在藝術(shù)家的肖像畫中，線條和原圖有時(shí)不是精確對應(yīng)的，會(huì)有微小的錯(cuò)位，主要的原因有兩個(gè)：

藝術(shù)家裸眼觀察，面部特征的輪廓有時(shí)無法被完全精準(zhǔn)地定位；

藝術(shù)家添加的線條有時(shí)是概念性的，不與原圖完全對應(yīng)（如頭發(fā)區(qū)域中的白線）。

因此僅使用L1損失是不足以應(yīng)對這種情況的——L1損失會(huì)懲罰即使是很微小的錯(cuò)位，但是對于較大的錯(cuò)位并不會(huì)更敏感。

于是我們提出一種新的損失來容忍這種細(xì)微的錯(cuò)位，而懲罰過大的錯(cuò)位。我們提出的這個(gè)DT損失是基于距離的，它計(jì)算的是藝術(shù)家肖像畫（Groundtruth）中每個(gè)線條上的像素到生成肖像畫中相同類型（黑或白）的最近像素的距離之和，和生成肖像畫到藝術(shù)家肖像畫的距離之和的總和。

DT損失對于微小的錯(cuò)位的懲罰是非常小的，但會(huì)真正懲罰那些過大的錯(cuò)位。我們使用了距離變換和倒角匹配（chamfermatching）來計(jì)算這個(gè)損失，公式如下：

倒角匹配距離：

距離變換損失：

其中和表示兩幅肖像畫，和表示距離變換，和分別表示黑白線條檢測器，和分別表示人臉照片和對應(yīng)的藝術(shù)家肖像畫。

APDrawingGAN結(jié)果對比

圖4. APDrawingGAN在沒有對應(yīng)藝術(shù)家肖像畫的人臉照片上的測試結(jié)果。人臉照片來源于免費(fèi)版權(quán)圖片網(wǎng)站Pixabay。

圖5. APDrawingGAN與Gatys，CycleGAN和Pix2Pix方法在藝術(shù)肖像風(fēng)格化上的結(jié)果對比。其中紅色矩形標(biāo)出了CycleGAN和Pix2Pix方法結(jié)果中的一些明顯瑕疵。

圖6. APDrawingGAN與CNNMRF，DeepImageAnalogy和HeadshotPortrait方法在藝術(shù)肖像風(fēng)格化上的結(jié)果對比。

圖7. APDrawingGAN與現(xiàn)有風(fēng)格轉(zhuǎn)換方法的結(jié)果對比。

第一列是人臉照片，第二列是藝術(shù)家畫的肖像畫，第三列是一些方法需要的風(fēng)格參考圖，第四至九列是其他方法的結(jié)果，最后一列是我們方法的結(jié)果。

用戶研究（user study）結(jié)果統(tǒng)計(jì)。

73名參與者參與了用戶研究。用戶研究中，每位參與者每次從兩種算法生成的肖像畫中選擇一幅更接近藝術(shù)家肖像畫和圖像質(zhì)量更好的肖像畫，并對三種方法（CycleGAN、Pix2Pix和我們的方法）兩兩進(jìn)行了比較，由此我們得到了三種方法的排名。

表中給出了每種方法排名最好(1)、中間(2)和最差(3)的百分比。在71.39%的情況下我們的方法排名最好。