Pix2Pix與Unity 3D結(jié)合，打造專屬小貓咪！

圖像翻譯已然不是一件新鮮的事情了，但最近博主Keijiro Takahashi不僅實時的完成了這個圖像生成任務，而且還將它“貼”到了3D模型上，打造了一只生動可愛的“專屬小貓咪”！

看！這貨竟然比神筆馬良還要厲害！

隨著GAN、pix2pix等技術的提出，圖像翻譯已然不是一件稀奇的事情。但實時且3D的圖像翻譯，卻算的上是喜聞樂見了。

作者Keijiro Takahashi歷經(jīng)半個月的時間，終于“翻譯”出了這只活靈活現(xiàn)的3D小喵咪：

專屬貓咪，你值得擁有！

其實，搞出來個這樣的喵咪并不難。

首先，用Sketch Pad畫一個貓！

類似于非常出名的edges2cats，Sketch Pad也是一種演示方法，但它還是實時的。

其次，需要一些系統(tǒng)的要求：

Unity 2018.1

計算著色器功能（DX11，Metal，Vulkan等）

盡管它是以平臺無關的方式實現(xiàn)的，但它的許多部分都針對NVIDIA GPU體系結(jié)構進行了優(yōu)化。

為了完美地運行Sketch Pad，作者建議使用GeForce GTX 1070或更高版本的Windows系統(tǒng)。

那么，如何使用訓練過的模型呢？

這個存儲庫不包含任何用來節(jié)省帶寬和存儲配額且經(jīng)過訓練的模型。

要在Unity Editor上運行示例項目，需下載預先訓練好的edges2cats模型，并將其復制到Assets/StreamingAssets中。

該實現(xiàn)只支持在Christopher Hesse交互演示中使用的.pict權重數(shù)據(jù)格式。你可以選擇一個預先訓練好的模型或者使用pix2pix-tensorflow來訓練你自己的模型。

經(jīng)典Pix2pix

Pix2pix 是一個不同圖像效果的轉(zhuǎn)換工具，基于GAN實現(xiàn)。Pix2pix由UC Berkeley的Phillip Isola等人提出，論文最早在2016年11月在arxiv上公開，并被CVPR 2017錄取。雖然是比較老的論文，但作為一篇很經(jīng)典的論文，非常值得一讀，因此我們也在這里介紹一下Pix2pix的方法。

論文研究了條件對抗網(wǎng)絡作為一種圖像到圖像轉(zhuǎn)換問題的通用解決方案。這些網(wǎng)絡不僅學習從輸入圖像到輸出圖像的映射，還學習了用于訓練該映射的損失函數(shù)。這使得對傳統(tǒng)上需要非常不同的損失公式的問題應用相同的通用方法成為可能。

研究人員證明了這種方法在從標簽地圖合成照片，從邊緣地圖重建對象，以及給黑白圖像上色等任務中都是有效的。這項工作表明我們可以在不需要手工設計損失函數(shù)的情況下獲得合理的結(jié)果。

圖1：有條件的對抗性網(wǎng)絡是一種通用的解決方案，似乎可以很好地解決各種各樣的問題。這里我們展示幾種方法的結(jié)果。在每種情況下都使用相同的架構和目標，只是簡單地在不同的數(shù)據(jù)上訓練。

在一些任務中，可以相當快地在小數(shù)據(jù)集中獲得不錯的結(jié)果。例如，為了學習生成外墻（如上圖所示），我們僅花了大約2小時訓練了400張圖像（用一個Pascal Titan X GPU）。然而，對于更困難的問題，在更大的數(shù)據(jù)集上進行訓練可能是很重要的，而且需要花費很多小時甚至數(shù)天的時間。

既然是基于GAN的，那么Pix2pix也離不開生成器和判別器。

GAN是生成模型，它學習從隨機噪聲向量z映射到輸出圖像y，即：G : z → y。

相比之下，條件GAN是從觀察到的圖像x和隨機噪聲向量z，學習它們與y的映射，即：G : {x, z} → y。

生成器G是訓練來產(chǎn)生輸出的，目的是讓這些輸出不被對抗訓練的鑒別器D將其與“真實”圖像區(qū)分開來；同時，鑒別器D被訓練來盡可能地檢測到生成器的“假”輸出。訓練過程如下圖所示：

訓練一個從map edges到photo的條件GAN

網(wǎng)絡架構

這里采用了深度卷積生成對抗網(wǎng)絡DCGAN中的生成器和鑒別器的結(jié)構進行調(diào)整。生成器和鑒別器都采用了convolution-BatchNorm-ReLu的模塊。

生成器架構的兩種選擇?！癠-Net”是編碼器 - 解碼器，在編碼器和解碼器堆棧中的鏡像層之間有跳過連接（skip connection）。

有關Pix2pix結(jié)構的更多細節(jié)，請閱讀原論文：

https://arxiv.org/pdf/1611.07004.pdf

Pix2pix最著名的應用是“畫貓”，edges2cats便是基于pix2pix-tensorflow的一個實現(xiàn)，請看效果：

而今天我們介紹的Pix2Pix for Unity更是腦洞大開，在3D模型之上“畫貓”，讓生成的貓咪動了起來。程序員擼貓還真是方便呢！