NVIDIA研究利用生成式對抗網(wǎng)絡創(chuàng)建高度逼真的場景。

一位新手畫家可能會遇到這樣的尷尬：提筆之初，原本設想的本來是一幅令人為之驚嘆的日落景觀——玻璃般的湖面反射出白雪皚皚的蜿蜒山脈，然而最后畫出的效果卻只是畫布上層層的墨跡。

NVIDIA研究利用生成式對抗網(wǎng)絡創(chuàng)建高度逼真的場景。

但是，NVIDIA Research開發(fā)的深度學習模型卻能將這一情形逆轉(zhuǎn)：它能將粗略的涂鴉轉(zhuǎn)變成令人嘆為觀止的逼真杰作。這一工具利用生成式對抗網(wǎng)絡（GAN），能夠?qū)⒎指顖D轉(zhuǎn)換為栩栩如生的圖像。

基于該模型的交互應用程序被命名為GauGAN（發(fā)音似“高更”），以致敬后印象派畫家高更（Gauguin）。

后印象派畫家保羅·高更曾創(chuàng)作過幾幅自畫像，其中包括金貝爾藝術博物館收藏的創(chuàng)作于1885年的作品。（照片來自Wikimedia Commons，獲許可允許公開使用）。

GauGAN為各行各業(yè)的專業(yè)人士提供了一個能夠創(chuàng)建虛擬世界的強大工具——從建筑師、城市規(guī)劃者、到景觀設計師和游戲開發(fā)者。借助知曉現(xiàn)實世界的真實樣貌的AI，這些專業(yè)人士能構思出更加出色的原型創(chuàng)意，并對合成的場景進行快速修改。

NVIDIA應用深度學習研究副總裁Bryan Catanzaro表示： “通過把簡單的速寫轉(zhuǎn)換成高度逼真的圖像，這一項技術能夠?qū)㈩^腦風暴的設計方式變得更加容易。”

Catanzaro將GauGAN所采用的技術比作 “智能畫筆” ，它能夠填充粗略分割圖（即顯示場景中物體位置的大致輪廓圖）中的細節(jié)。

借助于GauGAN，用戶能夠繪制自己的分割圖并構建場景，并用沙子、天空、海洋或雪等標簽對每個部分進行標記。

該深度學習模型接收過一百萬張圖像的訓練，能夠?qū)︼L景畫進行填充，從而呈現(xiàn)精彩絕倫的效果：讓你仿佛置身一座池塘中，附近的樹木和巖石等元素都倒映在水中。如果將分割標簽從“草”切換為“雪”，整個圖像也會隨之會變?yōu)槎緢鼍?，之前青蔥的綠樹也將凋謝。

“這就像一本填色圖冊里的圖畫，其中描繪了樹木、太陽和天空的位置，” Catanzaro說道?！叭缓?a href="http://www.wenjunhu.com/tags/神經(jīng)網(wǎng)絡/" target="_blank">神經(jīng)網(wǎng)絡會根據(jù)其對真實圖像的了解，為圖片填充所需的細節(jié)和紋理，以及反射、陰影和顏色?！?/p>

盡管GAN對真實的物理世界缺乏理解，但它卻能夠生產(chǎn)足可以假亂真的效果，這是因為它所采用的結構是一對合作式的網(wǎng)絡：生成網(wǎng)絡和判別網(wǎng)絡。生成網(wǎng)絡會創(chuàng)建圖像并展示給判別網(wǎng)絡；判別網(wǎng)絡接受過基于真實圖像的訓練，能夠逐像素地為生成網(wǎng)絡提供反饋，并對其進行指導，教會其如何提升合成圖像的真實感。

接受過真實圖像訓練的判別網(wǎng)絡知道真實的池塘和湖泊會產(chǎn)生反射，通過判斷網(wǎng)絡的反饋，生成網(wǎng)絡也將習得如何模仿這一效果，從而創(chuàng)建出令人信服的圖像。

用戶還能夠使用這一工具添加樣式過濾器，更改生成的圖片的風格，模仿特定的畫家畫風，或?qū)⒁环讜儓鼍稗D(zhuǎn)化為日落景象。

“這項技術不是簡單將其他圖像拼接在一起，或是進行紋理切割和粘貼，”Catanzaro說道?！笆聦嵣希窃诤铣尚碌膱D像，這很像藝術家的繪畫方式?！?/p>

雖然GauGAN應用程序?qū)Ｗ⒂陉懙?、海洋和天空等自然元素，但其潛在神?jīng)網(wǎng)絡也能夠填充其他景觀元素，包括建筑物、道路和人。

去年6月，GauGAN的相關研究論文從5000多篇論文中脫穎而出，在CVPR會議上做展示介紹（錄取率僅為5%）。