一位新手畫家可能會遇到這樣的尷尬：提筆之初，原本設想的本來是一幅令人為之驚嘆的日落景觀——玻璃般的湖面反射出白雪皚皚的蜿蜒山脈，然而最后畫出的效果卻只是畫布上層層的墨跡。

NVIDIA研究利用生成式對抗網絡創建高度逼真的場景。

但是，NVIDIA Research開發的深度學習模型卻能將這一情形逆轉：它能將粗略的涂鴉轉變成令人嘆為觀止的逼真杰作。這一工具利用生成式對抗網絡（GAN），能夠將分割圖轉換為栩栩如生的圖像。

基于該模型的交互應用程序被命名為GauGAN（發音似“高更”），以致敬后印象派畫家高更（Gauguin）。

后印象派畫家保羅·高更曾創作過幾幅自畫像，其中包括金貝爾藝術博物館收藏的創作于1885年的作品。（照片來自Wikimedia Commons，獲許可允許公開使用）。

GauGAN為各行各業的專業人士提供了一個能夠創建虛擬世界的強大工具——從建筑師、城市規劃者、到景觀設計師和游戲開發者。借助知曉現實世界的真實樣貌的AI，這些專業人士能構思出更加出色的原型創意，并對合成的場景進行快速修改。

NVIDIA應用深度學習研究副總裁Bryan Catanzaro表示： “通過把簡單的速寫轉換成高度逼真的圖像，這一項技術能夠將頭腦風暴的設計方式變得更加容易。”

Catanzaro將GauGAN所采用的技術比作 “智能畫筆” ，它能夠填充粗略分割圖（即顯示場景中物體位置的大致輪廓圖）中的細節。

借助于GauGAN，用戶能夠繪制自己的分割圖并構建場景，并用沙子、天空、海洋或雪等標簽對每個部分進行標記。

該深度學習模型接收過一百萬張圖像的訓練，能夠對風景畫進行填充，從而呈現精彩絕倫的效果：讓你仿佛置身一座池塘中，附近的樹木和巖石等元素都倒映在水中。如果將分割標簽從“草”切換為“雪”，整個圖像也會隨之會變為冬季場景，之前青蔥的綠樹也將凋謝。

“這就像一本填色圖冊里的圖畫，其中描繪了樹木、太陽和天空的位置，” Catanzaro說道。“然后神經網絡會根據其對真實圖像的了解，為圖片填充所需的細節和紋理，以及反射、陰影和顏色。”

盡管GAN對真實的物理世界缺乏理解，但它卻能夠生產足可以假亂真的效果，這是因為它所采用的結構是一對合作式的網絡：生成網絡和判別網絡。生成網絡會創建圖像并展示給判別網絡；判別網絡接受過基于真實圖像的訓練，能夠逐像素地為生成網絡提供反饋，并對其進行指導，教會其如何提升合成圖像的真實感。

接受過真實圖像訓練的判別網絡知道真實的池塘和湖泊會產生反射，通過判斷網絡的反饋，生成網絡也將習得如何模仿這一效果，從而創建出令人信服的圖像。

用戶還能夠使用這一工具添加樣式過濾器，更改生成的圖片的風格，模仿特定的畫家畫風，或將一幅白晝場景轉化為日落景象。

“這項技術不是簡單將其他圖像拼接在一起，或是進行紋理切割和粘貼，”Catanzaro說道。“事實上，它是在合成新的圖像，這很像藝術家的繪畫方式。”

雖然GauGAN應用程序專注于陸地、海洋和天空等自然元素，但其潛在神經網絡也能夠填充其他景觀元素，包括建筑物、道路和人。

去年6月，GauGAN的相關研究論文從5000多篇論文中脫穎而出，在CVPR會議上做展示介紹（錄取率僅為5%）。