人工智能合成的3D物體模型不夠逼真？谷歌團隊最近開發了一個AI系統——視覺對象網絡（VON），不僅生成的圖像比當前最先進的方法還要逼真，而且還可以做一系列3D操作。

合成現實3D物體模型的人工智能，看上去并沒有那么遙不可及。

在2018年蒙特利爾NeurIPS大會上，麻省理工學院計算機科學與人工智能實驗室（MIT CSAIL）和谷歌的研究人員發表了一篇論文，描述了一個能夠生成具有逼真紋理的人工智能系統。

論文名稱：

Visual Object Networks: Image Generation with Disentangled 3D Representation

論文地址：

https://papers.nips.cc/paper/7297-visual-object-networks-image-generation-with-disentangled-3d-representations.pdf

人工智能系統VON，生成最逼真3D圖像

該人工智能系統——視覺對象網絡（Visual Object Networks，VON），不僅生成的圖像比當前最先進的方法還要逼真，還可以進行形狀和紋理編輯、視角轉換以及其它3D調整。

研究人員寫到：“現代深層生成模型學會了合成較為逼真的圖像。大多數計算模型只專注于生成2D圖像，忽略了世界是3D的本質。這種2D視角不可避免地限制了它們在許多領域的實際應用，比如合成數據生成、機器人學習、視覺現實和游戲行業。”

VON通過聯合合成三維形狀和二維圖像來解決這個問題，研究人員將其稱為“disentangled object representation”。圖像生成模型被分解為形狀、視點和紋理三個要素，在計算“2.5D”草圖和添加紋理之前，首先學習三維形狀的合成。

重要的是，因為這三個要素是條件獨立的，模型不需要在二維和三維形狀之間配對數據。這使得該團隊能夠對二維圖像和三維形狀的大規模集合進行訓練，比如Pix3D、谷歌圖像搜索和ShapeNet，后者包含了55個對象類別的數千個CAD模型。

為了讓VON學習如何生成自己的形狀，該團隊訓練了一個生成對抗網絡（GAN），試圖在上述三維形狀數據集上區分生成樣本和真實樣本。紋理生成被“降級”到另一個基于GAN的神經網絡。

經過大約兩到三天的訓練，人工智能系統產生了逼真的128×128×128模型，具有真實的反射率、環境照度和反照率。

為了評估圖像生成模型，團隊計算了用于生成三維模型的Fréchet初始距離 。此外，他們還向亞馬遜的Mechanical Turk上展示了200對由VON和最先進的模型生成的圖像，被試者的任務是在每對圖像中選擇更加真實的結果。

VON的性能表現非常突出。與其它AI模型相比，它的Fréchet初始距離最低。Mechanical Turk被試者更喜歡VON生成的圖像，比例高達74%至85%。

研究人員將專注于更加精細化的建模，以更高的分辨率生成形狀和圖像，將紋理分解為光照和外觀，并合成自然場景。

研究團隊寫道：“我們的關鍵思想是將圖像生成過程分解為三個要素：形狀、視角和紋理，這種分離的3D表示方式使我們能夠在對抗學習框架下從3D和2D視覺數據收集中學習模型。與現有的2D生成模型相比，我們的模型合成的圖像更加逼真；它還允許3D操作，這用以前的2D方法是無法實現的。”

突飛猛進的GAN

近年來，對GAN的研究突飛猛進，尤其是在機器視覺領域：

Google旗下的DeepMind去年10月推出了一個基于GAN的系統，可以創建非常逼真的食物、風景、動物等照片；

今年9月，英偉達的研究人員開發了一種AI模型，可以對腦癌進行合成掃描；

今年8月，卡內基梅隆大學（Carnegie Mellon）的一個研究小組展示了如何利用人工智能將一個人錄制下來的動作和面部表情在轉移到另一張照片或視頻中的目標對象；

最近，愛丁堡大學感知研究所和天文學研究所的科學家設計了一種可以產生高分辨率的星系圖像。