英偉達與MIT合作推出視頻合成AI新技術，直接用現實視頻生成逼真的虛擬世界。未來或許只需一段手機視頻，你就可以真正進入心儀的游戲中去當英雄了！

最近英偉達的黑科技有點多。

英偉達的研究人員打造出一個新的AI生成模型，可以使用來自YouTube等來源的真實視頻創建虛擬環境，這可能影響游戲開發和人工智能的未來。

“這是一種新的渲染技術，基本上只需使用草繪圖作為輸入，可以處理對象的高級表示以及它們在虛擬環境中的交互方式。由模型實際上處理細節、細化紋理和照明環境等等，最后輸出完全渲染的圖像。“英偉達應用深度學習副總裁Bryan Catanzaro在接受采訪時表示。

Bryan Catanzaro，看扮相就像是搞黑科技的

這一系統使用百度的自動駕駛項目的Apolloscape采集的視頻進行訓練。系統將這些視頻的草繪圖，比如樹木、建筑物、汽車和行人等都輸入到模型中。

Catanzaro和其他英偉達的研究人員與MIT CSAIL的學生們合作，撰寫了題為"Video-to-Video Synthesis"的論文，文中對這一技術做了詳細闡述。

論文地址：

Video-to-Video Synthesis

https://arxiv.org/pdf/1808.06601.pdf

該模型可以實現快速生成合成環境，可用于訓練強化學習的智能體，或讓游戲中的玩家產生身臨其境之感。

由輸入分割映射視頻生成的逼真輸出視頻。左上為輸入，其余為不同模型的輸出，右下為英偉達和MIT最新模型vid2vid的輸出

“想象一下，如果你能在電子游戲中扮演自己的角色。而且，只需要一段自己手機中的視頻，就能讓你進入虛擬環境，穿上閃亮的盔甲，像騎士一樣去做偉大的事情。

“英偉達長期以來一直致力于圖形處理技術，因此我們非常高興能夠將圖形技術帶入AI時代，并使用AI技術生成圖形，我們可以從現實世界的視頻中了解事物的運作方式，然后根據學到的知識，合成出逼真的、基于實際內容的虛擬圖像。”

系統能夠考慮諸如對象位置，對象之間的關系以及用于定義對象邊緣的映射之類的要素。

英偉達將于NeurIPS 2018大會上演示視頻并分享該技術的其他細節。

左側為樣例面部圖像輸入，中間為草繪圖，右側為輸出

Nvidia團隊最初的靈感來自于Alexei Efros和加州大學伯克利分校的其他研究人員的Pix2Pix系統的成果。英偉達在此基礎上與加州大學伯克利分校的AI研究人員合作，打造了Pix2PixHD系統作為回應。

今年早些時候，加州大學伯克利分校的研究人員還制作了能夠跳舞、翻轉以及其他20種復雜動作的模型。

樣例舞蹈動作——動作提取——輸出

“這是我們第一次實現交互式的人工智能場景渲染，我們為此感到自豪。但這項技術目前還處于早期階段，未來的目標是提供更高質量、通用性更好的輸出，以便能夠處理更多種類的場景。我對這一技術未來的發展方向感到非常興奮。”Catanzaro說。