GameGAN – 一種生成式模型，能夠通過訓練，理解游戲規則和鍵盤動作，學習如何在視覺上模擬特定游戲。代理按下一個按鍵，GameGAN 就能借助精巧設計的生成式對抗網絡，“渲染”接下來的屏幕內容。

如果您看到左上圖的那一位，可能會認為她在玩巖谷徹的《吃豆人》游戲，但事實并非如此!她實際上正在玩的是由 GAN 生成的 新版本《吃豆人》。本文中，我們將介紹 GameGAN，它能夠通過對 很多游戲回合的觀察，學習如何復制游戲。此外，我們的模型能夠 分解背景與動態對象，讓我們能夠調換下行中間及右側圖像中所示 的組件，以創建新游戲。

對于任何機器人系統，模擬都是關鍵的一環。為正確地進行模擬，我們需要編寫復雜的環境規則，如：動態代理的行為，以及每個代理的行為會如何影響其他代理的行為。

在《基于 GameGAN 的動態環境模擬》白皮書中，我們旨在通過簡單地觀察代理與環境的交互，以學習得到一個模擬器。

這個方法具備超越當前方法的關鍵優勢：設計一個記憶模塊，以構建環境的內部映射，讓代理能夠返回到早前訪問過的位置，且具有高度的視覺一致性。此外，GameGAN 能夠分解圖像中的靜態和動態組建，使模型的行為更易于理解，且與需要對動態元素進行顯式推理的下游任務相關。這使得許多有趣的應用程序成為了可能。