使用視頻游戲作為訓練人工智能的媒介已經成為人工智能研究界的一種流行方法。這些自主代理在 Atari 游戲、星際爭霸、 Dota 和 Go 中取得了巨大成功。但是，雖然這些進步在人工智能研究中很受歡迎，但與不斷從開放式任務中學習的人類不同，智能體并沒有泛化到一組非常特定的任務之外。

構建能夠在廣泛任務中實現高水平性能的嵌入式代理一直是人工智能研究界面臨的最大挑戰之一。為了構建一個成功的多面手代理，用戶需要一個支持多種任務和目標的環境、一個多模式知識的大規模數據庫和一個靈活且可擴展的代理體系結構。

進入 Minecraft ，世界上玩得最多的游戲。憑借其靈活的游戲性，玩家可以做各種各樣的動作。從建造中世紀城堡到探索危險環境，再到收集資源建造幽冥之門與幽冥之龍作戰。這種創造性的氛圍是培養具體化代理的完美環境。

為了利用這樣一個最佳的訓練場地， NVIDIA 的研究人員創造了 MineDojo 。 MineDojo 構建了一個龐大的框架，其特點是一個模擬套件，包含數千個不同的開放式任務和一個互聯網規模的知識庫。如果沒有一個擴展的數據庫，構建一個強大到足以完成這些任務的人工智能是不可能的。

MineDojo 的使命是促進研究，以實現具有普遍能力的嵌入式代理的目標。為了使嵌入式代理成功，環境需要提供幾乎無限多的開放式任務和操作。這是通過讓代理訪問大型信息數據庫來獲取知識，然后應用所學知識來實現的。從嵌入式代理獲得的訓練需要具有可擴展性，以便稍后將大規模知識轉換為可操作的見解。

在 MineDojo 中，嵌入式代理可以訪問三個互聯網規模的數據集。隨著 750000 個 Minecraft YouTube 視頻（總計 33 年多的 Minecraft 視頻）被納入數據庫， 200 多萬個單詞被轉錄。

MineDojo 還從 Minecraft Wiki 上抓取了 6000 多個網頁，為這些網頁的視覺元素創建了 220 多萬個邊界框）。此外，還捕獲了數百萬條與 Minecraft 相關的 Reddit 線程以及在游戲中可以進行的各種活動。問題包括如何解決某些任務，以圖像和視頻格式展示成就和創作，以及一般提示和技巧。

MineDojo 提供了一組模擬器 API ，用戶可以使用這些 API 來訓練他們的人工智能代理。它提供了統一的觀察和操作空間，以幫助代理適應新的場景和多任務。此外，使用 API ，用戶可以利用 Minecraft 宇宙中的所有三個世界來擴展代理可以執行的任務和操作的數量。

在模擬器中， MIneDojo 將基準測試任務分為兩類：編程任務和創造性任務。

編程任務定義明確，易于評估，例如“存活 3 天”或“在森林中獲得一單位南瓜”

創造性的任務更具開放性，例如“建造一座美麗的海灘小屋”很難通過一套明確的規則來定義什么是海灘別墅。這些任務是為了鼓勵研究界開發更人性化和富有想象力的人工智能代理。

自然語言是 MineDojo 框架的基石。它有助于開放式詞匯理解，為圖像和視頻模式提供基礎，并作為指定指令的直觀界面。結合 最新的語音識別技術 ，在不久的將來，你可以像在多人合作模式下與朋友一樣與人工智能代理交談。

例如：“在我們的房子前面種一排藍色的花。在門框上加一些金色的裝飾。讓我們去探索河邊的洞穴。”這一切都是可能的。

使用 MineCLIP 進行概念驗證

為了幫助推動該項目并提供概念證明， MineDojo 研究人員已經實現了一個單語言提示代理，以完成 Minecraft 中的幾個復雜任務，稱為 MineCLIP 。這種新穎的代理學習算法利用了 33 年的 Minecraft YouTube 視頻。然而，值得一提的是，任何代理都可以根據用戶的判斷使用互聯網規模數據庫的任何或全部三個部分。

MineCLIP 作為一個具體的代理，從 YouTube 視頻中學習 Minecraft 的概念和動作，而不需要人工標記。 YouTubers 通常會在播放游戲視頻時講述他們在做什么。 MineCLIP 是一個大型 transformer 模型，它學習將視頻剪輯與其對應的英語成績單相關聯。

該關聯分數可以作為獎勵信號提供，以指導強化學習代理完成任務。對于示例任務“剪一只羊以獲得羊毛”，如果代理接近羊， MineCLIP 會給代理較高的獎勵，但如果代理漫無目的地漫游，則會給較低的獎勵。它甚至可以在游戲中進行多任務處理，以完成廣泛的簡單任務。

構建具有普遍能力的具體化代理是人工智能研究的圣杯目標。 MineDojo 提供了 1000 個任務的基準、互聯網規模的豐富知識庫和創新算法，作為解決這一重大挑戰的第一步。

關于作者

Nathan Horrocks 是 NVIDIA Research 的內容營銷經理。他重點強調了 NVIDIA 實驗室在世界各地進行的驚人研究。

審核編輯：郭婷