在上周末徹底攻陷了Dota人類頂級職業戰隊OG后，OpenAI站出來介紹了OpenAIFive是如何訓練的、為什么選擇打Dota以及AI在打Dota的時候在想什么。

OpenAIFive是第一個在電子競技游戲中擊敗世界冠軍的人工智能，在上周末與2-0大敗世界冠軍Dota2團隊OG，這是AI第一次在直播中擊敗了電子競技專家。

OG和OpenAI開發組

本次比賽還得出了兩個驚人的發現：

盡管訓練的時候專注于擊敗其他瘋狂電腦，但OpenAIFive在比賽中卻展現出和人類玩家的優秀的團隊協作意識。這意味著未來的AI系統可以從競爭型AI轉變為合作型AI

總決賽讓OpenAI的科學家可以回答一個重要的研究問題：OpenAIFive在多大程度、以何種方式能夠被確定的打敗？并且可能是有史以來最大規模的、人們可以有意識地與之交互的高強度深層強化學習智能體的部署

徹底攻陷了人類頂級職業玩家后，OpenAI站出來介紹了OpenAIFive是如何訓練的、為什么選擇打Dota以及AI在打Dota的時候在想什么。

為什么選擇Dota？

OpenAIFive的初衷是為了解決現有深度強化學習算法無法實現的問題。為此需要大幅增加工具的的能力、復雜的算法思想（例如分層強化學習）。

OpenAIFive將世界視為一堆必須破譯的數字。它使用相同的通用學習代碼，無論這些數字代表Dota游戲（約20,000個數字）或機器人手（約200個）的狀態

為了構建OpenAIFive，研究人員創建了一個名為Rapid的系統，以前所未有的規模運行PPO。結果超出了研究人員最大的期望，產生出了世界級的Dota機器人，沒有觸及任何基本的性能限制。

當今的監督學習算法之所以能有如此強大功能，是以大量經驗為代價的，這在游戲或模擬環境之外是不切實際的。研究人員認為減少經驗量是深度學習的下一個挑戰。

研究人員表示，從今天開始OpenAIFive將不會繼續打比賽，但取得的進步和技術的發展將繼續推動未來的工作。研究人員認為Dota對于監督學習開發來說比現在使用的標準環境更具有內在的趣味性和難度。

算力

OpenAIFive這次的勝利是由于一次重大變化：訓練計算量增加了8倍。前期階段研究人員通過提高培訓規模來推動進一步的發展，之后將絕大部分算力用于培訓單一的OpenAIFive模型，相當于延長了訓練時間。

總的來說，當前版本的OpenAIFive已經消耗了800petaflop/s-days，并且在10個實時月內獲得了45000年的游戲經驗，平均每天獲得250年的模擬經驗。OpenAIFive的總決賽版本與TI版本相比，勝率為99.9％。

遷移學習

盡管模型大小和游戲規則發生了變化，但目前版本的OpenAIFive自2018年6月以來一直在不斷訓練。在每種情況下，研究人員都能夠將模型轉移并繼續培訓，這對于其他領域的監督學習來說是一個開放的挑戰。

據悉，這可能是監督學習智能體第一次使用如此長期的訓練課程進行訓練。

更多Dota英雄

研究人員看到從訓練5個英雄到訓練18英雄速度并沒有減弱的很明顯，于是假設對更多英雄來說也是如此，隨后開始大量嘗試整合新英雄。

研究人員花了幾個星期的時間訓練英雄池，最多達到了25個英雄。將這些英雄帶到大約5kMMR（大約95％的Dota玩家）。盡管在進步，但學習速度還不夠快，無法在總決賽之前達到職業水平。

研究人員沒有太多時間調查原因，但他們認為可能需要更好的匹配擴展的英雄池，需要更多的訓練時間讓新英雄達到老英雄的同等水平。想象一下當你習慣了某個英雄后，學習新英雄的難度是多么大！

協同模式

它實際上感覺很好;我的毒蛇在某些時候為我獻出了生命。他試圖幫助我，想著“我確定她知道她在做什么”然后顯然我沒有。但是，你知道，他相信我。對于[人類]隊友，我并沒有那么多.-無論如何

在總決賽期間，研究人員展示了OpenAI Five與人類一起在團隊中的表現，兩隊的成員都是2個真人帶3個智能體

OpenAIFive與人類的協同作戰能力為人類與人工智能互動的未來提供了一個引人注目的愿景：人工智能系統能夠和人類協作并增強人類體驗。

玩家認為從機器人隊友哪里感受到了戰友之情，并從這些先進的系統中學到了很多東西，整體來說是一種有趣的體驗。

值得注意的是，OpenAIFive展示了zero-shot遷移學習，與人類并肩作戰或者對抗人類。研究人員非常驚訝這一點和它一樣有效。事實上，研究人員考慮在國際上進行協同作案韓比賽，但認為需要專門的訓練。

OpenAI Five Arena

目前研究人員還不知道OpenAIFive在多大程度上能夠通過更機智的策略被擊敗，所以研究人員推出了OpenAIFiveArena。這是一項公開的實驗，任何人都可以跟OpenAIFive組隊或者對戰。

競技場于4月18日星期四太平洋標準時間下午6點開放，并于4月21日星期日太平洋標準時間晚上11:59關閉。玩家需要注冊，所有游戲的結果將自動報告給競技場公共排行榜。

下一步干什么

一旦研究人員審查了OpenAIFiveArena的結果，研究人員將發布對OpenAIFive的更多技術分析，之后將繼續使用OpenAI中的Dota2環境。

研究人員已經看到過去兩年在監督學習能力方面取得了快速進展，并認為Dota2將在推進無論是通過較少的數據還是真正的人工智能合作實現有能力的表現方面，持續提供幫助。