近日，知名AI專家Ilya Sutskever在硅谷園區舉行的NVIDIA年度NTECH工程座談會中暢談了最新的Dota 2賽事。該活動吸引了數百名工程師以及上千名在線參與者，其中不乏游戲發燒友。

操作敏捷、創意十足、機智聰明，這些都是優秀游戲玩家的代名詞。相比之下，機器就需要人向其傳授如何趕超人類玩家，而這些人指的就是Ilya Sutskever和他的OpenAI團隊。

今年8月，由五個神經網絡組成的OpenAI Five戰隊在Dota 2這個廣為流行的多人在線競技游戲中，與全球數位頂級職業玩家對抗。

對于OpenAI Five來說，能夠參加這個游戲領域的專業級比賽已經是一次飛躍。

Dota 2是一款極為復雜的游戲。為了贏得勝利，玩家可以隨意使用戰術，還可以自由交互。該游戲僅可見部分布局，這就要求玩家在每場持續45分鐘的對決中將眼前的戰術和長遠的戰略配合使用。“專業玩家們將自己的生活全部都獻給了Dota 2，”Sutskever說道，“玩這款游戲可不是件容易的事。”

Dota 2抬高了AI參與游戲的門檻

OpenAI Five在Dota 2比賽中取得的成績標志著人類與AI的競技對戰達到了一個全新的水平。在國際象棋和圍棋這些同樣是熱門的AI挑戰中，其平均走法分別為35和250。而相比之下Dota 2的游戲規則則更為復雜，每步約有17萬種可能的走法，而每場比賽又需要走2萬步。

Sutskever表示，鑒于Dota 2的復雜性，與AI此前挑戰過的其他游戲相比，Dota 2更接近于現實世界。那么，他們是如何做到的呢？答案是大規模的增強學習（reinforcement learning）。

無論是對于人類還是機器而言，增強學習都很重要。我們在游戲中因為某種走法獲得獎勵積分，或因為另一種走法而功虧一簣，這些時刻都會被記錄下來，為下一輪游戲提供增強學習的信息。

增強學習對于AI的重要性在于，這是一種非常自然的方式，可以訓練神經網絡做出行動以達成目標，而這也是構建智能系統所必須的。

OpenAI Five取得了相當喜人的成績，這要歸功于其大規模地運用了一套可靠的增強學習算法（近端策略優化），其運行于Google云平臺中的1000個NVIDIA Tesla P100 GPU上。

從很早開始，NVIDIA就一直在為OpenAI提供支持，黃仁勛先生曾親自為其贈送了第一臺DGX-1 AI超級計算機。

GPU挑戰的歷史

在利用GPU應對AI重大挑戰方面，Sutskever早已輕車熟路。他是贏得著名的ImageNet競賽的多倫多大學三位研究人員之一（其他兩位分別是Alex Krizhevsky和導師Geoffrey Hinton），幫助他們斬獲大獎的是其所開創的一款基于GPU的卷積神經網絡。

該網絡將錯誤率猛降近50%，并因此載入史冊，開啟了當代AI的熱潮。

這就是現在的AlexNet，無數深度學習模型均以此為基礎打造。在GTC 2018 上，黃仁勛先生提及了AlexNet對數以萬計的AI模型的影響：“神經網絡正以驚人的速度增長和發展。”

Sutskever表示，AI技術的飛躍與處理能力的提升密不可分。“值得一提的是，從最初的AlexNet到后來的AlphaGo Zero，計算量提升到了原來的30萬倍。僅僅五年的時間，增量可以說十分可觀。”

OpenAI的“登月”雄心

OpenAI成立于2015年，是一家非營利性機構，致力于通過開發和利用通用AI造福全人類。其創始成員包括Tesla首席執行官Elon Musk、Y Combinator總裁Sam Altman和其他技術行業的杰出人物。為了完成該組織的使命，他們共投入了10億美元。

OpenAI的研究人員正在投身于一項名為Dactyl的項目，旨在增強機械手的靈活性。還有一支團隊在研究域名隨機化（domain randomization）這一古老概念，也取得了令人矚目的成果。他們已經能夠在模擬環境下訓練機械手操控物體，并計劃隨后將此成果投入實際應用。這一點非常重要，因為模擬是讓這些機械手獲得足夠訓練經驗的唯一方式。“這種想法實施的結果非常好，”Sutskever說道。

責任編輯：彭菁