訓練先進的人工智能系統所需的巨大計算資源意味著，經驗豐富的科技公司將學術團隊置于塵埃中。但是一種新方法可以幫助平衡規模，使科學家可以在一臺計算機上解決最先進的AI問題。

OpenAI 2018年的一份報告發現，用于訓練最強大的人工智能的處理能力正以驚人的速度增長，每3.4個月翻一番。最需要數據的方法之一是深度強化學習，其中AI通過遍歷數百萬次仿真來通過反復試驗來學習。電子游戲如《星際爭霸》和《Dota2》的最新進展都依賴于裝有數百個CPU和GPU的服務器。

諸如Cerebras System的Wafer Scale Engine之類的專用硬件有望用完美優化用于訓練AI的單個大型芯片來取代這些機架式處理器。但是，由于價格高達數百萬美元，對于資金不足的研究人員來說，這并不是什么安慰。

現在，來自南加州大學和英特爾實驗室的一個團隊已經發明了一種在學術實驗室中常用的硬件上訓練深度強化學習（reinforcement learning，RL）算法的方法。在近日舉行的2020國際機器學習大會（International Conference on Machine Learning，ICML）上發表的一篇論文中，他們描述了如何能夠使用一個高端工作站來訓練人工智能，在第一人稱射擊游戲Doom上擁有最先進的表現。他們還使用一小部分正常計算能力來解決DeepMind提出的30種多樣化3D挑戰套件。

德州大學奧斯汀分校（University of Texas at Austin）專門研究深度RL的教授Peter Stone說：“發明對商品硬件進行深度RL的方法是一個了不起的研究目標。并且，除了將較小的研究小組拋在身后之外，進行此類研究通常所需的計算資源也會產生大量的碳足跡。”

USC研究生的主要作者Aleksei Petrenko說，該項目的靈感來自于必須成為發明之母的經典案例。隨著在英特爾的暑期實習期結束，Petrenko失去了進入該公司的超級計算集群的權限，這使尚未完成的深度RL項目陷入危險之中。因此，他和同事決定找到一種方法來繼續進行簡單系統的工作。

使用一臺配備36核CPU和一個GPU的機器，研究人員能夠在接受Atari視頻游戲和Doom訓練時每秒處理大約14萬幀圖像，或者是次優方法的兩倍。

Using a single machine equipped with a 36-core CPU and one GPU, the researchers were able to process roughly 140,000 frames per second while training on Atari videogames and Doom, or double the next best approach.

“根據我的經驗，很多研究人員無法接觸到尖端的、花哨的硬件，”Petrenko說。“我們意識到，只要重新考慮如何最大限度地提高硬件利用率，實際上就可以接近通常從大型集群中擠出的性能，即使是在單個工作站上。”

深度RL的主要方法是將AI代理置于一個模擬環境中，該環境為實現特定目標提供獎勵，agent將此作為反饋來制定最佳策略。這涉及三個主要的計算工作：模擬環境和代理；根據學習到的規則（稱為策略）決定下一步要做什么；以及使用這些操作的結果來更新策略。

Petrenko說，培訓總是受到最慢流程的限制，但這三個工作通常在標準的深層次RL方法中交織在一起，因此很難單獨優化它們。研究人員的新方法被稱為“樣本工廠（Sample Factory）”，將它們分開，這樣就可以投入資源讓它們都以峰值速度運行。

Petrenko解釋說，進程之間的管道數據是另一個主要瓶頸，因為這些數據通常會分布在多臺機器上。他的團隊利用在一臺機器上工作的優勢，只需將所有數據塞進共享內存中，所有進程都可以即時訪問這些數據。

與領先的深度RL方法相比，這形成了顯著的加速。使用一臺配備36核CPU和一個GPU的機器，研究人員能夠在接受Atari視頻游戲和Doom訓練時每秒處理大約14萬幀圖像，或者是次優方法的兩倍。在三維訓練環境DeepMind實驗室中，他們每秒的幀數為40000幀，比第二名高出15%。

為了檢查幀速率是如何轉化為訓練時間的，研究小組將樣本工廠（Sample Factory）與谷歌大腦（Google Brain）在3月份開源的一種算法進行了比較，該算法旨在顯著提高深度RL的效率。研究小組還在DeepMind實驗室用一臺功能更強大的36核4-GPU機器，對30個挑戰進行了測試。由此產生的人工智能的性能明顯優于DeepMind用來應對挑戰的原始人工智能，后者是在大型計算集群上訓練的。

雖然論文中使用的計算機仍然是為人工智能研究而設計的高端工作站，但Petrenko說，他和他的合作者也一直在更簡單的設備上使用樣品工廠。他說，他甚至可以在他的中檔游戲筆記本電腦上進行一些高級的深度RL實驗。“這是前所未聞的。”