強化學習（RL）能通過獎勵或懲罰使智能體實現目標，并將它們學習到的經驗轉移到新環境中。但強化學習存在眾所周知的缺陷：由于數據科學家在它們接受訓練的環境中對這個系統進行基準測試，所以產生了過擬合，即訓練數據擬合程度過當的情況。非營利性人工智能研究公司OpenAI正在通過人工智能訓練環境（CoinRun）來解決這個問題，該環境為智能體將其經驗轉移到不熟悉的場景的能力提供了一項衡量指標，它本質上就像一個擁有敵人、目標和不同難度關卡等完備信息的經典平臺游戲。

OpenAI表示CoinRun在復雜性方面取得了理想的平衡效果，其訓練環境比《刺猬索尼克》等傳統游戲平臺簡單得多，但它仍然對最先進的算法提出了一個有價值的泛化問題。CoinRun的訓練級別是程序生成的，可為智能體提供大量易于量化的訓練數據。

正如OpenAI所解釋的那樣，之前在強化學習環境中所做的工作主要集中在程序生成的迷宮、像一般電子游戲AI框架這樣的社區項目以及像《刺猬索尼克》這樣的游戲上，通過在不同等級上的訓練和測試智能體來衡量泛化效果。相比之下，CoinRun在每個等級訓練結束時都會為智能體提供一個獎勵。

在傳統的訓練中，AI智能體必須應對碰撞以后會導致死亡的固定或者移動的障礙。當收集完硬幣，或者走1000步之后，訓練就結束了。

似乎這還不夠，所以OpenAI開發了兩個額外的環境來探索過擬合的問題：CoinRun-Platforms和RandomMazes。CoinRun-Platforms包括隨機分散在平臺上的幾個硬幣，促使智能體積極探索關卡并時不時做一些回溯。RandomMazes是一個簡單的迷宮導航任務。

為了驗證CoinRun、CoinRun-Platforms和RandomMazes，OpenAI培訓了9個智能體，每個智能體具有不同數量的訓練等級。前8個接受了100到16000個等級的訓練，最后一個接受了不受限制的等級訓練——實際上大約是200萬個——這樣它就不會兩次看到相同的等級。

智能體在4000訓練等級處出現了過擬合，甚至在16000的訓練等級處也是這樣。表現最佳的智能體竟然是那些受到無限制水平訓練的。在CoinRun-Platforms和RandomMazes中，智能體在所有情況下都過擬合了。

OpenAI稱，使用程序生成的CoinRun環境可以精確地量化這種過擬合，可以更好地評估關鍵架構和算法決策。OpenAI相信從這種環境中汲取的經驗教訓將適用于更復雜的環境，也希望利用這一基準，以及其他類似的基準來迭代開發更通用的智能體。