一種新型的機器學習算法剛剛掌握了一些已被證明是人工智能的頭疼的回歸視頻游戲。

接下來的人將會知道人工智能算法在古老，優雅的策略游戲Go中擊敗了世界頂級人類玩家，這是最難以想象的游戲之一。但是，來自8位電腦游戲時代的兩個像素化經典作品 - 蒙特祖瑪的復仇和陷阱已經阻礙了AI研究人員。

這種看似矛盾的原因是有道理的。蒙特蘇馬的復仇和陷阱雖然看似簡單，但看似簡單！通過強化學習已經不受掌握，這種技術本來擅長學習征服視頻游戲。DeepMind是Alphabet的子公司，專注于人工智能，著名地用它來開發能夠學習如何在專家級別上玩幾個經典視頻游戲的算法。強化學習算法與大多數游戲很好地融合，因為他們根據積極的反饋調整他們的行為 - 得分上升。該方法的成功使人們產生了希望，AI算法可以教會自己做各種有用的東西，這些東西目前對機器來說是不可能的。

蒙特祖瑪的復仇和陷阱的問題！是沒有可靠的獎勵信號。兩個標題都涉及典型場景：主角探索充滿致命生物和陷阱的塊狀世界。但是在每種情況下，許多在游戲中前進所必需的行為都無助于提高分數，直到很久以后。普通的強化學習算法通常無法擺脫蒙特祖瑪的復仇和陷阱中的第一個房間！他們得分正好為零。

這些新算法來自優步在舊金山的人工智能研究團隊，由Jeff Clune領導，他也是懷俄明大學的副教授。該團隊在一個環境中展示了一種根本不同的機器學習方法，該環境幾乎沒有提供顯示算法的線索。

這種方法引出了一些有趣的實際應用，Clune和他的團隊在今天發布的博客文章中寫道 - 例如，在機器人學習中。這是因為未來的機器人需要弄清楚在復雜的環境中應該做些什么并且只提供一些稀疏的獎勵。

優步于 2016年12月啟動了人工智能實驗室，目標是實現可能對其業務有用的根本性突破。更好的強化學習算法最終可用于自動駕駛和優化車輛路線等事項。

人工智能研究人員通常試圖解決蒙特祖瑪的復仇與陷阱所帶來的問題！通過指導強化學習算法有時隨機探索，同時為探索增加獎勵 - 所謂的“內在動機”。

但優步研究人員認為，這無法捕捉人類好奇心的一個重要方面。“我們假設當前內在動機算法的一個主要弱點是脫離，”他們寫道。“其中算法忘記了他們訪問過的有前途的區域，這意味著他們不會回到他們身邊，看看他們是否會導致新的狀態。”

該團隊新的強化學習算法系列，被稱為Go-Explore，記住了之前的狀態，并將在稍后返回特定區域或任務，看看它是否有助于提供更好的整體效果。研究人員還發現，通過讓人類玩家突出有趣或重要的區域來增加一些領域知識，可以大大加快算法的學習和進步。這很重要，因為可能存在許多真實情況，您希望算法和人員一起工作來解決一項艱巨的任務。

他們的代碼在蒙特祖瑪的復仇中平均得分為400,000分 - 比人類專家的平均值高出一個數量級。在陷阱！它平均增加了21,000，遠遠超過大多數人類玩家。

“這些結果令人印象深刻，”斯坦福大學助理教授Emma Brunskill說，他專門研究強化學習。她說，令人驚訝和令人興奮的是，這些技術產生了如此巨大的優勢。

其他人工智能研究人員一直在嘲笑這些臭名昭著的硬視頻游戲。10月，舊金山非營利組織OpenAI的一個團隊展示了一種能夠在Montezuma的復仇方面取得重大進展的算法。

最近，斯坦福大學的Brunskill小組在陷阱方面取得了較小的進展！使用類似優步團隊的方法。

現在AI算法可以解決這些視頻游戲，挑戰是從街機中出現并解決現實問題。

Brunskill同意這種工作可能對機器人技術產生重大影響。但她說，其他現實世界的情況，特別是那些涉及人類行為建模的情況，要困難得多。“看看這種方法對于更復雜的設置有多好，這將是非常有趣的，”她說。