得益于索尼 AI 、索尼互動娛樂（ SIE ）以及 GT Sport 的開發者 Polyphony Digital Inc 。的最新合作， Gran Turismo （ GT ） Sport 的競爭對手正面臨一個新的、 AI 超級強大的競爭者。

被稱為 Gran Turismo Sophy （ GT Sophy ）的自主人工智能賽車代理最近擊敗了 GT 運動領域的世界最佳車手。發表在 Nature， 上的 工作 介紹了一種新的深度強化學習平臺，用于創建 GT Sophy ，并可能為全球玩家帶來新的人工智能體驗。

索尼集團公司董事長、總裁兼首席執行官吉田健一郎在一份 發布。 的聲明中說：“索尼的目的是‘通過創造力和技術的力量，讓世界充滿情感’，而大圖里斯莫·索菲就是這一點的完美體現。”

“我們為游戲玩家打造了一款游戲 AI ，這是索尼作為一家創意娛樂公司的獨特之處。它標志著 AI 發展的重大飛躍，同時也為全球 GT 粉絲提供了增強的體驗。”

Smart gaming

人工智能對游戲來說并不新鮮。 2017 年，來自 DeepMind 的 Alpha Zero 項目在學會玩和征服國際象棋、日本象棋和使用深度強化學習（ deep RL ）圍棋時成為新聞

作為機器學習的一種補償， deep RL 在基本術語中使用計算 RL 代理通過試錯來做出決策，以解決問題。在算法中引入深度學習后，智能體從非常大的數據集做出決策，并決定有效地實現其目標的行動。

Alpha Zero 程序使用了一種算法，一個未經訓練的神經網絡對自己進行了數百萬次游戲，并根據其結果調整游戲。

然而，賽車人工智能對來自不同汽車、賽道、駕駛員、天氣和對手的無數變量提出了更復雜的推理需求。作為最逼真的駕駛模擬器之一， GT Sport 使用真實的賽車和賽道尺寸，通過考慮空氣阻力和輪胎摩擦等因素再現比賽環境。

強化良好行為

該團隊創建了一個能夠適應實時因素的賽車代理，并使用新開發的 deep RL 算法對 GT Sophy 進行了賽車控制、賽車戰術和賽車禮儀三項具體技能的培訓。根據 project’s website ，該算法使用最新的強化學習技術，根據賽車經紀人的行為對其進行獎勵或懲罰。

研究人員在研究報告中寫道：“使用 deep RL 開發賽車代理的優點之一是，工程師無需編程如何以及何時執行贏得比賽所需的技能，只要它暴露在正確的條件下，代理通過反復試驗學會做正確的事。”。

該團隊定制了一個基于網絡的分布式異步部署和培訓（ DART ）平臺，使用 SIE 的全球云基礎設施研究人員在 PlayStation 4 控制臺上培訓 GT Sophy ，然后使用 DART 收集培訓數據并評估代理的版本。

使用這個系統，研究人員指定一個實驗，自動運行，并在網絡瀏覽器中查看數據。每個實驗都在一個計算節點上使用一個培訓師，該培訓師使用 cuDNN 加速的 TensorFlow 深度學習框架和 NVIDIA V100 GPU 或 NVIDIA A100 GPU 的一半，再加上大約 8 個 CPU 和 55 個 記憶的碎片。

據 project’s website 報道，“該系統允許索尼人工智能的研究團隊無縫地同時運行數百個實驗，同時探索將 GT Sophy 提升到下一個水平的技術。”。

增壓燃氣輪機

在 2021 ，世界上最好的 GT 賽車手中有四人在兩個單獨的比賽中與 GT Suffy 競爭。這些比賽包括三個賽馬場、四名 GT Sophy 經紀人和賽車。在首次亮相時， GT Sophy 在計時賽中表現出色，但在同一賽道上挑戰賽車手時表現不佳。

該隊在第一場比賽結果的基礎上進行了改進，升級了訓練體系，增加了網絡規模，調整了特征和獎勵，增強了對手。

這一結果造就了一名賽車經紀人，他可以在急轉彎處超越一名人類駕駛員，處理擁擠的起跑，在滑流中進行彈弓傳球，并執行防守動作。經紀人這樣做的同時，也遵守了人類駕駛員理解和實踐的微妙的體育道德考慮。在計時賽和 FIA 認證的格蘭賽車錦標賽系列賽中，它也擊敗了頂尖的人力車手。

據報道， GT Sophy 在短短幾個小時內就學會了繞道而行。在大約兩天的時間里，它可以擊敗大約 95% 的人類玩家。給它 10 到 12 天，大約 45 ， 00 個駕駛小時， GT Sophy 就等于或超過了世界頂級車手。

憑借其賽車實力， GT Sophy 的目標是讓 GT 運動更有趣、更具競爭力和教育性。一些與 GT Sophy 競爭的專家報告說，他們學習了轉彎和駕駛技術的新方法。

研究人員還發現， deep RL 有可能改善協作機器人、無人機或自動駕駛車輛等系統的實際應用。

關于作者

Michelle Horton 是 NVIDIA 的高級開發人員通信經理，擁有通信經理和科學作家的背景。她在 NVIDIA 為開發者博客撰文，重點介紹了開發者使用 NVIDIA 技術的多種方式。

審核編輯：郭婷