用TensorFlow構建你的第一個游戲AI入門教程

本文通過一種簡單的 Catch 游戲介紹了深度強化學習的基本原理，并給出了完整的以 Keras 為前端的 TensorFlow 代碼實現，是入門深度強化學習的不錯選擇。

去年，DeepMind 的 AlphaGo 以 4-1 的比分打敗了世界圍棋冠軍李世乭。超過 2 億的觀眾就這樣看著強化學習（reinforce learning）走上了世界舞臺。幾年前，DeepMind 制作了一個可以玩 Atari 游戲的機器人，引發軒然大波。此后這個公司很快被谷歌收購。

很多研究者相信，強化學習是我們創造通用人工智能（Artificial General Intelligence）的最佳手段。這是一個令人興奮的領域，有著許多未解決的挑戰和巨大的潛能。

強化學習起初看似非常有挑戰性，但其實要入門并不困難。在這篇文章中，我們將創造一個基于 Keras 的簡單機器人，使它能玩 Catch 游戲。

Catch 游戲

原始的 Catch 游戲界面

Catch 是一個非常簡單的街機游戲，你可能在孩提時代玩過它。游戲規則如下：水果從屏幕的頂部落下，玩家必須用一個籃子抓住它們；每抓住一個水果，玩家得一分；每漏掉一個水果，玩家會被扣除一分。這里的目標是讓電腦自己玩 Catch 游戲。不過，我們不會使用這么漂亮的游戲界面。相反，我們會使用一個簡單的游戲版本來簡化任務：

簡化的 Catch 游戲界面

玩 Catch 游戲時，玩家要決定三種可能的行為。玩家可以將籃子左移、右移或保持不動。這個決定取決于游戲的當前狀態。也就是說，取決于果子掉落的位置和籃子的位置。我們的目標是創造這樣一個模型：它能在給定游戲屏幕內容的情況下，選擇導致得分最高的動作。

這個任務可以被看做一個簡單的分類問題。我們可以讓游戲專家多次玩這個游戲，并記錄他們的行為。然后，可以通過選擇類似于游戲專家的「正確」動作來訓練模型。

但這實際上并不是人類學習的方式。人類可以在無指導的情況下，自學像 Catch 這樣的游戲。這非常有用。想象一下，你如果每次想學習像 Catch 一樣簡單的東西，就必須雇傭一批專家玩這個游戲上千次！這必然非常昂貴而緩慢。

而在強化學習中，模型不會根據標記的數據訓練，而是通過以往的經歷。

深度強化學習

強化學習受行為心理學啟發。我們并不為模型提供「正確的」行為，而是給予獎勵和懲罰。該模型接受關于當前環境狀態的信息（例如計算機游戲屏幕）。然后，它將輸出一個動作，就像游戲手柄一樣。環境將對這個動作做出回應，并提供下一個狀態和獎懲行為。

據此，模型學習并尋找最大化獎勵的行為。

實際上，有很多方式能夠做到這一點。下面，讓我們了解一下 Q-Learning。利用 Q-Learning 訓練計算機玩 Atari 游戲的時候，Q-Learning 曾引起了轟動。現在，Q-Learning 依然是一個有重大意義的概念。大多數現代的強化學習算法，都是 Q-Learning 的一些改進。