人工智能（Artificial Intelligence，AI）主要研究人類思

　　維、行動中那些尚未算法化的功能行為， 使機器像人的大

　　腦一樣思考、行動。長期以來， 圍棋作為一種智力博弈游

　　戲， 以其變化莫測的博弈局面， 高度體現(xiàn)了人類的智慧， 為

　　人工智能研究提供了一個很好的測試平臺， 圍棋人工智能

　　也是人工智能領(lǐng)域的一個重要挑戰(zhàn)。

　　傳統(tǒng)的計算機下棋程序的基本原理， 是通過有限步數(shù)

　　的搜索樹， 即采用數(shù)學(xué)和邏輯推理方法， 把每一種可能的

　　路徑都走一遍， 從中選舉出最優(yōu)路徑， 使得棋局勝算最大。

　　這種下棋思路是充分發(fā)揮計算機運算速度快、運算量大等

　　優(yōu)勢的“暴力搜索法”， 是人類在對弈規(guī)定的時間限制內(nèi)無

　　法做到的。但是由于圍棋局面數(shù)量太大， 這樣的運算量對

　　于計算機來講也是相當(dāng)之大， 目前的計算機硬件無法在對

　　弈規(guī)定的時間內(nèi)， 使用計算機占絕對優(yōu)勢的“暴力搜索法”

　　完成圍棋所有局面的擇優(yōu)， 所以這樣的下棋思路不適用于

　　圍棋對弈。

　　搜索量巨大的問題一直困擾著圍棋人工智能， 使其發(fā)

　　展停滯不前，直到2 0 0 6 年， 蒙特卡羅樹搜索的應(yīng)用出現(xiàn)，

　　才使得圍棋人工智能進入了嶄新的階段， 現(xiàn)代圍棋人工智

　　能的主要算法是基于蒙特卡洛樹的優(yōu)化搜索。

　　2 圍棋人工智能基本原理

　　目前圍棋人工智能最杰出的代表， 是由谷歌旗下人工

　　智能公司DeepMind創(chuàng)造的AlphaGo圍棋人工智能系統(tǒng)。它

　　在與人類頂級圍棋棋手的對弈中充分發(fā)揮了其搜索和計

　　算的優(yōu)勢， 幾乎在圍棋界立于不敗之地。

　　Alph a G o系統(tǒng)的基本原理是將深度強化學(xué)習(xí)方法與蒙

　　特卡洛樹搜索結(jié)合， 使用有監(jiān)督學(xué)習(xí)策略網(wǎng)絡(luò)和價值網(wǎng)

　　絡(luò)， 極大減少了搜索空間， 即在搜索過程中的計算量， 提高

　　了對棋局估計的準(zhǔn)確度。

　　2.1 深度強化學(xué)習(xí)方法

　　深度學(xué)習(xí)源于人工神經(jīng)網(wǎng)絡(luò)的研究， 人類大量的視覺

　　聽覺信號的感知處理都是下意識的， 是基于大腦皮層神經(jīng)

　　網(wǎng)絡(luò)的學(xué)習(xí)方法， 通過模擬大腦皮層推斷分析數(shù)據(jù)的復(fù)雜

　　層狀網(wǎng)絡(luò)結(jié)構(gòu)， 使用包含復(fù)雜結(jié)構(gòu)或由多重非線性變換構(gòu)

　　成的多個處理層對數(shù)據(jù)進行高層抽象， 其過程類似于人們

　　識別物體標(biāo)注圖片。現(xiàn)如今， 應(yīng)用最廣泛的深度學(xué)習(xí)模型

　　包括： 卷積神經(jīng)網(wǎng)絡(luò)、深度置信網(wǎng)絡(luò)、堆棧自編碼網(wǎng)絡(luò)和遞

　　歸神經(jīng)網(wǎng)絡(luò)等。

　　強化學(xué)習(xí)源于動物學(xué)習(xí)、參數(shù)擾動自適應(yīng)控制等理

　　論， 通過模擬生物對環(huán)境以試錯的方式進行交互達到對環(huán)

　　境的最優(yōu)適應(yīng)的方式， 通過不斷地反復(fù)試驗， 將變化無常

　　的動態(tài)情況與對應(yīng)動作相匹配。強化學(xué)習(xí)系統(tǒng)設(shè)置狀態(tài)、

　　動作、狀態(tài)轉(zhuǎn)移概率和獎賞四個部分， 在當(dāng)前狀態(tài)下根據(jù)

　　策略選擇動作， 執(zhí)行該過程并以當(dāng)前轉(zhuǎn)移概率轉(zhuǎn)移到下一

　　狀態(tài)， 同時接收環(huán)境反饋回來的獎賞， 最終通過調(diào)整策略

　　來最大化累積獎賞。

　　深度學(xué)習(xí)具有較強的感知能力， 但缺乏一定的決策能

　　力； 強化學(xué)習(xí)具有決策能力， 同樣對感知問題無能為力。深

　　度強化學(xué)習(xí)方法是將具有感知能力的深度學(xué)習(xí)和具有決

　　策能力的強化學(xué)習(xí)結(jié)合起來， 優(yōu)勢互補， 用深度學(xué)習(xí)進行

　　感知， 從環(huán)境中獲取目標(biāo)觀測信息， 提供當(dāng)前環(huán)境下的狀

　　態(tài)信息； 然后用強化學(xué)習(xí)進行決策， 將當(dāng)前狀態(tài)映射到相

　　應(yīng)動作， 基于初期匯報評判動作價值。

　　深度強化學(xué)習(xí)為復(fù)雜系統(tǒng)的感知決策問題提供了一

　　種全新的解決思路。

　　2.2 蒙特卡洛樹搜索

　　蒙特卡洛樹搜索是將蒙特卡洛方法與樹搜索相結(jié)合

　　形成的一種搜索方法。所謂蒙特卡洛方法是一種以概率統(tǒng)

　　計理論為指導(dǎo)的強化學(xué)習(xí)方法， 它通常解決某些隨機事件

　　出現(xiàn)的概率問題， 或者是某隨機變量的期望值等數(shù)字特征

　　問題。通過與環(huán)境的交互， 從所采集的樣本中學(xué)習(xí)， 獲得關(guān)

　　于決策過程的狀態(tài)、動作和獎賞的大量數(shù)據(jù)， 最后計算出

　　累積獎賞的平均值。

　　蒙特卡洛樹搜索算法是一種用于解決完美信息博弈

　　（perfect information games，沒有任何信息被隱藏的游戲）

　　的方法，主要包含選擇（Selection）、擴展（Expansion）、模擬