模仿學(xué)習(xí)硏究如何從專家的決策數(shù)據(jù)中進(jìn)行學(xué)習(xí)，以得到接近專家水準(zhǔn)的決策模型。同樣學(xué)習(xí)如何決策的強(qiáng)化學(xué)習(xí)往往只根據(jù)環(huán)境的評(píng)價(jià)式反饋進(jìn)行學(xué)習(xí)，與之相比，模仿學(xué)習(xí)能從決策數(shù)據(jù)中獲得更為直接的反饋。它可以分為行為克隆、基于逆向強(qiáng)化學(xué)習(xí)的模仿學(xué)習(xí)兩類方法?；谀嫦驈?qiáng)化學(xué)習(xí)的模仿學(xué)習(xí)把模仿學(xué)習(xí)的過(guò)程分解成逆向強(qiáng)化學(xué)習(xí)和強(qiáng)化學(xué)習(xí)兩個(gè)子過(guò)程，并反復(fù)迭代。逆向強(qiáng)化學(xué)習(xí)用于推導(dǎo)符合專家決策數(shù)據(jù)的獎(jiǎng)賞函數(shù)，而強(qiáng)化學(xué)習(xí)基于該獎(jiǎng)賞函數(shù)來(lái)學(xué)習(xí)策略?；谏蓪?duì)抗網(wǎng)絡(luò)的模仿學(xué)習(xí)方法從基于逆向強(qiáng)化學(xué)習(xí)的模仿學(xué)習(xí)發(fā)展而來(lái)，其中最早出現(xiàn)且最具代表性的是生成對(duì)抗模仿學(xué)習(xí)方法（ Generative Adversarial Imitation Learning，簡(jiǎn)稱GAIL）。生成對(duì)抗網(wǎng)絡(luò)由兩個(gè)相對(duì)抗的神經(jīng)網(wǎng)絡(luò)構(gòu)成，分別為判別器和生成器.GAL的特點(diǎn)是用生成對(duì)抗網(wǎng)絡(luò)框架求解模仿學(xué)習(xí)問(wèn)題，其中，判別器的訓(xùn)練過(guò)程可類比獎(jiǎng)賞函數(shù)的學(xué)習(xí)過(guò)程，生成器的訓(xùn)練過(guò)程可類比策略的學(xué)習(xí)過(guò)程。與傳統(tǒng)模仿學(xué)習(xí)方法相比，GA具有更好的魯棒性、表征能力和計(jì)算效率。因此，它能夠處理復(fù)雜的大規(guī)模問(wèn)題，并可拓展到實(shí)際應(yīng)用中然而，GA存在著模態(tài)崩塌、環(huán)境交互樣本利用效率低等問(wèn)題。最近，新的研究工作利用生成對(duì)抗網(wǎng)絡(luò)技術(shù)和強(qiáng)化學(xué)習(xí)技術(shù)等分別對(duì)這些問(wèn)題進(jìn)行改進(jìn)，并在觀察機(jī)制、多智能體系統(tǒng)等方面對(duì)GAI進(jìn)行了拓展。本文先介紹了GAL的主要思想及其優(yōu)缺點(diǎn)，然后對(duì)GAIL的改進(jìn)算法進(jìn)行了歸類、分析和對(duì)比，最后總結(jié)全文并探討了可能的未來(lái)趨勢(shì)。