[首發于智駕最前沿微信公眾號]當談及自動駕駛模型學習時，經常會提到模仿學習的概念。所謂模仿學習，就是模型先看別人怎么做，然后學著去做。自動駕駛中的模仿學習，就是把人類司機在各種路況下的行為做成范例，記錄下看到了什么和做了什么等信息，然后將這些一一對應起來當作訓練數據，并訓練出一個模型。

當模型訓練好以后，遇到類似場景就可以嘗試輸出類似的人類動作。這種學習方式不需要工程師把每一種情況的規則一條條寫出來，也不需要設計一個復雜的獎勵函數讓機器在虛擬世界里靠試錯學會開車，只要有質量較好的“人類示范”，就能把人的“駕駛風格”灌輸到模型里。

模仿學習有不同的實現方式。最直接的叫行為克隆（behavior cloning），就是把專家看見與執行的對應關系作為監督學習任務，其輸入是傳感器數據、前視圖、速度等信息，輸出是方向盤角度、油門剎車等控制量。還有一種思路是逆強化學習（inverse reinforcement learning），它不是直接學“做什么”，而是試圖從人類的行為里反推出一個“潛在的目標函數”或者偏好，再用這個目標去訓練模型。除此之外，還有對抗式模仿、層次化模仿等更復雜的變體，這些方法能夠在一定程度上緩解簡單模仿學習在泛化能力和魯棒性上的不足。

模仿學習對自動駕駛有什么用

在自動駕駛這樣高風險的領域，讓模型在真實世界里靠“試錯”學習顯然不現實。模仿學習可以利用已有的人類駕駛數據，讓模型在安全的條件下學習“合格駕駛員”的行為模式。

對于很多常見場景，尤其是城市道路或高速路上的常規操作，模仿學習能教會車輛如何平順變道、如何與前車保持距離、如何在擁堵路段保持合理速度，這種“像人開車”的行為將提升乘客的體驗，并會讓社會有更高的接受度。

此外，模仿學習在工程上好上手、訓練效率也相對更高。模仿學習本質上是監督學習，訓練目標直接、損失明確，數據處理管道成熟。因此在研發早期，以及做端到端感知-控制的探索時，模仿學習是首選方法。

模仿學習還能把多模態傳感器的信息（攝像頭、毫米波雷達、LiDAR、里程計等）合并到一個網絡中，直接從原始感知到控制量學習一條端到端的映射，這在某些應用場景能顯著簡化系統架構。

模仿學習還有一個好處，就是能把“人類的駕駛習慣”保留下來。人類駕駛員在很多情形里會做出既安全又舒適的動作，像是平滑的加減速、合理的避讓、符合社會駕駛習慣的決策等，都是人類駕駛員可以輕松應對的動作。把這些行為灌輸到模型里，有助于自動駕駛車輛在混合交通環境中更自然地與人類駕駛者共存，從而減少被其他車輛或行人誤判的風險。

如何用模仿學習訓練模型？

想用模仿學習訓練模型，要先進行采集示范數據，然后做數據清洗與標注，接著訓練模型并在模擬器或封閉道路上測試，最后再做在線改進與驗證。

采集階段不是簡單地采集更多場景，也不是無腦地堆砌各種場景，而是要找到場景多樣且高質量的數據，像是白天夜晚、雨雪、高架與城市擁堵、復雜交叉口等場景場景必須都覆蓋到。訓練時可用卷積神經網絡處理圖像輸入，并把時序信息通過遞歸結構或時間窗口的方式納入，讓模型能記住短時間內的動態變化。

在模型上線之前，需要通過仿真和閉環測試來驗證模型的魯棒性。單純在靜態測試集上做得好并不代表閉環駕駛也能穩健運行，控制策略的每一步動作都會改變后續的狀態分布，這種分布偏移會導致誤差積累。

為此，要引入在線糾偏機制，如在模型駕駛時讓專家在線糾正，將這些新的“偏離狀態-專家動作對”加入數據集繼續訓練，像是DAgger（Dataset Aggregation，數據集聚合）就是采用的這種方法。還有技術方案中會先用模仿學習學一個“基礎策略”，再用強化學習或規則化的規劃層對其微調與約束，以增強對稀有或危險場景的處理能力。

當然，模仿學習并不等同于完全放手不設規則。為確保自動駕駛系統的安全性，很多技術方案中會采用混合架構，模仿學習負責感知-決策的快速映射，規劃層負責長時間尺度的路徑規劃，規則模塊負責硬性安全約束（比如絕對剎停條件、最小車距限制等）。這種分層與混合的策略不僅可以利用模仿學習的高效性，也能通過規則化模塊彌補它在極端情況上的不足。

模仿學習的局限與現實挑戰

模仿學習雖好，但其存在泛化能力有限與誤差積累等問題。模仿模型在訓練時學到的是“在那些見過的狀態里該做什么”，一旦遇到訓練集中沒有覆蓋到的罕見場景，模型將不知道應該如何處理。尤其是在序列決策問題中，模型自己的每一步決定都會改變未來觀測的分布，哪怕開始只是輕微偏差，也可能隨著時間放大成嚴重錯誤，這就是所謂的分布偏移或誤差累積問題。

模仿學習主要學習專家示范的內容，提供給模型的專家示范總希望是高質量的且具代表性的，但人類司機并不完美，總會存在疏忽、習慣性錯誤或對某些場景不恰當的判斷。如果模型只是機械地模仿這些行為，就可能學到不良駕駛習慣。尤其對于人類社會來說，道德和法律層面的約束不是簡單靠模仿就能學會的，如何在多方沖突情形下如何取舍、如何展現可辯護的決策過程等，都需要額外的規則與可解釋性的支撐。

端到端的模仿學習模型還存在內部決策過程不透明的問題，其安全邊界難以被嚴格界定和驗證。對于汽車這種涉及生命財產安全的關鍵領域，監管與認證體系要求系統具備可解釋的邏輯或明確的安全保證。因此，單純依賴數據驅動的模仿學習，在應對復雜多變的長尾場景時，可能面臨可驗證性不足的挑戰。

要把模仿學習做得足夠魯棒，要覆蓋足夠廣的高質量示范數據，這就帶來了采集成本高、標注難、隱私與合規等問題。尤其是極端天氣、罕見事故或復雜交互場景，本身就少見，要人工制造這些場景又有風險，仿真雖然能補充一部分，但仿真與現實間的差距也會影響模型遷移效果，因此，對于模仿學習來說，數據方面的挑戰不容忽視。

最后的話

模仿學習為自動駕駛系統提供了實現擬人化駕駛行為的重要基礎，但其數據驅動的黑箱特性在安全驗證和長尾場景泛化方面存在局限。想應用好模仿學習，就要將模仿學習置于一個包含規則約束、規劃模塊及多重安全冗余的混合系統架構中，從而確保其在發揮其高效學習優勢的同時，更能確保系統的整體行為符合可解釋、可驗證的安全規范。