決策是自動駕駛的關鍵部分之一，它首先融合多傳感信息，然后根據駕駛需求進行任務決策，接著在能避開可能存在的障礙物前提下，通過一些特定的約束條件，規劃出兩點間多條可選安全路徑和，并在這些路徑中選取一條最優的路徑作為車輛行駛軌跡。然而，要實現決策規劃是一個復雜的系統工程，需要精準感知環境，理解交通參與者的意圖并能夠在廣泛豐富的場景下，實現穩定安全的無人駕駛。

需要面對真實路況中的大量 “不確定性”。這種不確定性是貫穿上下游的，并且感知局限性、行為預測偶然性、規控交互性共同交織的挑戰。

1、?什么是確定性決策？

對于確定性決策問題，其在每個狀態下都有已知的可選動作，而每個動作都會導致一個確定的新狀態。自動駕駛傳統的行為決策、軌跡規劃、路徑規劃，都可以看作是確定性的決策。如左下圖，在自動駕駛卡車行駛的某個時刻，自車以及他車的狀態加上環境信息，即是我們此時的狀態(state)。在此狀態下，自車可以有多個宏觀動作(action)可以選擇，比如向左前方變道。

完成此動作后，自車狀態可由變道軌跡確定，他車狀態可由預測模塊確定，因此新的狀態也是可以唯一確定的。重復此過程，并探索其他不同的宏觀動作，我們便構建了一個確定性的搜索樹。對于一個確定性的搜索樹進行完整地求解需要從后往前遍歷搜索樹的各個節點，如右圖。

根據某狀態下最大收益的action確定該狀態的收益，進而確定導致該狀態的action的收益。重復該過程則可以獲得在初始狀態下可以獲得的最大收益，同時得到確保該收益所需要執行的行為動作序列。

2、什么是非確定性決策？

確定性的決策問題構建和求解都比較簡單。但真實環境中，其他車輛的行為可能存在各種不確定性，因此執行同一個action，其可能以一定概率導致不同的新狀態。如左下圖，當從初始狀態，自車選擇往左前變道后，右側車輛在此過程可能保持勻速，從而自車仍然有往右變道超越的空間。

但如果右車此時加速，則會導致另外一個狀態，即自車不再有向右變道的空間。如果其他車輛不同action的概率已知，我們則構建了一個隨機決策樹。隨機決策樹求解如右圖。求解過程和確定性決策樹的區別是，每個action的收益是其導致的各個隨機狀態收益的期望平均。

由于隨機狀態導致的分岔，隨機搜索樹的復雜度相比確定性搜索樹呈指數級增加，同時隨機決策問題的解不再是一個action序列，而是一個決策樹。

3、非確定性決策如何反常識（1）

從上面看，非確定性決策問題的求解和確定性決策沒有本質區別，都是對搜索樹的反向遍歷。但工程實踐中，了解它們的區別很有意義。無論是確定性還是非確定性決策，其搜索樹都存在維度爆炸的問題，因此工程上很少使用暴力窮舉的解法。

對于確定性決策問題，比如行為序列決策，或軌跡/路徑規劃，都會把一整條動作的序列(sequence of actons)作為一個侯選解，進而在動作序列的解空間中找到最優序列。

雖然該過程相比暴力窮舉搜索樹并沒有簡化，但是我們一是可以利用梯度信息來加速求解（如基于優化的軌跡/路徑規劃）；二是可以利用domain knowledge來對解空間進行簡化，從而方便采樣求解（比如lattice planner）。

確定動作序列求解法在確定性決策規劃問題里確實獲得了成功，因此很自然地很多人希望把這種方法套用到非確定性問題里。但這樣會帶來一些問題。

對比右圖，右下為之前得到的非確定性問題的最優解。而右上為確定動作序列套用到非確定搜索樹上的形式：動作序列在每個時間步會采用同樣的動作，無論此時是何種狀態。

可以看出，確定動作序列無法構建出非確定問題決策樹的真實形式。那這具體會帶來什么問題呢？

4、非確定性決策如何反常識（2）

考慮這樣一個例子。在雙車道的高速公路上，自車以80km/h的速度飛馳。但前方出現了一個50km/h的慢車，左前方更遠處還有一個30km/h的慢車。

預測模塊告知左前車有50%的可能即將變道。我們需要在此時規劃最優的策略，從而避免本車被慢車阻擋。如果我們套用確定動作序列的求解方法，我們會發現我們只有3種可選的方案。

將3種方案套用到搜索樹上，即可得到各個方案的收益：方案1是直接減速跟隨50km/h的前車，損失為-5；方案2、3為往左變道然后保持車道或者再往右變道，各自有50%的概率被慢車阻擋，期望損失為-7.5。

此時如果我們對比三個方案，發現方案一損失最小，故而應該是最優的方案。但實際上真的是這樣的嗎？

如果我們采用右圖中的策略：先往左變道；如果前車保持車道，則自車再往右變道；如果前車往右變道，則自車保持車道。按此策略，我們100%可以避免被慢車阻擋，從而損失為0，故這才是最優策略。

出現這樣的差異，原因在于確定動作序列求解法無法考慮自車可以在未來根據當時狀況確定最優策略，因而認為如果向左變道，自車會有50%的概率被慢車阻擋，最后自然保守地選擇了跟隨前車。

我們生活中有時也會犯這樣的錯誤。我們規劃人生時，要么不考慮未知情況，當意外發生時則毫無準備；要么考慮了各種意外，但認為無論采用何種方案都會有遭遇意外的風險，從而變得畏首畏尾。

如果我們在考慮未來的各種可能時，能夠規劃將來不同情況下各自的應對策略，則可以做出更為準確的抉擇。

5、自動駕駛有哪些非確定性決策問題

自動駕駛中的不確定性決策主要有兩類問題。一種是宏觀問題，其考慮的動作都是宏觀的語義動作，而狀態轉移則是該動作完整執行之后的結果。

這樣構建方便規劃到更長遠的情況，從而避免局部最優，適合于一些長周期宏觀問題，比如規避擁堵等。這種構建方式得到的搜索樹簡單，求解方便。難點在于如何對狀態轉移進行準確估計。

另一種是微觀問題，其動作action是系統動力學輸入，如加速度。而狀態轉移則是系統動力學模型。此類問題能精細地考慮短周期內的敏感問題，比如他車行為預測不確定時自車的避障策略。此類問題建模簡單，但決策樹較復雜，求解實時性是主要難點。

不確定性決策是一個非常廣非常深的學科，無論是其建模還是求解都很多值得鉆研的知識。因此這次分享的主要目的不是做一個綜述，而是介紹非確定性決策和我們常識中的決策有何種不同，以及如果盲目套用傳統決策方法會帶來什么問題。這樣我們在今后的工程實踐中能夠更好地選擇解決非確定性決策問題的方法。

審核編輯：劉清