隨著自動駕駛技術的加速發展與應用落地，如何檢驗和驗證自動駕駛車輛及系統的可靠性變得至關重要。自動駕駛系統存在的風險可以通過該系統發生事故即失效的概率衡量，因此，驗證自動駕駛系統失效的概率是否低至可以接受水平是自動駕駛驗證的一個重要目標。為了驗證或估計這個極低的概率，需要高昂的時間及安全成本完成實車路測——根據相關分析，為了得到失效概率的一個可靠置信區間（95%置信度，相對誤差20%）需要超過五千萬英里的道路測試。故高成本效益的仿真模擬測試成為驗證自動駕駛系統可靠性的重要手段。

本文簡要闡述和分析蒙特卡羅方法面對小概率事件時的困難，如何通過可靠性分析算法估計自動駕駛系統在邏輯場景中的失效概率，并將基于場景的測試結果轉化為整體失效概率。

01. 可靠性的定義

可靠性定義為被測試車輛或系統在某場景中不會失效的概率，即??。此處的失效是指被測試自動駕駛車輛及算法在一個具體場景中某項評價指標（kpi）小于閾值，即??，其中??為該具體場景的參數值向量，??和??分別是評價指標函數向量和對應的閾值向量。為了便于說明，本文選取單kpi，多kpi的失效域可視為多個單kpi失效域的并集。

在此假設下，被測試自動駕駛車輛及算法在任意邏輯場景中失效的概率可定義為：

其中??是該邏輯場景中參數，??為這些參數的分布函數。

若邏輯場景??在??公里的平均出現頻率為??，則根據貝葉斯定理此被測試車輛或算法在??公里上的平均失效率為：

而車輛在??公里（或時間）上出現失效的次數一般被認為服從泊松分布，則?

通過仿真模擬，估計被測試車輛或算法在各邏輯場景中的失效概率??，則該車輛平均在??公里上發生失效的概率可以估計為： ??。

故如何構建估計量??，正確穩定地估計被測試車輛或算法在各邏輯場景，即參數空間中的失效概率成為一個核心問題。

02. 估計量的好壞

在成本相同即采樣數量相同的情況下，一個估計量??對真值??估計的好壞主要考慮準確性（accuracy）和精確性（precision）兩個方面。

準確性衡量估計量是否能正確估計出被估計的真值，而精確性衡量估計量的散布范圍。例如下圖中，準確性描述彈孔是否以把心為中心，精確性描述單孔的散布范圍，故①為精確而不準確，②為既不精確亦不準確，③為準確但不精確，④為即準確又精確。

圖1 準確性與精確性

衡量準確性的指標主要有偏差??及相對偏差??；衡量精確性的指標主要為標準差??及相對誤差（變差系數）??。 ? 當??時我們稱??為??的無偏估計；若??隨著樣本數量的增加趨近于0，則??為??的漸進無偏估計。僅當??的偏差較小時，討論其精確性才有實際意義。

03. 樸素蒙特卡洛方法

對失效概率最簡單的估計方式即樸素蒙特卡洛方法（CMC）。在測試空間中隨機生成??個獨立同分布的樣本（場景），即??,…,??，其上車輛的表現函數為??。

即??為真值的無偏估計，同時其估計精準性不受測試空間維度影響，有著非常好的魯棒性。當??趨近無窮時??依概率/分布收斂到的??的真值，其收斂性可由中心極限定理保證，即： ??。 ??的相對誤差/變差系數為： ??。 通過上面的分析，我們無需擔心??的準確性（其為無偏估計量）。其精確性即??由樣本數??控制，并依的速度收斂。

04. 蒙特卡洛的困難

雖然傳統蒙特卡洛方法有種種優勢，但是當失效是小概率事件，正如現實情況中自動駕駛車輛及系統失效概率很低時，上述估計??的方法會陷入困難。

例如當自動駕駛系統或車輛在某測試空間中的失效概率為??，為了得到較好的精確性，例如要求相對誤差??，則需要測試的具體場景個數約為??，太多了！

因此，無法通過樸素蒙特卡羅的方法泛化并驗證一個成熟的自動駕駛車輛或算法！雖然通過拉丁超立方或擬蒙特卡洛采樣可以一定程度的節約成本，但即使??個測試場景依然是無法接受的。

05. 可靠性分析算法

根據上面的表達式可以看出，蒙特卡洛的困難的原因主要在于當失效概率很小時??的分母??過小。考慮??表示在??個隨機場景中失效場景的平均個數，故一個自然的思路即通過增加采樣中的失效場景個數來克服上面的困難，即應用一個更容易采集到失效場景的提議分布函數??來代替原始分布函數??進行采用，再通過下面的等式估計失效概率

其中??和??分別表示該邏輯場景中參數的原始分布及提議分布對應的密度函數。

賽目在測試空間分析工具中提供了基于此思想的自適應重要性采樣、自適應splitting方法以及方向采樣等可靠性分析算法，自動在測試空間中尋找失效臨界，實現以可以接受的成本精確估計失效概率??。

圖2?可靠性分析操作界面

為了說明可靠性分析算法的效率，下面的例子中我們選取了了一個顯式的評價函數。

測試空間：??獨立且服從標準正態分布；

評價函數：??；

閾值：T分別取2、3、4、5。

下表列出對比了我們提供的自適應重要性采樣與樸素蒙特卡羅方法在效率上的差異。

通過此例中的數據可以清晰看出，適合的可靠性分析算法可以準確估計失敗概率（使用的自適應重要性采樣實際為無偏估計），同時可以極大提升估計失效概率的效率，尤其時當失效概率較小時。例如次例中失敗概率在??至??數量級時，同等精度下蒙特卡羅方法需要的仿真次數為十萬至千萬級，而實驗中使用的可靠性分析算法只需要數千次仿真。并行仿真下，高效的可靠性分析算法可以大幅縮減時間成本，完成對自動駕駛車輛在多個邏輯場景中失效概率的準確估計。

編輯：黃飛

?