俗話說“單絲不成線，獨木不成林”。面對如此復雜的自動駕駛系統，最好的辦法自然是博采眾長，多傳感器融合咯。

1.False Positive & False Negative

這是做多傳感器融合之前必須了解的一個概念。

統計學上的名字叫第一類錯誤和第二類錯誤。當然，這么專業的名字經常搞得人云里霧里。實際上，除了FP和FN之外，還有TP和TN，組成了如下圖所示的四角關系。

醫學上經常會用這個術語來表述檢測結果和實際結果的差別，經典的例子就是你有沒有得腫瘤導致你心情大起大落的故事。

在自動駕駛感知任務中，FP和FN常被描述成如下場景：

FP：傳感器探測到了目標，但實際上沒有這個目標。這樣的目標又被稱作ghost。

FN：傳感器沒有探測到目標，但實際上有這個目標。這樣的情況被稱為漏檢。

對于雙目攝像頭而言，它能感知深度，這原本是個很不錯的能力。但是當雙目攝像頭遇上有強光反射的光滑地面時，強光導致的圖像局部飽和會讓攝像頭的深度測量出現偏差，而誤以為地上有一個洞。

但我們都知道實際上地面上并沒有洞，那這就是一個false positive。

明亮的地面反射導致攝像頭探測到了洞

而這樣的偏差會導致汽車在行駛過程中誤以為前方不能通行，需要繞行避讓或直接剎停，從而產生讓人覺得莫名其妙的“幽靈剎車”。

但是面對同樣的場景，毫米波雷達就不會探測出一個洞來，因為它通過自身發出的電磁波來感知周圍環境而不受光線強弱的影響。

這時候采用傳感器融合，就能夠避免這樣的問題。

2.目標檢測

了解了多傳感器融合的必要性之后，我們來看看多傳感器融合的細分任務。首要的任務便是目標檢測。

對于自動駕駛汽車來說，周圍環境中最多的、出現頻率最高的自然是其他汽車。而目標檢測就是要用一個個小框把他們框起來，從而與周圍環境區別開來。這樣的框我們就稱為bounding box。

Bounding box可以分成二維和三維的，分別對應目標檢測里的二維目標檢測及三維目標檢測方法。

2D bounding box，顧名思義每一個框子都是平面的。好處在于簡單快捷的把一幀圖像或是點云里的目標標識出來。

https://www.analyticsvidhya.com/blog/2018/12/practical-guide-object-detection-yolo-framewor-python/

但是同時缺點也是顯而易見的。第一，由于框子也是二維的是一個平面，我沒法知道這里車的長或者寬；第二，目標的行駛方向也無法體現出來。

這兩點在車輛進行ACC、AEB縱向功能時可能還不明顯，但一旦涉及到車輛橫向控制，需要變道時，缺少這些信息則是致命的。

于是，三維的目標檢測應運而生，并逐漸成為目標檢測的主流。同時，我們也會把目標分類合并在一起做掉，這可以通過神經網絡的多頭設計來完成。因此你會看到目標的框上有一個分類以及分類的置信度。

不同類別的目標有不同的幾何外形，這樣也能方便設計不同大小的框子對應不同類別的目標。

https://paperswithcode.com/task/3d-object-detection

不過3維框也有其局限，我們都知道車輛的外表并非一個完美的長方體，而都用長方體框出就忽略掉了很多外觀上的細節。而這些細節在近距離跟車、加塞變道時會變得特別有用。

3.目標追蹤

目標檢測還只是針對單幀的畫面和數據，但是實際上我們的運動場景是連續的，我們不能只簡簡單單在一張或幾張圖片上成功檢測到物體就足夠，還需要跨幀地確保這些目標聯系起來，即知道這些目標是同一個目標在不同時間戳的表示。這就是目標追蹤。

目標追蹤的常用結構就是依據我們之前講過的卡爾曼濾波結合目標關聯算法。

先預測，再關聯，后更新。九字箴言。

對于不同的目標我們會建立不同的數學模型，例如針對靜止目標，由于速度始終為0不會變化，我們就會用恒定速度（constant velocity）模型來建立運動學模型；而針對運動的目標，尤其是車輛這種還帶有旋轉、拐彎的一般會用勻速圓周運動模型（constant turn rate and velocity）。不同的模型意味著不同的預測結果。

而有了預測值之后，你就能大約猜測出下一個周期目標應該會出現在圖上的什么位置，從而去那個范圍搜尋對應的像素點或者點云，把合適的點與預測的目標位置關聯上。

關聯上后你就獲得了這個時刻的測量值，你就可以用測量去校正之前的預測，從而獲得精確的目標位置。這樣，循環往復，周而復始，你就成功地tracking上了這個目標。

在實際自動駕駛項目中，丟目標和目標跳變是一個很嚴重的問題。這里的“丟目標”指的就是目標追蹤失敗，傳感器沒能跟上目標實際的運動軌跡；“目標跳變”指的就是目標追蹤丟失后又重新跟上。由于這兩者都會導致目標ID變化而導致功能退出，因此都是需要在目標融合時極力避免的。

4.總結

這里主要介紹了傳感器融合（SF）對目標方面的幾類任務，除目標之外，傳感器融合還能做很多其他對環境建模的任務，例如道路特征的描述、占用柵格地圖以及可通行區域表示等等。

編輯：黃飛

?