自動駕駛正成為影響未來行業的關鍵技術，車載傳感器是自動駕駛系統中感知外部世界的關鍵，它們就像車輛的“眼耳口鼻”，幫助車輛感知外部世界，聽覺視覺等缺一不可，這幾種感知的協作性能也直接決定自動駕駛車輛的安全性。

今天我們就來一起聊聊，自動駕駛中的“眼耳口鼻”共用——多傳感器融合是怎么一回事。

常見的車載傳感器有哪些？

目前業界主要使用三種傳感器，包括攝像頭、激光雷達、毫米波雷達。各種傳感器各有優缺點，因此在自動駕駛系統中通常有不同的任務劃分。

攝像頭可以獲取光學圖像，并從一定角度準確記錄物體的顏色、紋理、色彩分布等信息。因此，一些研究使用攝像頭完成目標識別和目標跟蹤任務，包括道路檢測、行人和車輛識別以及局部路徑規劃。為了克服攝像頭可測量角度范圍窄的問題，在實際應用中，自動駕駛系統通常采用多臺攝像頭對周圍環境進行全方位監控。

毫米波雷達通過脈沖壓縮測量物體的距離，并通過多普勒頻移測量物體的速度，這在障礙物檢測、行人識別和車輛識別中有廣泛的應用。

激光雷達的主要應用包括定位、障礙物檢測和環境重建。由于三維（3D）數據與二維數據相比具有一定的信息表示優勢，它可以最大限度地恢復真實環境中的交通條件。結合毫米波雷達目標的動態特性、激光雷達的變化優勢以及光學圖像中目標的細節，利用綜合信息有助于車輛執行各種任務，如意圖分析、運動規劃和自動駕駛。

為什么一定要多傳感器融合呢？

使用多傳感器融合技術的主要原因是為了揚長避短、冗余設計，提高整車安全系數。多傳感器融合系統所實現的功能要遠超這些獨立系統能夠實現的功能總和，相當于1+1>2。使用不同的傳感器種類可以在某一種傳感器全都出現故障的環境條件下，額外提供一定冗余度。這種錯誤或故障可能是由自然原因（例如，濃霧天氣）或是人為現象（例如，對攝像頭或雷達的電子干擾或人為干擾）導致。各傳感器優缺點如下：

多傳感器融合的挑戰

目前市面上大多數自動駕駛的方案均包含攝像頭、激光雷達和毫米波雷達，使用同一個系統來采集并處理數據，我們需要對這些傳感器統一坐標系和時鐘，目的就是為了實現三同一不同：即在同一時刻，同一地理坐標，同一目標出現在不同類別的傳感器中。

想必看到這里，聰明的你能意識到，這也不是一件容易的事情，想要達到三同一不同，就要克服不少挑戰。

挑戰1：統一時鐘

在這里要做的就是同步不同傳感器的時間戳，本次我們主要介紹兩種方法。

GPS時間戳的時間同步方法：該種方法中，傳感器硬件需支持GPS時間戳，如果支持，則傳感器輸出的數據包會有全局的時間戳，這些時間戳以GPS為基準，那么就相當于不同的傳感器均以GPS為基準，等同于使用了相同的時鐘，而非傳感器各自的時鐘了。

另外一種方法叫硬同步方法：這種方法可以減小查找時間戳造成的誤差。該方法可以以激光雷達作為觸發源，輸出給其它傳感器，當激光雷達轉到某個角度時，才觸發該角度的攝像頭，這可以大大減少時間差的問題。這套時間同步方案可以做到硬件中，這樣可以大大降低同步誤差，提高數據同步效果。

挑戰2：統一坐標系

統一坐標系有兩步，一是運動補償，二是傳感器標定。由于所有的傳感器都裝在車上，車是運動的剛體。因此傳感器在采集數據時，周期開始的時間點和結束時間點車輛是處于不同位置的，導致不同時刻采集的數據所處坐標系不同，因此需要根據車體的運動對傳感器采集的數據進行運動補償。

傳感器標定分為內參標定和外參標定，內參標定，解決的是單獨的每個傳感器與世界坐標系間的變換；外參標定是在世界坐標系下，解決的不同傳感器間的變換。傳感器外參校準依賴于傳感器的精確內參校準。

挑戰3：融合方法

經過以上幾步，可以拿到的信息有：做好運動補償及時間同步的傳感器源數據、傳感器內參、傳感器外參，有了這些信息后，我們可以做相應的融合方法了。到底如何做呢？下面舉兩個例子：

攝像頭和激光雷達融合：激光雷達數據是包含了明確的(x，y，z)數據的3D觀測，通過標定參數與攝像頭本身的內參，多傳感器深度融合可以實現把3D點投到圖像上，圖像上的某些像素也就打上了深度信息，幫助感知系統進行基于圖像的分割或者訓練深度學習模型。

毫米波雷達和激光雷達融合：毫米波雷達和激光雷達的融合方式比較簡單。在笛卡爾坐標系下，它們擁有完整的( x，y )方向的信息。因此在笛卡爾坐標系下，激光雷達和毫米波雷達可以實現基于距離的融合。另外，毫米波雷達還可以探測到障礙物速度，而激光雷達通過位置的追蹤，也會得到對障礙物速度的估計，對這些速度的信息進行融合，更能幫助篩選錯誤的匹配候選集。

從目前國內對于自動駕駛的策略來看，多種傳感器提高安全冗余是普遍采用的路線。那對于多傳感器融合的硬件在環測試也是必要的一環。

講了這么多，你對多傳感器融合是否有了一些了解呢？針對這樣的自動駕駛趨勢，是德科技也在全面布局，不僅針對單個雷達有測試解決方案，對雷達場景模擬以及多傳感器融合方向也在推陳出新，推出ADE(Autonomous Driving Emulation)解決方案以及發布不久的雷達場景模擬器。