[首發于智駕最前沿微信公眾號]為確保自動駕駛安全，很多技術方案中都會采用感知冗余的方式來兜底，即在車輛上加裝多個傳感器，以實現更多的信息感知。其實對于自動駕駛汽車來說，每個傳感器都有自身的優勢和劣勢，所能應對的交通場景也不一樣。

攝像頭看得清楚，能分辨顏色、識別交通標志和車道線，但遇到夜晚強逆光、霧霾或暴雨就容易丟失信息。毫米波雷達在雨雪或塵霧里還能給出速度和距離信息，但對物體形狀的分辨率比較差，不能很好判斷行人的姿態。激光雷達（LiDAR）能把周圍做成三維點云，距離很精確，對遮擋關系判斷也有優勢，可是成本、封裝和在某些極端天氣下的表現也有局限。IMU、GPS這類慣性/定位設備給出姿態和位置基準，但在城市峽谷或隧道里會漂移。

將這些傳感器放在一起，的確能夠互補各自的短板。但也正因為多個傳感器同時使用，會導致感知信息相互沖突，再加上不同傳感器的時間戳、安裝姿態、采樣頻率不完全一致，這些細微差異累積起來，就會放大沖突本身。如果沒有一套穩健的對齊、過濾和置信度機制，這些矛盾會持續干擾跟蹤和識別，讓系統在關鍵場景里變得猶豫甚至判斷失準。

多個傳感器同時使用的復雜性在哪里？

把多種傳感器放一起會帶來很多細枝末節的麻煩，加一個傳感器，不只是多臺設備那么簡單。它們的差異化特性會在工程、算法和驗證上不斷疊加出新的問題，會使得感知任務變得更為復雜。

想讓多個傳感器感知的信息可以同步，需要將不同傳感器定位到同一個坐標系里，這里的精度要求非常高。哪怕傳感器位置偏幾毫米、姿態偏幾度，融合后的結果就可能把障礙物投錯地方，影響跟蹤和決策。車輛行駛中會震動、溫度變化會引起熱脹冷縮，車體件長期使用后也會微微變形，這些都會讓外參逐步漂移。所以需要在裝配線上做高精度初始標定，還要有在線自標定或定期復標的機制。沒有穩定的外參，任何融合算法都很難發揮作用。

不同傳感器的采樣率、處理延遲、傳輸鏈路也不一樣。如果不把它們在時間上糾正，移動物體在不同數據源里對應的是不同時間的狀態，結合起來的世界模型就會有位移和速度上的錯配。為解決這一問題，在硬件層面可以使用統一時鐘（比如GPS的PPS脈沖、IEEE 1588 PTP）的方式，在軟件層面可以使用插值和時間補償的方法，但這些方案在工程上都要落地調試，否則在真實路況下就容易出問題。

傳感器數據類型本身就是異構的麻煩來源，圖像是二維柵格的像素，點云是稀疏的三維坐標，雷達回波有強度和多普勒信息，慣性計會輸出高頻連續信號。它們的噪聲模型不同，可信度不同，處理方式也不同。在帶寬與計算資源受限的情況下，需要在傳感器端做預處理、壓縮或裁剪，才能把“有用”的東西送到中央計算單元。高分辨率相機和高線數LiDAR一起，會把車載以太網和處理器推到瓶頸，這就涉及到硬件選型、網絡架構與邊緣計算能力的綜合平衡。

多個傳感器同時使用，避免不了要進行傳感器融合，傳感器融合可以發生在不同層級，如把原始數據統一到某種表現形式后一起處理、把各自的特征融合，或者僅在決策層合并單獨感知結果，每種方式對同步、標定和計算的敏感度都不同。現在有很多技術使用基于深度學習的跨模態融合網絡，這些網絡需要大量對齊標注的數據來訓練，還要有對不確定性的建模和置信度輸出，否則當某個傳感器異常時，系統不能安全降級或會作出錯誤判斷。

當使用當傳感器越多，系統架構和功能安全也會變得更復雜。感知模塊、域控制器、中央域控制器之間如何劃分計算負載，哪些路徑要走硬實時（系統某一條處理鏈路必須在規定時間內完成，哪怕只晚了幾十毫秒，都被視為失敗，因為可能帶來安全風險。），哪些可以異步處理，都需要在設計階段定好方案。使用更多的傳感器，也意味著可能出現更多的故障模式，像是傳感器物理損壞、遮擋、數據鏈路中斷、時間戳漂移、外參錯位等，都是常見的故障模式。功能安全規范要求針對不同故障模式做診斷、降級和冗余策略證明，這會把驗證工作量拉得很大。

傳感器使用越多，驗證成本也會呈指數級增長。要覆蓋不同氣象、光照、交通密度、遮擋、傳感器部分失效等組合，單靠實際道路測試會太慢太貴。仿真做得再真實也要和實測結合，否則容易漏掉邊界條件。此時，標注復雜度也上來了，標注點云和圖像的對應關系比單一模態困難得多，成本高且更加耗時。

傳感器的供應鏈不會是唯一的，由于不同廠家的傳感器有不同的接口、不同的固件升級路徑、不同的壽命與質保策略。售后維護想要做到快速診斷和替換、支持遠程日志采集與升級，運營成本也會隨之上升。這些都會影響整車成本、重量、能耗和外觀設計。

多傳感器融合時需要做哪些工作？

知道多個傳感器同時使用會遇到的問題，那如何去解決這些問題？如何更好地利用感知冗余？

其實多個傳感器同時使用是，要先確定好時間與空間基準。時間同步推薦用硬件級時間源去標注幀，軟層層面用插值和延遲補償作為兜底。空間標定可以在生產線上做精細標定，再用在線自標定算法在運行時微調。自標定可基于靜態場景特征、車道線或多模態匹配來估計外參漂移，這是把“人工復標”變成“自動維護”的有效辦法。

把部分計算放在傳感器域或邊緣節點，不僅能降低總線負載，也能盡早做健康檢查。很多系統在傳感器近端先做濾波、背景建模、特征抽取或置信度評估，然后只把必要信息傳給中央單元。這樣可以把傳感器級別的固件更新、診斷日志和基本退化邏輯內置在本域，有助于快速判定問題來源。

為確保感知安全，不確定性建模要貫穿整個感知到決策鏈路。融合模塊應始終以概率或置信度的方式表達信息，讓后續跟蹤和決策模塊能基于不確定性來選擇更保守或更激進的動作。對此常見的手段有卡爾曼濾波類的貝葉斯方法、帶不確定性輸出的神經網絡或多假設跟蹤等。只有把不確定性量化，系統在遇到極端場景時才能優雅降級，而不是盲目做出危險決策。

圖片源自：網絡

為確保感知融合的準確性，分層融合是比較務實的選擇。把傳感器專屬的前端做成各自優化的模塊，保證在擅長的維度上輸出較好結果，然后在特征或決策層再做跨模態融合，這樣不僅能保留模塊化的可驗證性，也能利用互補信息提升精度。模塊化還有一個好處，那就是當某個傳感器故障時，系統能迅速切換到已有的退化路徑。

想要把測試和仿真做成閉環，可采用高保真仿。高保真仿真能覆蓋很多極端條件、退化場景和時間同步異常，這對于在早期發現設計缺陷非常有幫助。仿真中要把各傳感器的噪聲模型和失效模式模擬出來，然后把測試結果回填到算法和硬件要求里。當然，實車測試依然必不可少，但應有策略性地挑選關鍵場景與邊界條件去驗證。自動化測試、持續集成和場景回放則是把驗證成本控制住的主要工具。

當多個傳感器融合出現問題后，退化策略與故障診斷不能只靠事后補救。自動駕駛系統要能在線評估傳感器健康并自動執行安全降級和冗余切換。降級的目標是讓車輛在可控的范圍內繼續運行或安全停靠，而不是完全停止功能。實現這點需要預先設計好在不同傳感器丟失情況下的控制律和限速規則，并把這些邏輯放進安全案例里接受審查。

什么時候才需要多傳感器融合？

很多人以為自動駕駛傳感器越多就越好，但并不是所有技術方案中都必須用多個傳感器。產品定位、目標場景和成本預算決定了感知層的取舍。對于只在限定場景運行的低速無人車、封閉園區或有密集路側基礎設施支持的系統，只用高分辨率攝像頭與高精地圖的搭配就能滿足需求，系統實現會簡單不少，維護和驗證成本也會更低。但對于面向城市復雜交通、高速長途和夜間惡劣天氣的高級別自動駕駛，單一模態通常無法兼顧魯棒性和冗余，這時多模態的使用會更有意義，也更符合監管和安全的期望。

對于不同定位的產品，所需使用的傳感器要求也不一樣。入門版本可減少硬件，以降低總成本；而旗艦或面向更高自動化能力的版本可使用更完善的傳感器組合。如果軟件能力夠強，也可以使用更少的硬件，以把整體成本壓下來。

當然，決策不能只是看傳感器硬件的價格。還要把集成復雜度、軟件研發成本、驗證與合規成本、售后運維費用都算進去。有時候多一臺昂貴傳感器能大幅降低算法和驗證難度，從總成本看是劃算的；有時候硬件替代方案在長期運營里更有優勢。把這些因素量化、做場景驅動的ROI分析，是決定是否要上多傳感器的考量因素。

最后的話

多傳感器之所以在自動駕駛里越來越常見，是因為它們能把彼此的優缺點補起來，讓車輛在夜間、雨雪、逆光、遮擋這些單一傳感器最容易掉鏈子的場景里依然保持穩定性和可靠性；但這種互補帶來的代價，就是系統從硬件安裝、時間同步、外參標定，到數據融合、實時性保障、故障診斷、驗證流程等都變得更復雜，因此要付出更多的時間和成本才能把這些優勢真正落地。

審核編輯 黃宇