[首發于智駕最前沿微信公眾號]把自動駕駛想像成一個有眼耳和大腦的司機。感知系統就是它的“眼睛”和“耳朵”，負責把諸如前方有一輛車、左側有個行人過馬路、右邊車道被施工封閉了、紅燈亮了等外界的光、雷達回波、距離、速度這些原始信號變成機器能看懂的“事實”。感知并不是單一模塊的工作，而是一整套從硬件到軟件、從標定到算法、從實時性到冗余設計的組合工程。沒有可靠的感知，后面的預測和規劃就像盲駕，再聰明的決策也可能撞上現實。

如果將感知拆分，可以分為“傳感器”和“算法”兩大塊，但其中還包含時間同步、標定、數據融合、狀態估計，以及在線自檢與降級（當某種傳感器失效時系統如何優雅退化）等內容。

感知系統由哪些核心部分組成

感知系統最主要的就是傳感器，常見的有攝像頭、激光雷達（LiDAR）、毫米波雷達、超聲波以及慣性測量單元（IMU）與車輪里程計等。攝像頭擅長識別如識別交通燈、交通標識和文本信息等顏色和細節，；激光雷達能給出高精度的三維點云，適合檢測物體形狀和測距；毫米波雷達在雨雪霧等能見度差的情況下仍然能穩定測出物體距離和速度；超聲波適合近距離的低速泊車感知；IMU 和里程計則提供車輛自身的運動狀態，幫助把傳感信息放到一致的時間與空間坐標系里。不同傳感器各有長短，在車輛上常常把它們按能力互補地組合起來，形成穩健的感知“傳感網”。

雖然不同傳感器在采集數據時是同一個交通場景，但想要把相機的像素、雷達的回波、LiDAR 的點云放到同一個“地圖”上，必須做精確的時間戳對齊和外參/內參標定。標定包括內參（比如相機的焦距、畸變參數）和外參（不同傳感器之間的相對位置與朝向）。這一步看起來枯燥，但它決定了后續融合的基礎精度，往往直接影響檢測、跟蹤偏差以及定位誤差。

還有就是感知算法鏈路，通常分為感知前處理、檢測與分割、跟蹤與軌跡估計、語義理解與場景解析這幾層。前處理包含去噪、點云下采樣、圖像增強等；檢測與分割負責把原始數據變成“我看見了什么”，檢測框、實例掩碼或語義類別；跟蹤模塊把一幀幀的檢測結果關聯起來，給每個目標一個穩定的ID并估計速度、加速度；語義理解則把這些目標放進更復雜的語境里，比如判斷某個行人是否有橫穿馬路的意向、車道哪兒是可通行區域、哪里可能有臨時障礙物。

自動駕駛系統涉及到多個傳感器，無可避免地就要涉及到傳感器融合。融合的層級可以是像素級、特征級或決策級，也可以是把點云先換成鳥瞰視圖再與相機特征融合的方式。融合要解決如不同傳感器的分辨率差異、視角遮擋、時間延遲、數據頻率不一致等問題。合理的融合策略能顯著提升遠近、靜動目標的探測能力，也更容易滿足冗余與安全要求。

定位與地圖（有時候感知和定位會耦合得很緊）也是感知系統中非常重要的一環。高精地圖或局部地圖能提供車道線、靜態障礙、路緣等先驗，使感知在復雜場景下更穩。當地圖不可用時，感知需要承擔更多的工作，像實時構建占用網格或做視覺里程計（VO）/激光SLAM。這部分對實時性和算力要求都不低。

評估與在線自檢在感知系統中也很重要。評估包括離線的指標（mAP、召回率、F1、跟蹤精度等）和在線健康檢測（傳感器是否有異常、模型是否漂移）。在線自檢非常關鍵，當某個傳感器被雪覆蓋或者相機鏡頭被污漬遮擋時，系統必須能迅速發現并切換到安全策略，提醒乘客接管或降低功能級別。

感知既有大量信號預處理和幾何計算，也有深度學習推理。這要求在車端部署高性能的SoC/GPU/NPU，同時做能耗與實時調度的工程權衡。很多車企選擇把復雜的訓練放到云端，實時推理留在車端，這樣既保證模型不斷進步，又能滿足低時延要求。

感知的工作到底怎么工作？

想象一輛車正沿城市道路行駛。攝像頭拍到的光線先經過鏡頭畸變校正，再被送進卷積網絡做特征提取，網絡會給出類別（車、人、騎行者）、邊界框和像素級分割。同時，LiDAR發回來的點云會做體素化或投影成鳥瞰圖，進入專門的3D檢測網絡，識別立體目標并估計相對高度與尺寸。毫米波雷達則持續輸出距離與徑向速度，在深度學習模型難以可靠判斷物體速度時提供穩健的速度信息。

各感知流的輸出經過時間同步后進入融合模塊。融合模塊會把相機的類別與LiDAR的距離結合，修正目標的三維位姿；再用雷達的速度信息確認該目標是靜止還是移動。接下來是跟蹤器，它根據目標的歷史軌跡進行關聯，用卡爾曼濾波或更復雜的隨機濾波器來平滑位置與速度估計。最終，感知把一幅幀的“我看見了什么、它在哪里、它往哪兒去”交給預測模塊，用于后續規劃與控制。

一個好感知系統不僅要準確地說出“有個行人”，還要給出置信度（這件事有多確定）、近中遠距離不確定性以及對異常情況的提示（比如“相機被強光遮擋”）。這種不確定性表達對安全決策非常關鍵，因為規劃模塊要根據不同置信度采取不同保守策略。

為何感知是自動駕駛里最難的一環？

環境條件的不確定性是自動駕駛汽車需要面對的首要難題。大霧、強逆光、夜間、雨雪都會讓攝像頭性能急劇下降。LiDAR 在大雪時會產生大量假點，雷達在復雜金屬結構附近可能發生多徑干擾。為此需要傳感器冗余和多模態融合，用弱傳感器補強強傳感器的短板，同時在軟件層面做感知信號的質量評估與權重調整。

還有一個就是長尾問題，也就是那些極其罕見但可能致命的場景，可能導致安全事故。數據驅動的模型在常見場景上表現很好，但對極端場景（比如街頭突然出現推車或非標路障）往往沒有足夠訓練樣本。解決辦法包括數據增強、模擬器生成稀有場景、主動學習以便把真實稀有樣本送回訓練鏈路，以及把規則化的幾何檢測與學習方法混合使用，形成不易被數據稀缺拖垮的混合感知體系。

實時性和算力限制也是感知系統設計不得不面對的問題。感知算法要在幾十毫秒甚至更短時間內完成推理和融合，才能保證規劃有足夠的反應時間。這就需要高效的模型壓縮、量化、算子優化，以及把關鍵工作放在低延遲的車端硬件上。同時，系統設計要允許在極端算力或傳感器受限情況下，感知只保留最關鍵的功能（比如只檢測大型移動目標和車道邊界），并將控制權或警示交給駕駛員。

系統可解釋性與安全標準也是必須解決的問題。感知模型往往是復雜的深度網絡，工程團隊要做大量的安全分析，證明在多數可預見的情況下系統會保持安全。行業里常常把功能安全（ISO 26262）與“意外功能安全”（SOTIF, Safety Of The Intended Functionality）放在一起討論，既要預防硬件故障，也要應對模型在合法輸入下的錯誤行為。實踐中會結合冗余傳感、規則檢測器與護欄式規劃策略來降低風險。

人為因素與法規限制也會影響感知設計。不同市場對傳感器（比如LiDAR）接受度不同，法規對可用數據（車外攝像頭捕捉到行人的面部等隱私信息）有嚴格約束。設計團隊要在技術、成本、合規之間找到平衡點。

如何把感知系統設計好？

一個可落地的感知系統里充斥著大量“細節決定成敗”的工作。硬件層面，需要做散熱、抗振動、防水防塵、鏡頭除霧與加熱、防雨刷聯動等物理工程，任何一個小失誤都可能導致夜間或雨天感知失效。標定工作也不是一次性任務；裝車以后溫度變化、車身微小變形都會引起外參漂移，所以要設計自動標定或定期校驗流程。

數據層面的工作量也非常大。標注不僅僅是畫框那么簡單，復雜場景需要標注速度、遮擋等級、可通行性、行為意圖等豐富標簽；數據質量管理包括標簽一致性檢驗、異常樣本篩查、以及對模型失誤的回放分析。這些流程直接決定模型能否在真實世界里長時間穩定運行。

模型上線后，運營團隊要持續做A/B測試、在線評估、以及從車輛回傳的稀有場景中做樣本補充。整個閉環的效率決定了系統迭代的速度和安全性。很多公司把這個閉環稱作“感知數據閉環”，即把實際運行中遇到的問題快速轉為標注樣本、再進入訓練、再回到線上驗證。

在設計感知系統時，和上游公司（傳感器供應商）、下游模塊（預測、規劃、控制）以及法規審查部門的溝通同樣重要。感知不是孤立模塊，接口定義、置信度語義、故障報告方式都需要跨團隊約定好，才能在整車層面做到協調一致。

最后的話

感知聽起來是在做“看圖識物”的事情，但真正的難點在于把物理信號、數學模型、系統工程和安全機制結合起來，形成能在各種真實道路條件下穩定運行的能力。它既包含深度學習等前沿算法，也離不開標定、同步、工程級的健壯實現與運營閉環。