[首發于智駕最前沿微信公眾號]在談及自動駕駛感知系統時，經常會看到一個專業詞匯，那便是“點云”。作為連接物理現實與數字世界的橋梁，它賦予機器一種超越人類視覺的深度感知能力，讓車輛得以精確地“理解”自身在環境中的位置與周遭物體的真實形態。今天智駕最前沿就帶大家深度了解下“點云”的含義。

什么是點云？

點云，簡單來說，就是用數字記錄三維空間中每個點的位置。在空間坐標中，每個點都可以用x、y、z三個坐標值表示，有些還會附帶反射強度或時間戳等信息。把一個場景中所有這樣的點集合在一起，就形成了點云。

激光雷達點云圖（右側），圖片源自：網絡

如上圖所示，就是激光雷達生成的點云圖，里面是由無數個小點“勾勒”出的街道、路口及車輛的輪廓，這些點能還原物體的形狀、距離和空間關系，從而讓自動駕駛汽車獲得更多的交通信息。與照片的像素網格不同，點云是稀疏或密集分布在三維空間中的獨立點集合，它能直接表達三維結構，比二維圖像更直觀地反映物體在空間中的實際位置。

哪些傳感器會產生點云

在自動駕駛中，多個傳感器可以生成點云數據。激光雷達作為最核心的采集設備，通過發射激光束并精確測量其返回時間來計算距離，結合精密的掃描控制，能實時生成富含三維坐標和反射強度信息的密集點云。

立體視覺系統則模仿人類雙眼視差原理，利用多攝像頭從不同角度拍攝同一場景，通過計算像素位置差異來推算深度，最終將二維圖像轉換為三維點云。這種方法在紋理豐富區域效果良好，但在特征缺失的平坦區域或遠距離場景中精度會明顯下降。

基于飛行時間深度相機可以通過直接測量光脈沖的往返時間為每個像素計算深度值，也能快速生成點云，但其有效感知距離較短，多用于近場環境感知。

毫米波雷達則通過分析無線電波反射來探測目標，提供距離、速度及角度信息，雖然生成的數據點稀疏且角度分辨率有限，卻在惡劣天氣下表現穩定，常被用作特殊的“稀疏點云”參與目標跟蹤和融合感知。

這些傳感器因工作原理各異，所生成的點云在密度、噪聲水平和信息維度上存在顯著差異，這會直接影響它們在系統中的具體應用場景及后續的數據處理策略。

點云能做什么

既然這么多傳感器都可以生成點云，那點云到底能給自動駕駛做點啥？對于自動駕駛汽車來說，點云最主要的作用就是三維感知。與二維圖像相比，點云能直接提供物體的距離、高度和大致形狀，這對于判斷障礙物、識別路緣、檢測行人和車輛姿態至關重要。點云常用于目標檢測與跟蹤，算法直接在三維空間中輸出三維邊界框，能更精確地估計距離和尺寸，從而提高定位和避障決策的可靠性。

點云還有一個作用就是建圖與定位，通過對齊連續幀的點云（即點云配準），車輛可以在沒有高精地圖或GPS信號受干擾時，實現基于點云的定位（例如通過掃描匹配或基于特征的定位），這是很多自動駕駛系統的冗余定位方案。

圖片源自：網絡

點云還為自動駕駛系統提供了深層次的環境理解能力。通過對點云進行語義分割，系統能夠精確區分道路、隔離帶、路燈和人行道等關鍵交通要素，這不僅實現了對場景的結構化理解，更為路徑規劃提供了重要的語義約束，確保車輛行為符合交通規則和場景特性。

除此之外，點云還為規劃與控制模塊提供可靠的三維幾何信息，與依賴二維投影的方案相比，點云直接呈現了空間的高程變化和幾何特征，使車輛能夠準確感知坡度、路緣高度等關鍵參數，借助這些數據，在路徑規劃時可以充分考慮實際地形因素，顯著提升了決策的準確性和安全性。

點云處理的常見流程與算法要點

點云數據在生成后并不是直接就能使用的，從原始點云到可用的三維感知結果，需要經過一系列處理步驟。第一步是要進行預處理，預處理階段先要進行噪聲過濾，消除因空氣中的塵埃、雨霧或傳感器自身誤差造成的異常數據點，確保基礎數據的純凈度。然后就是要實施數據精簡，通過體素下采樣方法在保留場景主要幾何特征的前提下，降低數據總量，提升后續處理效率。預處理的最后一個步驟是要完成坐標統一，將來自不同傳感器的點云數據經過時間同步和坐標變換，全部轉換到統一的車輛或世界坐標系中，為后續的障礙物檢測、環境感知等高級處理任務奠定基礎。

預處理完整后要做的是進行地面分割和地平面擬合，將道路表面剔除或標記出來，便于分離出行人、車輛等非地面物體。分割之后是聚類與候選生成，通過歐氏聚類或基于語義的分割提取單個物體的點集，再為每個聚類擬合三維邊界框。

對于點云數據的處理，有兩種常見路線，一種是以PointNet/PointNet++為代表的點基方法，直接對原始點云數據進行特征學習，充分保留了每個點的三維坐標信息；還有一種是將不規則的點云轉換為規整的體素網格或鳥瞰圖等結構化表示，再利用成熟的卷積神經網絡進行特征提取。這兩種方案各有優勢，點基方法精度更高，而網格化方法計算效率更優。

在獲得檢測結果后，系統需要通過目標跟蹤技術將不同時刻檢測到的物體關聯起來，形成連續的運動軌跡。這一過程可采用卡爾曼濾波等算法，通過建立運動模型來預測和更新目標位置。同時，為了融合多幀點云數據或不同傳感器的點云，還需要進行點云配準操作。常用的配準方法有迭代最近點算法和基于特征的匹配方法，這些技術能夠有效解決點云之間的空間對齊問題。

點云的局限與挑戰

雖然點云可以提供直接的三維信息，但它也存在一些局限。點云密度會隨距離、角度和傳感器分辨率快速下降，遠處和低反射率區域點云稀少，就會導致遠距離小目標檢測性能下降。

圖片源自：網絡

像是在雨、雪、霧、塵埃等異常天氣下，還會產生虛假回波或吸收激光，降低LiDAR的有效點數；同樣，立體視覺在低光照或反光表面上的深度估計效果也會變差。不同材料對激光的反射率差異也很大，某些暗色或吸光材料幾乎不產生回波。

此外，點云數據量大、計算密集，實時處理需要高效算法和專用硬件加速（如GPU、稀疏卷積加速器等）。點云的標注也比圖像更耗時費力，三維標注工具和一致性要求更復雜，這將影響訓練數據的規模。

若不同傳感器之間的時間同步與空間標定存在誤差，更會直接導致點云數據在融合時產生系統性偏差。在時間維度上，即便是毫秒級的時間差，也會因為車輛和物體的快速運動，導致同一目標在不同傳感器中的空間位置無法精確對應；在空間維度上，外參標定的微小角度誤差會隨著距離增加而放大，使來自激光雷達、相機等不同傳感器的數據在空間上無法嚴絲合縫地對齊。

最后的話

點云的作用就是將三維空間中的幾何信息直接提供給自動駕駛系統，讓車輛能夠感知距離、形狀和空間關系，這是自動駕駛不可或缺的感知基礎。但點云存在稀疏性、對天氣敏感、依賴材料反射率等局限。因此，想讓自動駕駛系統獲得更好地感知效果，并不能僅依賴點云，而是要將其與相機、雷達等傳感器信息相結合，通過合適的表示方式和高效算法，充分發揮點云的優勢，同時用其他傳感器彌補其短板。


審核編輯 黃宇