1.通過vision+lidar求取3D車道線

1.1 lidar檢測車道線原理

一般來說lidar點包含四個維度的信息，xyz坐標和intensity，其中intensity表征著障礙物表面對激光的反射率。車道線一般是使用具有高反射率特性的涂料繪制的，車道線區域lidar點intensity相對其他地面區域要高，如下圖所示。其中地面區域都是低intensity點（綠色），車道線、curb和地面標識都是高intensity點（紅色和白色）。利用深度學習或者傳統方法可以很容易提取lidar車道線。

圖1 lidar點云BEV視圖，其中紅色和白色為高反射率點，綠色為低反射率點 另一方面，從圖1我們也可以發現，由于lidar點云在遠處是稀疏的，lidar車道線的有效范圍較短。總結起來，利用lidar可以獲取范圍較短但是定位精度較高的3D車道線。現在業內流行在BEV視角下提取lidar、vision特征，以便于后續的融合，我們也使用BEV的方法提取車道線。

1.2 來自圖像拼接的啟發

上文中我們提到使用lidar可以獲取較短范圍（40m以內），BEV視角下的高精度車道線，但是40的長度顯然不太能滿足控車需求。vision 2D車道線檢測距離遠，2D精度高，但是很難獲取高精度的3D車道線信息。本文探討一下如何使用vision高精度的2D信息和lidar距離受限的3D信息實現遠距離的BEV車道線感知。

使用lidar獲取BEV車道線后，可以獲得一個稀疏的BEV圖，用來表征車道線的位置，如圖2所示。按（RentyZhu：自動駕駛系列3：一種簡單的視覺3D車道線感知方法）提到的坐標系構建方法建立地面系。BEV視圖可以等效為一個相機在距離地平面一米高度處俯視地平面，其投影方程為：

相機的光軸基本與地面平行，相機2D車道線成像和BEV視圖可以視為在兩個不同的視角下車道線的成像。如果我們能類比圖像拼接的方法，將相機視圖“拼接”到BEV視圖下，理論上可以實現較好的3D車道線檢測。

我們調研了一些圖像拼接方法，其中 計算機視覺life：計算機視覺方向簡介 | 圖像拼接 一文中介紹了經典的圖像拼接框架。典型的圖像拼接可以分解為以下四步：

其中特征提取已經完成，即vision和lidar車道線檢測結果；特征匹配即vision 2D車道線和lidar 3D車道線的匹配；視覺SLAM相關博文中介紹了很多基于特征點匹配的單應性矩陣計算方法，在本方法中不再適用。本方法使用線對線的匹配對求取單應性矩陣，具體方法在后續博文展開。在求取單應性矩陣H后，我們將視覺2D檢測結果warp到BEV視角下，再和lidar BEV車道線做簡單的加權擬合，即可完成3D車道線的感知。

1.3 結果

實驗結果如下圖所示，粉色為lidar車道線，距離較短。黃色為真值，紅色為利用我們的方法求取的車道線。從結果看本方法在保證3D檢測精度的情況下大大提升了車道線的感知距離。

圖2 車道線BEV視圖 粉色：lidar檢測結果 黃色：真值 紅色：本方法結果

2.BEVFusion

在上一篇博客（RentyZhu：自動駕駛系列3：一種視覺3D車道線感知&&地面重構方法）中提到了視覺可以無監督重構地面：

編輯：黃飛

?