作者：K.Fire

為了解決外參逐漸漂移的問題，提出了一種基于線的方法，可以在真實場景中實現激光雷達和相機的自動在線外參標定。首先，從點云和圖像中提取和過濾線特征。然后，利用自適應優化方法提供精確的外部參數。然后在KITTI基準上用地面真值對其進行了評估。實驗驗證了標定方法的準確性。在數百幀的在線實驗中，本文提出的方法自動校正了誤標定誤差，達到了0.2度的精度，驗證了它在各種場景下的適用性。

1 引言

本文提出的目的：

傳統的手動校準方法需要專門設計對象，如標定板或手動選擇點，這導致校準過程繁瑣。

長時間的運行和不同的載荷會導致外部參數的輕微漂移和累計誤差，因此需要自動在線標定對其進行調整。

本文主要貢獻：

提出了一種能在線自動估計六自由度(6-DOF)參數的外參標定方法。該方法利用一般的直線特征減少了傳感器之間的漂移誤差，不需要人工選擇點和特殊目標，因此能夠適用于任何給定的場景。

提出了一種點云線提取方法，利用點云處理方法過濾噪聲數據，準確提取線特征。

引入自適應優化方法和結果置信度估計方法，實現了向正確方向優化和高效計算標定結果。

2 算法概述

提出的方法分為三個步驟：

在圖像和點云的特征提取之前進行一系列的預處理

從圖像和點云中提取線特征，通過特征濾波進行細化

最后，通過對初始外部參數添加小擾動，將點云線特征投影到像素幀上，并對每個擾動的得分進行計算和優化

本文的算法框架如下：

3 算法框架

3.1 問題表述

激光雷達與相機的外參標定問題在于確定兩者之間正確的變換矩陣。將問題定義為求旋轉角向量θ=(θx;θy;θz)，平移向量t=(tx,ty,tz)；點云記為，圖像記為，表示點I和像素ij在第t幀的值。通過將LiDAR點投影到圖像上計算成本分數，目標函數定義為:

其中每個LiDAR點分別迭代水平特征和垂直特征。系數α對水平和垂直線特征賦予不同的權重。本文將α賦值為0.65，以增強對水平誤差的約束。另外，w是滑動窗口的大小?？紤]之前的w幀，計算第t幀的分數。

通俗的說就是：將激光雷達點檢測到的水平線特征和豎直線特征分別通過轉換矩陣T，變換到相機坐標系中，然后投影到圖像上，然后通過一個在圖像上的滑動窗口計算得分。

3.2 圖像處理

在圖像處理中，首先將RGB圖像轉換為灰度圖像；然后通過[1]中的線特征提取算法進行線特征提??；然后對灰度圖像進行距離變換。

下圖展示了這個過程。

圖(b)中的白色邊緣和圖(c)中的白色線條分別代表聚類的邊緣特征和線特征。如圖(b)所示，應用距離變換模型后，聚類后的邊緣特征更加無序。相反，圖(c)中的線特征組織得更好，產生的灰度變化更小。它可以允許更大的搜索步長，從而防止優化過程進入局部解決方案。

白色像素表示提取的特征，灰度變化表示到邊緣或線特征的距離。像素越白，越接近這些線特征的中心

3.3 雷達處理

在激光雷達處理中，其原理是利用距離不連續性來獲得更多的邊線特征。為了實現這一目標，采用局部映射的方法，將三幀點云合并為一幀，使一幀能呈現更多的點。具體來說，利用NDT方法計算當前幀和前兩幀之間的變換矩陣。

在單幀和三合一幀中提取的邊界線點對比如下圖所示。圖(a)顯示了通過將三幀點云轉換為一幀點云得到的更密集的點云，與圖(b)中的另一幀點云相比，可以顯示更多的點。這可以提高提取性能，特別是在應用低光束激光雷達時。

然后將更密集的點云轉換成圖像，每個像素存儲對應雷達點的距離信息。通過比較當前點與相鄰點之間的距離，消除離相鄰點太遠的離群點，提取出更精確的線特征。需要注意的是，本文考慮了多個激光束之間的距離信息。這使得可以提取水平特征，從而使用線特征最小化水平和垂直誤差。水平線特征和垂直線特征分別存儲在兩個不同的點云中。在此設置中，忽略了很少出現的平面相交線特征，有利于提高計算效率。

3.4 特征過濾

在上面的處理之后，得到了無序的線特征。下面采用兩步過濾方法來消除異常值。

第一步：由于點云已經轉換成圖像形式，因此設計了一個卷積核來過濾掉距離所有八個相鄰點超過一定閾值的點。這種過濾方法可以去除所有的異常點以及與地面對應的點。剩余的特征可以被識別為線特征。

過濾前后的線特征如下圖所示。

第二步：使用聚類算法去除相鄰點很少的線特征，剔除短于8像素的線特征。

以上兩個過濾步驟可以提供更有條理的點云線特征，保證后續步驟的優化效果更好

3.5 自適應優化

在優化之前，已經將LiDAR線特征提取到圖像上，并計算投影到灰色區域的LiDAR點的比例。

為了準確地找到解，采用了兩個搜索步驟。

首先，為了防止搜索陷入局部解，采用圖像線特征寬、灰度變化小、步長相對較大的粗糙搜索，可以快速發現可能包含最佳解的區域。

然后，應用更細的圖像線特征和更大的灰度變化，以及更小的步長，以獲得更精確的校準結果。

當激光雷達點投射到灰色區域的比例超過一定閾值時，就會發生這兩步大小和灰度變化之間的切換。

為了提高計算效率，提出了一種自適應優化方法，使優化向著正確的方向進行。

將當前像素得分與相鄰的728個得分進行比較。在此過程中，如果搜索程序發現得分較高的參數，則停止當前搜索過程，并在得分較高的位置開始新的搜索過程。此外，當達到設定的迭代次數或找到最佳分數時，該搜索過程將停止，從而可以提高計算效率。另外，還使用滑動窗口來設置優化過程中需要考慮的幀。在本文中，為了防止從錯誤的方向進行優化搜索或陷入局部最優解，使用了三幀。因此，最終優化的外部參數應該在滑動窗口的所有幀中都超過其他參數。

4 實驗與結果

在KITTI數據集的不同場景下進行了兩次實驗。

4.1 精度分析

圖(a)和(b)給出了實驗一的結果，圖(c)和(d)給出了實驗二的結果。在這兩個實驗中，在X、Y、Z軸上增加了1度的旋轉偏置，并對地面真值參數增加了0.05米的變換偏置。然后，每10幀添加0.5度的旋轉偏差。需要指出的是，1度旋轉偏置是正還是負是隨機的。實驗將標定誤差與地面真實值進行了比較。此外，還測試了檢測誤校準的能力和糾正偏差的速度。

在不計算人為誤差的情況下，橫搖、俯仰、偏航的最大誤差始終在0.5度以內。由于激光雷達具有較高的水平分辨率，偏航的校準結果最為精確。盡管激光雷達在垂直方向上的分辨率要低得多，并且該方向上的3D特征呈現頻率較低，但由于采用了自適應優化算法，并且該方向的權重較高，因此所提出方法仍然可以達到較高的精度。總體而言，在所有維度上的平均旋轉誤差為0.12度，低于大多數離線校準技術。

4.2 糾錯速度分析

在上圖(a)和(b)中，黑色箭頭1、2、3和4指向添加偏差的框架。對于箭頭1和3提出的方法立即糾正了偏差，而沒有顯示置信度下降，而對于黑色箭頭2和4，紅色部分在兩幀內變為綠色(圖(a))，這意味著偏差在兩幀內得到了糾正。實驗二也出現了同樣的情況(圖(c)和(d))。這里也推薦「3D視覺工坊」新課程《如何學習相機模型與標定？（代碼+實戰）》。

5 總結

本文提出了一種在線自動標定激光雷達和相機外部參數的方法。與以前的自動化方法不同，這種新的校準方法不需要在場景中放置標記。作者證明了點云和圖像的線特征是校正校準偏差的魯棒特征。人為添加的偏置可以在一到兩幀內得到糾正，比其他方法更快。此外，文中還說明了當前校準結果的置信度可以計算，并進一步用于提高計算效率和精度。

未來的工作希望評估提取的線特征的準確性，以減少特征較少的場景中的校準偏差。利用蒙特卡羅方法可以提供初始參數。

6 參考文獻

[1]R. G. Von Gioi, J. Jakubowicz, J.-M. Morel, and G. Randall, “Lsd: aline segment detector,” Image Processing On Line, vol. 2, pp. 35–55, 2012.

編輯：黃飛

?