作者機構：華中科技大學人工智能研究所

本文介紹了SDV-LOAM，一種融合相機和 LiDAR 信息的系統，用于實現準確、強大的姿態估計和建圖。現有方法使用特征或直接方法作為視覺模塊，無法很好地處理視覺模塊中稀疏特征建立造成的誤差。作者的動機是結合兩種方法的優勢來實現準確的姿態估計。本文提出的研究方法SDV-LOAM 包括，半直接視覺里程計模塊和自適應掃描LiDAR里程計模塊，提出一種新型的點特征提取和匹配方法來傳播點和減少幀間的尺度差異。SDV-LOAM在KITTI訓練集上的性能排名第八，比現有大多數的LiDAR和視覺-LiDAR系統都要好，可以在大型環境中實現高精度和輸出頻率。

1 背景

本文介紹了一種基于相機和激光雷達的視覺里程計和建圖系統。傳統的基于特征、直接和半直接方法的視覺里程計/SLAM系統，以及各種基于LiDAR的里程計方法無法很好地處理視覺模塊中稀疏特征建立造成的誤差。視覺里程計具有很高的姿勢估計輸出頻率，但是在圖像數據中存在大量噪聲的情況下，其精度可能會顯著降低，并且獲得的地圖通常很稀疏。激光雷達里程計依靠激光雷達點中包含的幾何信息進行跟蹤，并不斷更新具有豐富幾何結構的點云地圖。本文提出一種適用于大規模環境的視覺-LiDAR里程計和建圖系統，能夠綜合利用兩個傳感器的信息，實現高效、高精度的姿態估計與實時建圖。系統架構如下圖所示

SDV-LOAM包括兩個主要模塊：半直接深度增強視覺里程計和LiDAR里程計。視覺模塊和LiDAR模塊由掃描重建塊組合，將 LiDAR 點云的輸入頻率提高到與相機圖像相同的頻率。與現有方法相比，黃色塊突出了我們的主要貢獻。需要說明的是，60 Hz 視覺姿態和60 Hz 重建是假設無限計算資源的理想頻率。為了描述方便，我們在這里使用 60 Hz 視覺姿態和重建云。事實上，視覺和 LiDAR 模塊都可以在 20 Hz 左右運行。

2 方法

2.1 半直接視覺里程計

半直接視覺里程計模塊直接提取高梯度像素，3D LiDAR點投射到這些像素上進行跟蹤。該模塊使用一種新穎的點匹配與傳播方法，將主機幀的點傳播到更接近當前幀的中間關鍵幀，以減少比例差異。半直接視覺里程測量模塊由三個主要步驟組成：特征提取、特征匹配和姿勢估計。在特征提取步驟中，該模塊從當前圖像幀和中間關鍵幀中提取高漸變像素。在特征匹配步驟中，該模塊使用一種新的點匹配與傳播方法在當前幀和中間關鍵幀之間匹配提取的特征。具體來說，該方法解決在點匹配中出現的深度匹配問題的方法。該方法首先在當前幀中直接找到特征點的對應物，然后通過將它們投影到中間幀上，找到中間幀上與它們對應的特征點，在最終的目標幀中再用中間幀上找到的對應點與之匹配。該方法對于跨越時間較長的幀間點匹配能夠有效降低尺度差異所帶來的匹配誤差。在姿勢估計步驟中，模塊使用匹配的特征估計當前幀和中間關鍵幀之間的相對姿勢。該模塊還使用了強大的魯棒核函數來拒絕特征匹配步驟中的異常值。

2.2 自適應掃描映射 LiDAR 里程計模塊

LiDAR 模塊中的自適應掃描映射方法根據垂直方向上幾何約束的豐富度，自動選擇優化 3 個水平自由度或 6 個全自由度姿勢。該方法使用了一種新穎的掃描重建方法，可以將LiDAR點云的輸入頻率提高到與相機圖像相同的頻率，進而在理論上產生LiDAR里程計的高頻輸出。該方法減少了垂直方向的姿態估計漂移，提高了多個現有開源 LiDAR 里程計系統的性能。

掃描重建算法示意圖。10Hz輸入原始點云Sj、Sj+1、Sj+2疊加重構得到60Hz重構點云Si+7、Si+8、···、Si+17

3 實驗

本文的實驗部分評估了SDV-LOAM在KITTI里程計基準測試和使用定制硬件平臺的大規模環境中的性能。結果顯示，SDV-LOAM在KITTI里程計基準測試中排名第8位，表現優于大多數激光雷達/視覺激光雷達里程測量系統。SDV-LOAM 的視覺模塊的性能也優于最先進的視覺里程測量系統。LiDAR 模塊中的自適應掃描到地圖優化方法提高了多個現有開源 LiDAR 里程計系統的性能。演示了SDV-LOAM在使用定制硬件平臺的大規模環境中的有效性。

表 5 中的結果表明，提出的視覺模塊在所有序列上都優于 DEMO，在 KITTI 上的大多數序列上優于DVL-SLAM，其中我們方法的 RTE 比 DEMO 低 37.9%，比 LIMO 低 15.3%，比 DVL-SLAM 等人低 23.4%，在序列 00-10 的平均結果上比 DVL-SLAM 低 26.5%，在序列 11-21 的平均結果上比 DEMO 低 22.8%，比 LIMO 低 5.4%。對于序列03、04、07，我們系統的準確率低于Huang等人，因為這三個序列中有豐富的線特征，而Huang等人的準確率有所提高。在英特爾酷睿 i7-11700 CPU 上，我們的 VO 運行時間為 0.06 秒/幀。相比之下，LIMO 需要語義標簽信息來識別移動物體并拒絕異常值，因此需要 GPU 進行加速。同時，LIMO 和DVL-SLAM都不能實時運行。我們的方法可以在僅 CPU 的平臺上實時有效地運行。我們的視覺里程計在序列1121上的測試結果也發布在官網，名稱縮寫為“SD-DEVO”。值得一提的是，DEMO是V-LOAM中使用的視覺模塊。因此，與 DEMO 的比較結果也可以證明我們的 VO 優于 VLOAM。

歡迎關注微信公眾號「3D視覺工坊」，加群/文章投稿/課程主講，請加微信：dddvisiona，添加時請備注：加群/投稿/主講申請

掃描重建實驗。(a)-(d) 是沒有掃描重建的結果，而 (e)-(h) 是有掃描重建的結果。軌跡上點的分辨率反映了我們的 LiDAR 里程計輸出姿勢的頻率。(a)-(d) 和 (e)-(h) 之間的比較表明我們的掃描重建塊可以有效地提高 LiDAR 位姿估計的頻率。

4 總結

a. 工作的意義：提出一種新型的視覺-LiDAR里程計和建圖系統SDV-LOAM，能夠綜合利用相機和激光雷達的信息，實現高效、高精度的姿態估計和實時建圖，且性能優于現有的相機和激光雷達系統。b. 創新、性能 該系統采用半直接視覺模塊、自適應掃描映射LiDAR模塊和新型點提取和匹配方法，解決了視覺-LiDAR集成中稀疏特征建立導致的問題，自適應優化姿態估計、增加LiDAR原始點云輸入頻率，并且在KITTI數據集和自行搭建的硬件平臺上實現了良好的性能。c. 研究結論 SDV-LOAM 可以綜合利用相機和激光雷達的信息，實現姿態估計和實時地圖構建 系統算法性能在KITTI數據集上優于其他系統。該系統的算法性能和實踐證明了其在實際場景中的準確性和魯棒性。SDV-LOAM 可以進一步開發，例如將LiDAR深度作為視覺 BA 的軟約束來使用。

編輯：黃飛