電子發燒友App
本篇文章為大家介紹一種新穎且經濟高效的重建方案，利用預先建立的激光雷達地圖作為固定約束，有效解決了單目相機重建中存在的尺度問題。
作者：
Chunge Bai , Ruijie Fu and Xiang Gao
先進的單目相機重建技術主要依賴于運動恢復結構（Structure from Motion，SfM）方案。然而這些方法通常產生的重建結果缺乏關鍵的尺度信息，隨著時間的推移，圖像的累積導致不可避免的漂移問題。相比之下，基于激光雷達掃描幀的地圖方法在大規模城市場景重建中很受歡迎，因為它們具有精確的距離測量能力，這在基于視覺的方法中基本上是缺失的。研究人員嘗試利用同時進行的激光雷達和相機測量來追求在地圖結果中實現精確的尺度和顏色細節。然而這些結果受外參校準和時間同步精度的影響。本文提出了一種新穎且經濟高效的重建方案，利用預先建立的激光雷達地圖作為固定約束，有效解決了單目相機重建中存在的尺度問題。據我們所知，我們的方法是第一個將圖像配準到點云地圖上而無需同步捕獲相機和激光雷達數據的方法，使我們能夠在各種感興趣的區域重建更多細節。為了促進這一領域的進一步研究，我們發布了Colmap-PCD，這是一個利用Colmap算法的開源工具，可以實現對圖像到點云地圖的精確細致的配準。
主要貢獻
實現圖像與其重建對象之間的精確2D-3D對應關系對于準確的圖像定位至關重要，一種有前景的方法涉及在圖像和激光雷達平面之間建立對應關系，激光雷達平面可以被視為來自激光雷達點云地圖的重建對象的替代3D特征。為此，我們選擇使用Colmap，這是一個基于經典的運動恢復結構（Structure-from-Motion，SfM）方案的穩健軟件工具。在此基礎上通過將預先建立的激光雷達地圖作為固定約束納入因子圖優化過程中，來增強管線。這個包含有助于確保圖像的重建尺度與激光雷達地圖的尺度密切匹配，從而增強了注冊過程的準確性。我們的方法使用自行收集的數據集進行評估，結果清晰地展示了其在標準Colmap方法上的卓越性能。更具體地說，我們的方法產生了一個帶有準確尺度的重建結果，超出了原始Colmap的能力范圍。總體而言，本文提出了三個重要貢獻：
1）引入Colmap-PCD，一種圖像到點云配準方案，通過使用激光雷達地圖優化圖像定位。它產生具有準確尺度信息的精確定位和重建結果，無需同步激光雷達和相機數據收集。
2）通過對自行收集的數據集進行全面測試，展示了Colmap-PCD的有效性。
內容概述
Colmap簡要概述
對應點搜索：對應搜索過程包括特征提取和特征匹配，通過識別跨越各種輸入圖像的匹配2D特征點來確定潛在的場景重疊。為增強圖像匹配的可靠性，Colmap通過在不同的轉換條件下計算內點數來選擇最可信的變換模型。?
初始化：選擇一個適當的圖像對進行初始重建，確保它與多個圖像共享足夠的共同觀測。然后，利用三角測量生成初始的3D重建點集。?
選擇并配準下一張圖像：選擇一張與當前模型具有更多共同可見點并具有更均勻分布模式的圖像作為下一張要配準的圖像。通過PnP將圖像配準到模型。?
三角化測量：對新圖像執行三角測量，將新場景集成到現有的3D結構中。由于噪聲，Colmap將單個3D點的特征軌跡視為一組測量，可以進行配對。使用直接線性變換（DLT）方法計算配對測量的3D點，通過RANSAC進行遞歸采樣和調整采樣區域，獲得可靠的三角測量結果。?
增量捆集調整：在每次三角測量后，進行局部捆集調整（BA）以調整新配準圖像和其他共享更多共同觀測的已配準圖像的參數和3D點位置。?
全局捆集調整：執行全局捆集調整以計算所有已配準圖像的最佳3D模型和參數。為節省時間，與先前的全局優化相比，當模型的體積增長到一定程度時將進行全局捆集調整（BA）。
Colmap-PCD算法
Colmap-PCD通過將從視覺圖像中重建的3D點與從LiDAR點云地圖中提取的平面匹配，旨在同時最小化重投影誤差和3D點與關聯LiDAR平面之間的距離。整個流程如圖2所示。
圖2：Colmap-PCD的流程，藍色框中的過程屬于原始Colmap，紅色框中的過程是與LiDAR相關的過程
投影
? 將LiDAR點云投影到已知的相機成像平面In。
??劃分LiDAR點云為固定大小的體素，通過四條線形成四邊形金字塔。
? 通過遍歷體素中的LiDAR點，將其從世界坐標系轉換到相機坐標系，并投影到成像平面。
圖3：將LiDAR點投影到相機成像平面的四棱錐中，四棱錐的頂點代表相機中心。
點到平面關聯
? 將3D點與LiDAR點關聯，使其盡可能與所屬的LiDAR平面匹配。
? 使用深度投影和最近鄰搜索兩種方法進行點對平面關聯。
? 在深度投影中，通過計算角度選擇最小的LiDAR點作為相應的LiDAR點。
? 最近鄰搜索方法用于所有點對平面關聯過程。
初始化
? 初始化圖像需要大致已知的相機位姿。
? 初始圖像和其位姿手動設置，位姿不需要精確。
? 通過投影獲取初始2D特征點的相應LiDAR點，建立初始3D模型。
? 隨著圖像數量增加，初始3D模型逐漸收斂到正確狀態。
捆集調整
? 有增量束調整、批量束調整和整體地圖束調整三種類型。
? 在新圖像的三角測量后，執行增量BA減輕累積誤差。
? 執行批處理BA以節省時間，構建包含相機位姿和3D點的3D模型。
? 整體地圖BA用于進一步優化整個模型，將2D特征、圖像位姿、3D點和LiDAR點添加到因子圖中進行優化。
圖：用于捆集調整的因子圖
基于已知位姿的增量重建
如果通過一些傳感器（如GPS）的測量已經知道了大致相機位姿，可以使用已知位姿開始增量重建。
實驗
驗證了Colmap-PCD的有效性和尺度準確性。我們在校園收集了三個數據集，如圖7所示。每個數據集都有一個預建的LiDAR點云地圖、450張圖像和相應的相機內參。
圖: 自行采集的點云地圖
定位結果
圖顯示了Colmap-PCD和原始Colmap的重建結果。左圖和中圖顯示了Colmap-PCD的重建結果。左圖包括LiDAR地圖和3D重建點，而中圖只顯示了3D重建點。右圖顯示了Colmap的重建結果，包括LiDAR地圖和3D重建點。紅色的金字塔表示相機位姿。顯然，重建結果幾乎與LiDAR生成的地圖完美對齊，表明LiDAR點云地圖在圖像定位過程中提供了積極的約束。然而，原始Colmap的建圖尺度與實際環境顯著不同。
圖: Colmap-PCD和Colmap的重建結果
顯示了從圖像反投影到LiDAR點云的結果，顯然非常準確。該結果表明Colmap-PCD能夠實現對圖像定位所需的精度。?
LiDAR點對圖像定位的影響
第一個實驗考察了可以用于改善姿態估計過程的LiDAR平面數量。通過點對平面關聯搜索平面。如圖所示，x軸表示解決的圖像位姿數量，y軸表示在單次迭代中利用的LiDAR平面計數。紫色線表示通過投影實現LiDAR平面與3D點之間的匹配，黃色線表示通過最近鄰搜索和投影成功關聯的LiDAR平面的總計數。可以觀察到大量LiDAR平面有助于圖像定位。
圖：增量捆集調整中使用的平面數量（室內，室外1，室外2）
第二個實驗展示了每次局部束調整前后的點對平面距離的趨勢。如圖所示，距離在每次迭代后收斂到最小值，表明3D點能夠與點云地圖中的適當位置很好地對齊。
圖：3D點與相應LiDAR平面之間的距離（室內，室外1，室外2）
重投影誤差分析?
這個實驗展示了重投影誤差的變化。如圖12所示，紫色線表示平均重投影誤差，而黃色區域描繪了重投影誤差協方差的分布。
圖: 重投影誤差（室內，室外1，室外2）
我們拍攝了靠近LiDAR地圖原點的第一張圖像，因此初始位置和方向被設置為0。如表I所示，初始圖像的最終定位結果表明，隨著圖像數量的增加，即使提供了相對較大的初始位置誤差，初始圖像的位姿也能逐漸收斂到正確的結果。
總結
本文介紹了一種方案通過將異步獲取的圖像與LiDAR點云對準，以獲得具有準確比例的定位結果。通過對自行收集的數據集進行實驗，該方法在圖像累積方面表現出一定的有效性和穩定性。此外該方案允許在重建區域進行靈活的細節級調整，使其適用于協作式大規模場景重建。總的來說，我們的算法為圖像定位和大規模場景重建任務做出了貢獻，為該領域未來的研究提供了有價值的見解。
審核編輯：黃飛
?
工商網監
評論