自動環繞相機校準在自動駕駛汽車道路的應用

作者：小張Tt?

本文介紹了一種用于道路場景中魯棒的自動多攝像頭校準和修正的方法。該方法利用了從粗糙到精細的隨機搜索策略，可以解決初始外部參數的較大擾動，并彌補了非線性優化方法陷入局部最優值的缺陷。通過在實際和模擬環境中進行的定量和定性實驗，結果表明所提出的方法可以實現準確性和魯棒性的性能。

1 前言

本文提出了一種基于光度誤差的道路場景下全景相機外部參數校準的全自動無目標方法。該方法使用了從粗糙到精細的隨機搜索策略，可以適應較大的初始外部參數誤差，同時避免了在非線性優化方法中陷入最優局部值的問題。在模擬和真實數據集上，該方法表現出有希望的性能。

作者的貢獻有三個方面:

提出了一種全自動、無目標的方法，基于道路場景下鳥瞰視圖中重疊區域的光度誤差來進行全景相機外部參數校準。

使用了從粗糙到精細的隨機搜索策略，可以適應較大的初始外部參數誤差。同時，避免了在非線性優化方法中陷入最優局部值的問題。

所提出的方法在作者的模擬和真實數據集上表現出有希望的性能；同時，基于分析，作者開發了一款實用的校準軟件，并在GitHub上開源，以造福社區。

2 相關工作

車道線基于的方法依賴于捕捉到兩條平行車道線，而基于里程計的方法將校準問題納入到視覺里程計或完整SLAM系統的優化中。基于光度的方法采用直接圖像對齊的方法，利用局部亮度來確定優化步驟。這些方法都存在一些局限性和缺點，例如強依賴平行車道線的方法對SVS情況不適用，而基于里程計的方法需要大量時間和計算資源。基于光度的方法雖能在稀疏紋理場景下表現出更好的魯棒性，但仍然基于非線性優化方法，不能解決較大的干擾。因此，需要進一步研究基于SVS的在線校準方法，以克服上述方法的局限性并提高校準的魯棒性和效率。

3 ?方法

本節介紹了作者方法的細節，包括紋理關鍵點提取、優化損失和從粗到細的解決方案。

3.1. Texture points extrac tion and optimization loss —— 紋理點提取和優化損失

本節將討論如何生成BEV圖像、提取紋理、將紋理像素投射回原始點云，并優化損失函數。

投射模型本節介紹了如何基于相機投影模型生成BEV圖像，并從中提取紋理，然后將紋理像素投影回原始點云，并使用損失優化方法。投影模型利用相機的姿態和內參矩陣，將地面坐標系的點投影到相機圖像平面上。然后，將BEV圖像的坐標反投影回相機坐標系，以獲得原始相機圖像上點的坐標。最后，通過對映射關系的應用，可以得到每個相機視角的BEV圖像。

2）紋理點提取

本節介紹了紋理點提取的方法。根據相鄰相機的公共視野，利用多視角幾何先驗知識和初始校準參數，將一個相機的BEV紋理像素投影回另一個相機的圖像，并通過計算光度損失對其進行優化，使得兩個相機的BEV紋理位置重疊。在公共視野區域，通過計算像素的光度梯度，并與閾值進行比較，可以提取紋理像素點。此外，如果相鄰相機具有不同的曝光條件，需要進行處理。

3）計算光度損失

本節介紹了如何計算光度損失。首先，將相機的BEV紋理像素點投影到相機的圖像上，得到對應的像素點，并計算這兩個相機視圖之間的光度損失。光度損失衡量了相機的BEV圖像和相機圖像之間的差異。通過將方程展開，可以得到光度損失的計算公式。

通過結合位姿和相機投影方程將公式進一步展開。

3.2. The coarse-to-fine solution —— 由粗到細的解決方案

本文介紹了一種旨在生成無縫車輛環視圖像的校準方法。首先利用前視攝像頭通過消失點和水平線校準相機到車體的外參。然后通過遞歸優化相鄰攝像頭的光度損失來優化所有其他攝像頭的外參。由于光度損失優化的圖像對齊問題是非凸優化問題，很難通過凸優化技術進行優化，因此需要提供合理而穩健的初始外參估計。為此，本文采用了粗到精的隨機搜索策略，通過在當前最優參數周圍隨機搜索參數空間來優化光度損失。該策略類似于非線性優化中的梯度下降方法，但可以避免陷入局部最優值。在每個階段的隨機搜索中，通過計算光度損失來評估當前姿態的效果，并根據評估結果更新最優姿態。通過多輪隨機搜索，可以得到相對最優的姿態，從而生成具有較小光度損失的車輛環視圖像。