文章：Online Camera-to-ground Calibration for Autonomous Driving

作者：Binbin Li, Xinyu Du, Yao Hu, Hao Yu, and Wende Zhang

相機與地面的在線標定是一般指實時生成相機與道路平面之間的非剛體變換，現有的解決方案常常利用靜態標定，在面對輪胎氣壓變化、車輛載重體積變化和道路表面多樣性等環境變化時存在問題。其他在線解決方案利用道路元素或圖像中重疊視圖之間的光度一致性，這需要在道路上連續檢測特定目標或借助多個攝像頭來進行標定。在這項工作中提出了一種在線的單目相機與地面標定解決方案，不需要在行駛過程中使用任何特定目標。通過輪速里程計進行粗到精的地面特征提取，并通過基于滑動窗口的因子圖優化來估計相機與地面的標定參數。考慮到駕駛過程中相機與地面之間的非剛性變換，我們提供了衡量標定性能的指標和停止標準，以發布我們滿意的標定結果。使用真實的數據進行的廣泛實驗表明該算法有效，并且優于現有的技術。

介紹

現代車輛配備了各種攝像頭，以獲取與周圍環境相關的豐富語義信息，并將特征統一在共享的鳥瞰圖中，以支持可解釋的運動規劃任務。相機與地面的標定在確定相機坐標和地面坐標之間的特征位置的幾何變換方面起著關鍵作用。它有助于消除相機的透視畸變，提供鳥瞰圖表示空間，并且便于估算安裝在車輛上的相機與地面上位置之間的距離，這在先進駕駛輔助系統（ADAS）和自動駕駛系統中被廣泛應用。 在過去的幾十年中，已經提出了許多相機與地面的標定方法。這些方法通常可以分為兩類： （1）靜態標定； （2）行駛過程中的在線標定。 第一類方法通常使用諸如棋盤格或手動標注的地面物體等各種模式，事先計算相機與地面之間的變換關系。然而，由于車輛在道路上行駛時，由于輪胎氣壓變化、車輛載荷變化、道路表面多樣性和部件振動，此類變換是非剛性的。相機與地面的標定應在行駛過程中進行多次，以調整幾何投影的變化。例如，由周圍視圖魚眼相機捕獲的圖像在圖1(a)中，靜態標定在圖1(b)中會導致BEV圖像不準確。在線標定可以減小變換誤差，確保適當地處理投影變化，并生成圖1(c)中對齊良好的BEV圖像。

第二類現有方法應用在線標定，這需要從道路上提取出特定的幾何形狀，例如單目相機的消失點和周圍視圖相機提取的車道標線，或者多個相機之間重疊區域的光度一致性，以輔助標定調整。然而，在各種行駛環境中很難保持這些要求。在這種情況下，需要在使用單個攝像頭連續圖像的情況下進行相機與地面的標定，而不依賴于任何特定的標定目標。

主要內容

本文采用了一種從粗到精的方法，在車輛行駛在道路上時，通過因子圖優化獲取地面特征并優化相機到地面的標定參數，而無需使用任何特定的標定目標。利用圖像中水平線分離地面和非地面區域，通過輪式測程法預測地面特征的位置，并使用基于幾何的方法驗證地面特征。對三角測量的地面特征進行平面擬合，以獲取地面的法向量和相機到地面的高度，并通過因子圖優化進一步改進這些參數，以確定相機到地面的變換關系。考慮到在駕駛過程中相機到地面的非剛性變換，還提出了度量標定性能的指標和停止準則，以確保標定質量。 圖2展示了我們的系統框圖。主要包含以下模塊：首先利用運動學自車模型恢復圖像關鍵幀之間的相對運動，以便進行相機姿態估計和地面點三角測量；其次從關鍵幀中提取粗糙的地面特征，通過車輛運動進行特征預測，并進一步進行優化地面特征驗證過程；然后進行地面平面擬合，獲取地面法向量和相機到地面的高度；然后通過因子圖優化來細化相機姿態和相機到地面的變換參數，并提出了一個停止標定準則，確定何時發布相機到地面的標定結果。

圖2. 系統框架 A. 通過輪速里程計測量的相機運動? 利用CAN總線系統提供的連續車輪里程讀數估計車輛隨時間的姿態變化，并確定相機關鍵幀之間的相對運動，以恢復單目相機系統的尺度因子。具體公式推導查看原文。 B. 連續關鍵幀的地面提取? 地面特征（即車輛所行駛的道路表面上的特征）在相機與地面標定中起著重要作用。在城市/郊區環境中，大多數地面特征位于具有相似紋理的混凝土或瀝青道路表面上，這些特征很難提取和匹配。提出了一種新穎的粗到細的地面特征提取架構，用于穩健的相機與地面標定，首先，我們引入地平線提取方法，通過車輛運動預測地面特征的位置，以便進行特征匹配。然后，我們利用幾何方法來驗證地面特征，并進行地面平面擬合，以獲得地面法線向量和相機中心到地面的高度。在進行標定時，選擇以穩定速度行駛時的關鍵幀，這樣可以在不同的圖像幀之間獲得較小的相機姿態變化，有利于標定過程的穩定性，關鍵幀是指在時間序列中選擇的一幀圖像，通常表示為時間間隔的起點。從選擇的關鍵幀開始，通過KLT稀疏光流算法提取圖像中的角點特征，并進行跟蹤。然后通過水平線分割圖像，可以篩選位于水平線以下的特征點來選擇地面特征，并利用車輛的運動信息進一步預測地面特征在下一個關鍵幀中的位置，這樣，我們可以有效地提取和跟蹤地面特征，為后續的相機到地面標定和場景理解提供重要的信息。

圖3. 通過車輛運動進行特征預測，這里，Ok是關鍵幀Ik的相機中心。 圖4. 粗糙的地面特征提取，對于每個特征，通過車輛運動預測其在下一個關鍵幀中的位置（a）。因此，與沒有任何預測的KLT跟蹤器中的特征相比，在（b）中我們有更多的、質量更高的匹配特征對。進一步在（d）中從（b）中均勻采樣/選擇特征以進行計算優化。這里，紅色線段的端點表示關鍵幀Ik和Ik+1之間的匹配特征，綠色線是地平線。 C. 跨關鍵幀地面優化 采用基于滑動窗口的因子圖優化方法來優化相機姿態、地面法向量和相機中心到地面的高度。通過使用單應性變換矩陣，可以將當前關鍵幀的特征點投影到上一關鍵幀的圖像中。然后，我們通過最小化重投影誤差來優化相機姿態和地面參數，以確保在上一關鍵幀中的特征點與當前關鍵幀中的投影點之間的一致性。具體來說，我們首先計算從當前關鍵幀到上一關鍵幀的相機姿態變換。然后，根據相機姿態變換將當前關鍵幀的特征點投影到上一關鍵幀的圖像平面上。接下來，我們計算投影點與上一關鍵幀中的特征點之間的重投影誤差，并將其作為優化問題的目標函數。通過最小化這個目標函數，我們可以同時調整相機姿態、地面法向量和相機中心到地面的高度，從而得到更準確的地面參數。通過這種跨關鍵幀的地面優化方法，可以更好地優化相機姿態和地面參數，提高相機到地面的標定精度，并為后續的路徑規劃和場景感知任務提供更準確的地面信息。

實驗

在各種駕駛場景下使用乘用車實現了我們的算法并進行了大量實驗，車輛安裝了由四個向下朝向的魚眼攝像機組成的全景攝像系統（參見圖1（a）中的示例），這些攝像機與車輪編碼器數據同步。攝像機的幀率為33 Hz，圖像分辨率調整為812×540。我們收集了來自不同區域的長序列連續數據，以分析我們算法的效率和魯棒性（參見表I）。這些數據涵蓋了從平坦的鋪裝地面（FPG）到城市、郊區和農村等不同天氣、光照和駕駛條件下的公共道路，FPG數據來自極其平坦的瀝青路面，用于驗證我們動態標定的基準性能。表I的最后一列表示車輛行駛而不是停車的時間百分比。 圖6 我們的方法在具有挑戰性的駕駛場景中表現良好，圖中的標簽與表格I從上到下對應。

將我們的方法與現有的最先進方法進行比較，從而定性地檢驗性能，包括Liu等人[23]、OECS[24]和ROECS[25]在我們的數據集上的性能。首先比較了在FPG數據上的標定性能，并在表II中總結了結果。與我們的對手一樣，我們的方法在車輛行駛在FPG上時能夠生成連續穩定的相機到地面的標定。因此，我們顯示了與地面真實（GT）標定的歐拉角差的平均值，并評估絕對變化量δr、δp和δy。這里，δr、δp和δy分別表示滾轉角、俯仰角和偏航角的變化量。表II中的δh列是相機中心到地面的高度位移。在表II中，即使在圖像上沒有可辨別紋理的混凝土路面上，我們的在線方法也取得了更好的性能。例如，我們的方法在俯仰角、偏航角和高度估計方面分別獲得了顯著的絕對增益，分別為44.4%、50.0%和71.2%。

為了展示我們提出的方法的優越性，我們在圖7中呈現了（11）和（12）的誤差直方圖。在圖7中獲得了不同區間的誤差差異，作為我們相對于最先進工作的性能提升的總和。我們的方法在不同水平下具有相對較小的特征轉移誤差f，并且誤差保持在0.83像素以內，這在不同數據序列中保持一致。我們的方法在郊區數據上獲得了最低的性能增益44.2%，在城市數據上獲得了最高的性能增益67.6%。在從城市到農村地區的公共道路駕駛數據中，與最先進方法相比，我們的方法在誤差p方面表現更好。誤差p在0.75像素以內變化，并且90.9%的誤差在0.67像素以內。在考慮平坦道路條件的情況下，性能提高了12.7%，在郊區數據中獲得了最高得分，而在FPG數據中獲得了最低得分，為1.59%。?

圖7. 表I中數據序列的性能直方圖。水平軸的值對應于（11）和（12）中的誤差，垂直軸是概率密度。請放大查看詳細信息。 圖8展示了在車輛以高速直行時不同方法生成的鳥瞰圖像的視覺結果。我們的方法不依賴于不同攝像頭之間的重疊區域或特定物體，獲得了較小的特征殘差誤差，并生成了更好對齊的鳥瞰圖像，原因如下： （1）直行車道標線與車輛行駛方向平行， （2）攝像頭之間的車道標線互相重疊， （3）道路上的混凝土裂縫在相鄰攝像頭鳥瞰圖像的重疊區域上連接在一起。

圖8. 在行駛過程中城市I數據的示例結果。我們展示了(a)我們的結果，(b)ROECS [25]，(c)OECS [24]和(d)Liu等人的結果。

總結

我們提出了一種在線相機到地面無目標標定方法，用于在行駛過程中生成相機坐標與地面坐標之間的非剛體變換。采用了一種新穎的粗到精的架構來選擇地面特征，并通過基于幾何的方法進行驗證。對三角化的地面特征進行平面擬合，以獲得地面法向量和相機到地面的高度，然后通過滑動窗口的因子圖優化對其進行優化。通過旋轉平均確定相機到地面的變換，并提供停止標準來廣播滿足標定結果的情況。使用從不同天氣和駕駛條件下收集的真實數據對我們的算法進行了廣泛測試，結果顯示我們的方法是有效的，并且優于最先進的技術。在未來，我們將減少因子圖優化的運行時間復雜度，并進行可觀測性分析，以識別幫助丟棄不需要用于標定計算的姿態和地面特征的退化場景。 —END—

編輯：黃飛