作者：Raphael Voges and Bernardo Wagner

來源：IROS 2020

大家好，今天為大家?guī)淼奈恼率恰?集員法對(duì)3D激光雷達(dá)和相機(jī)的外部校準(zhǔn)（Set-Membership Extrinsic Calibration of a 3D LiDAR and a Camera）。

這篇文章與傳感器的融合相關(guān)，主要介紹了3D激光雷達(dá)和相機(jī)校準(zhǔn)時(shí)候是如何考慮不同傳感器之間的誤差的；

為了融合來自3D激光雷達(dá)和相機(jī)的信息，需要知道傳感器坐標(biāo)系之間的外部校準(zhǔn)。

傳統(tǒng)的外部校準(zhǔn)方案有三個(gè)缺點(diǎn)：

傳統(tǒng)的校準(zhǔn)方法忽略了傳感器誤差，導(dǎo)致了校準(zhǔn)失真；

傳統(tǒng)的校準(zhǔn)方法假設(shè)了初始平均誤差為0，默認(rèn)傳感器每次測(cè)量接近真實(shí)值，這種假設(shè)常常失效。例如，激光雷達(dá)入射角和反射率帶來的誤差，可能會(huì)導(dǎo)致激光雷達(dá)偏移的情形；

傳統(tǒng)的校準(zhǔn)方法不能評(píng)估提取特征的準(zhǔn)確性，因此不能在外部校準(zhǔn)的時(shí)候不能通過調(diào)整特征的權(quán)重提高準(zhǔn)確性。

本文創(chuàng)新點(diǎn)：

提出了一種基于圖像的檢測(cè)方法，該方法將YOLOv3架構(gòu)擴(kuò)展為具有3D質(zhì)心損失和中級(jí)特征融合，以利用這兩種方式的互補(bǔ)信息；

介紹基于間距的方法（interval-based approaches）來提取圖像和激光點(diǎn)云的相應(yīng)特征；

利用間距的特征設(shè)定約束滿足問題（Constraint Satisfaction Problem， CSP），在仿真和實(shí)驗(yàn)中驗(yàn)證了準(zhǔn)確性。

貢獻(xiàn)

提出了一種基于圖像的檢測(cè)方法，該方法將YOLOv3架構(gòu)擴(kuò)展為具有3D質(zhì)心損失和中級(jí)特征融合，以利用這兩種方式的互補(bǔ)信息；

介紹基于間距的方法（interval-based approaches）來提取圖像和激光點(diǎn)云的相應(yīng)特征；

利用間距的特征設(shè)定約束滿足問題（Constraint Satisfaction Problem， CSP），在仿真和實(shí)驗(yàn)中驗(yàn)證了準(zhǔn)確性。

方法介紹

如圖1所示，間隔向量（interval vectors）形成了一個(gè)框（scan box），包圍了實(shí)際測(cè)量的一些點(diǎn)集。通過使用掃描框，可以得到平面的垂直矢量（plane normal vector）、邊界線的矢量（line direction vectors）、標(biāo)定棋盤的四個(gè)角上的點(diǎn)（corner boxes）。

圖1：本文的方法概述。為了找到外部校準(zhǔn)，如旋轉(zhuǎn)矩陣R和轉(zhuǎn)換向量t，在間距不確定的情況下，相機(jī)和3D激光雷達(dá)之間尋找點(diǎn)、線、面特征。

傳感器誤差模型

A.相機(jī)模型：

我們采用OpenCV庫中包含的方法，用于檢測(cè)相機(jī)圖像中的棋盤角。因此，我們使用的原始測(cè)量是圖像中的像素點(diǎn)。然后，針孔相機(jī)模型用于找到指向棋盤角的方向的3D向量。

不能完全檢測(cè)到角的原因：

相機(jī)具有有限的分辨率，因此必須將模擬信號(hào)（即實(shí)際場(chǎng)景）離散地分為像素；

圖像模糊，例如檢測(cè)對(duì)象未處于適當(dāng)?shù)木劢梗?/p>

圖像傳感器受到損壞，每個(gè)像素的各個(gè)顏色通道產(chǎn)生了噪聲，從而在角檢測(cè)期間再次導(dǎo)致誤差。

圖2：檢測(cè)到棋盤角（綠色點(diǎn)）的棋盤的示例圖。各種誤差源導(dǎo)致檢測(cè)不準(zhǔn)確（紅色點(diǎn)）。因此，我們應(yīng)用了我們的界限誤差模型，來包裹真實(shí)特征的藍(lán)色邊框。

B.激光雷達(dá)模型：

由于激光雷達(dá)的激光光束和表面入射角受到傳感器的環(huán)境（溫度，濕度等）的影響，實(shí)際測(cè)量通常產(chǎn)生誤差。由于無法預(yù)測(cè)此系統(tǒng)錯(cuò)誤，因此無法使用已建立的隨機(jī)誤差模型進(jìn)行建模。測(cè)量點(diǎn)的實(shí)際位置是不確定的，并且可以是激光光束掃描的任何位置。因此，選擇基于間距的模型來考慮這種不確定性。

圖3：3D盒［P］的可視化由未知但是界面的誤差為球形坐標(biāo)R，θ和φ產(chǎn)生的誤差。3D盒可以保證覆蓋實(shí)際測(cè)量的點(diǎn)P *和原始測(cè)量的點(diǎn)P。

主要結(jié)果

我們使用Gazebo 和實(shí)際數(shù)據(jù)生成的模擬數(shù)據(jù)來評(píng)估我們的方法。此外，將我們的方法與最先進(jìn)算法進(jìn)行了比較。然而，直接比較是不合適的，因?yàn)樗麄兊姆椒ǖ哪繕?biāo)是找到最好的點(diǎn)值結(jié)果（point-valued result），而我們的方法旨在封閉真實(shí)的解決方案并同時(shí)表明計(jì)算的不確定性。

A.仿真數(shù)據(jù)

選擇尺寸為100×76厘米的標(biāo)定棋盤，其中，棋盤距離多傳感器系統(tǒng)大約2.5米。模擬相機(jī)的像素誤差遵循高斯分布，平均值為0，標(biāo)準(zhǔn)偏差為0.01。這導(dǎo)致相機(jī)校準(zhǔn)期間0.3 px的最大角度檢測(cè)誤差。模擬3D激光雷達(dá)的型號(hào)是Velodyne VLP16。球形坐標(biāo)的誤差遵循均勻的分布，無需任何異常值。

首先，我們顯示從一個(gè)標(biāo)定棋盤姿態(tài)計(jì)算的轉(zhuǎn)換參數(shù)的結(jié)果。如圖所示，我們選擇六種不同的棋盤姿態(tài)，以顯示對(duì)不同外部校準(zhǔn)參數(shù)的影響。

圖4：六種不同棋盤姿態(tài)的模擬圖像。

對(duì)于所有六個(gè)姿態(tài)，我們的方法包含真實(shí)的轉(zhuǎn)換參數(shù)。然而，轉(zhuǎn)換參數(shù)的準(zhǔn)確性隨著表I中的參數(shù)變化。這可以通過標(biāo)定棋盤的相應(yīng)姿態(tài)來解釋。例如，Pose1和Pose5可以通過沿Z軸旋轉(zhuǎn)和平移實(shí)現(xiàn)。

表I：圖3中的姿勢(shì)的間距半徑

表II顯示了相機(jī)和激光掃描儀的不同模擬誤差的結(jié)果。顯然，相應(yīng)地調(diào)整傳感器誤差界限。例如，第二行示出了用于［Δpx］ = ［-0.4，0.4］ px的間隔半徑，而其他傳感器誤差界限保持不變。作為參考，第一行顯示出了上面引入和評(píng)估的錯(cuò)誤界限的結(jié)果。表格可以說明我們的方法可以在增加不確定性的情況下處理相機(jī)和激光掃描數(shù)據(jù)的不同誤差。

表2：不同模擬誤差參數(shù)的影響

接下來，展示了系統(tǒng)誤差對(duì)我們方法的影響。我們使用總共27個(gè)棋盤姿態(tài)，包括上面所示的六個(gè)姿態(tài)，在傳感器設(shè)置周圍的旋轉(zhuǎn)空間中均勻分布。

表3：結(jié)果顯示偏誤差測(cè)量對(duì)我們和最先進(jìn)的方法的比較

B.真實(shí)數(shù)據(jù)

如圖4所示，實(shí)驗(yàn)設(shè)備包括Velodyne VLP-16 LIDAR，FLIR Grasshopper3相機(jī)和100×76cm標(biāo)定棋盤。相機(jī)的分辨率為1920×1200 px。激光雷達(dá)LiDAR的垂直角分辨率為2°。此外，LiDAR的旋轉(zhuǎn)速率設(shè)定為5Hz，導(dǎo)致水平角分辨率為0.1?。

我們收集了26個(gè)不同的棋盤姿勢(shì)的數(shù)據(jù)。表IV顯示結(jié)果。得到的間距結(jié)果和仿真結(jié)果類似。因此，我們的方法不僅可以使用外在校準(zhǔn)并評(píng)估其準(zhǔn)確性，還可以驗(yàn)證隨機(jī)方法的結(jié)果。

表4：我們和最先進(jìn)方法的數(shù)據(jù)結(jié)果比較

原文標(biāo)題：3D激光雷達(dá)和相機(jī)的外部校準(zhǔn)

文章出處：【微信公眾號(hào)：新機(jī)器視覺】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。

責(zé)任編輯：haq