關(guān)于多傳感器時空標(biāo)定技術(shù)解析

一、概述

多傳感器的外參標(biāo)定和時間同步（統(tǒng)稱時空標(biāo)定）是融合的重要前提條件，前面介紹的所有融合都是默認(rèn)已經(jīng)標(biāo)定好了的。但實(shí)際上，標(biāo)定當(dāng)然是需要在融合之前做的，之所以放在后面講，是因?yàn)闃?biāo)定所用到的知識比融合多，或者可以講，標(biāo)定是一種更高級別的融合。

由于標(biāo)定的方法多種多樣，要標(biāo)定的內(nèi)容也十分的多，所以本篇文章無法對每一種方法進(jìn)行詳細(xì)的介紹，索性我們在這里把常見方法的思路匯總梳理一下，弄清楚什么情況下該選什么類型的方法，等真正用到再去了解它的細(xì)節(jié)，也未嘗不可。

二、外參標(biāo)定方法

相比于時間標(biāo)定，外參的標(biāo)定更簡單一些，那么我們就先從簡單的開始介紹。

外參標(biāo)定方法可以按以下方式進(jìn)行分類

之所以按有無共視進(jìn)行區(qū)分，是因?yàn)槎咴谠砗途壬隙加斜举|(zhì)區(qū)別，而且在實(shí)際應(yīng)用中，也會盡可能讓傳感器之間產(chǎn)生共視。

1.雷達(dá)和相機(jī)外參標(biāo)定

這類任務(wù)中，主要是用的就是pnp方法，可參考的資料有：

論文1：LiDAR-Camera Calibration using 3D-3D Point correspondences

代碼1：https://github.com/ankitdhall/lidar_camera_calibration

論文2：Automatic Extrinsic Calibration for Lidar-Stereo Vehicle Sensor Setups

代碼2：https://github.com/beltransen/velo2cam_calibration

詳細(xì)的公式和實(shí)現(xiàn)細(xì)節(jié)大家可以看論文和代碼，這里更傾向于用文字描述直觀地解釋一下它的原理。有共視的視覺與雷達(dá)的標(biāo)定原理很簡單，從圖片中可以看到，二者都可以掃到標(biāo)定物，而且都能夠提取物體的邊緣(線或點(diǎn))，建立一個殘差模型，描述二者的邊緣之間的距離，殘差是以外參為自變量的，因此進(jìn)行優(yōu)化讓殘差最小，即可找到二者之間的外參。

2.多雷達(dá)外參標(biāo)定

參考資料：

論文：A Novel Dual-Lidar Calibration Algorithm Using Planar Surf aces

代碼：https://github.com/ram-lab/lidar_appearance_calibration

這類方案的核心思路是，在每個雷達(dá)各自的點(diǎn)云中提取平面特征，理論上，當(dāng)外參已知且精確時，同一個平面在所有雷達(dá)中的掃描應(yīng)該是重合的（轉(zhuǎn)換到同一個坐標(biāo)系下），反之，當(dāng)二者不重合時，即說明外參有誤差，以平面的不重合度為殘差，以外參作為自變量，建立優(yōu)化模型，進(jìn)行優(yōu)化，即可得到外參結(jié)果。

3. 手眼標(biāo)定

手眼標(biāo)定的名字最早來自于機(jī)械手的標(biāo)定，機(jī)械手上有攝像頭，標(biāo)定攝像頭和機(jī)械手之間外參的方法被叫做手眼標(biāo)定。但是這種工作原理，可以應(yīng)用在所有無共視且二者都能進(jìn)行位姿解算的傳感器標(biāo)定任務(wù)中(比如相機(jī)與IMU、雷達(dá)與IMU、相機(jī)與雷達(dá)等等）。

它的原理很簡單，就一個公式：

其中 X 就是要標(biāo)定的外參，A和B分別為兩個傳感器各自解算的相對位姿。這個公式結(jié)合上面的圖，我想應(yīng)該就不用過多解釋了。

相關(guān)參考資料為：

論文：LiDAR and Camera Calibration using Motion Estimated by Sensor Fusion Odometry

https://github.com/ethz-asl/lidar_align

4. 融合中標(biāo)定

我們通過前面多篇文章的介紹，應(yīng)該已經(jīng)明白融合是怎么回事，也應(yīng)該清楚融合的模型是什么樣子，而在融合中標(biāo)定，指的是把外參作為狀態(tài)量加入到融合模型中去，一起進(jìn)行狀態(tài)估計。隨著變量的增多，融合的精度、觀測性要求都更高，因此前面才說標(biāo)定是一種更高級別的融合。

在實(shí)際使用中，融合中標(biāo)定方法的一個重要貢獻(xiàn)是可以進(jìn)行在線標(biāo)定，即在融合任務(wù)執(zhí)行的過程中，就把外參給搞定了，而不需要像其他方法一樣先標(biāo)定再融合。這方面的工作有很多，其中包含眾多vio/lio系統(tǒng)，如vins、lio-mapping、M-Loam 等。由于都是很出名的工作，所以論文和代碼就不一一列出了。

三、時間標(biāo)定方法

在實(shí)際使用中，很多時候各個傳感器都是用自己的時鐘，由于各個時鐘之間不同步，因此需要估計他們之前的時間差，也就是這里所說的時間標(biāo)定。

時間標(biāo)定是一個很復(fù)雜，且很難做的精確的事情。因此在實(shí)際使用中，更傾向于用硬件解決問題，比如讓多個傳感器使用同一個時鐘源，或者用一個共同的時間戳給所有傳感器打時間標(biāo)簽等等。總之，時間標(biāo)定是一個沒有辦法的辦法，它是有精度代價的，一般在沒有條件做硬件同步（比如手機(jī)）時，才做這一項工作。

時間標(biāo)定方法按照原理主要可以分為離散時間方法和連續(xù)時間方法。

1.離散時間方法

離散時間方法指的是在原有離散時間融合模式下，簡單地解決時間同步問題。