Simultaneous Localization And Mapping（同時建圖與定位）

可以分為四大部分：initialization， tracking， local mapping， global optimization

視覺SLAM主要涉及的知識

多視角幾何：投影幾何，相機模型

圖像處理：特征提取，特征點跟蹤

優化算法：非線性優化算法（Levenberg-Marquardt法）

INITIALIZATION

一般將第一張圖像進入系統時的相機位姿作為V-SLAM系統的參考坐標系

選取之后輸入的某張圖像計算和第一張圖像匹配角點并三角化獲取深度，生成候選的初始化MAP

重投影計算誤差，如果誤差太大則重新選取圖像

直到誤差小于閾值，進行一次優化，得到初始化MAP

TRACKING

計算當前圖像和之前相近圖像的關系（特征點匹配，光流法，邊緣跟蹤等等）

根據計算出的關系，通過相應算法估計當前相機的大概位置

其中“直接法”將前面兩部合并為一步來執行

LOCAL MAPPING

可以采取滑動窗口的方式或者挑選某些關鍵幀來建立局部地圖

當某一幀圖像根據策略算法選為關鍵幀后，添加到局部地圖的關鍵幀隊列中

管理局部地圖中存在的點云

進行局部的Bundle Adjustment（BA）

最后進行關鍵幀的管理

GLOBAL OPTIMIZATION

利用BOW挑選出候選回環幀

對候選回環幀進行驗證，確保是正確的回環

根據回環幀計算累積漂移誤差

最后進行全局優化

語義SLAM

為什么要語義？

對環境的魯棒性（動態環境）

獲取地圖的先驗信息，得到更高精度（添加語義約束）

更好地回環檢測

人機交互（如CAD制圖）

傳統回環檢測

目前比較主流的回環檢測方法一般都依賴于BoW（bag of visual words）方法

開源庫：DBoW2： https://github.com/dorian3d/DBoW2（當然還有DBoW3，fbow）

連續幀匹配DLoopDetector：https://github.com/dorian3d/DLoopDetector

ORB-SLAM，VINS等都使用了DBoW2

其他檢索方式還有LSH（Locality-Sensitive Hashing）以及

LLC（Locality-constrained Linear Coding）

語義能夠給SLAM系統帶來的好處

支持中長期的tracking

環境適應性更強（魯棒性）

潛在的人機交互特性

語義SLAM系統和傳統SLAM系統對比

由于我們 人類見過大量的圖像，形成了一種天生的直覺，對大部分場景都有一個直觀的距離感 （空間感），它可以幫助我們判斷圖像中物體的遠近關系。

1.平移之后才能計算深度

2.無法確定真實尺度

原因是通過單張圖像無法確定深度。

深度相機（稱RGB-D相機）最大的特點是可以通過紅外結構光或Time-of-Flight（ToF） 原理，像激光傳感器那樣，通過主動向物體發射光并接收返回的光，測出物體與相機之間的距離。這部分是通過物理的測量手段來解決的，所以不需要大量的算力。

ToF

基本原理是通過連續發射光脈沖（一般為不可見光）到被觀測物體上，然后用傳感器接收從物體返回的光，通過探測光脈沖的飛行（往返）時間來得到目標物距離。

結構光

結構光測距是用一個光源（常用是紅外）將一定的圖案投射到物體上，再用攝像頭收集變形后的圖案進行深度計算。

這種方法比純雙目匹配好的地方在于，參考圖像不是獲取的，而是經過專門設計的圖案 ，因此特征點是已知的，而且更容易從測試圖像中提取。結構光采用三角視差測距，基線（光源與鏡頭光心的距離）越長精度越高。由于是主動光，無法在室外使用。

不論是一般結構光還是散斑結構光，缺點是它所使用的激光器發出的編碼光斑容易被太陽光淹沒掉， 工作距離短，室外陽光下不工作。

結構光方案中的激光器壽命較短，難以滿足7x24小時的長時間工作要求，其長時間連續工作很容易損壞。而因為單目鏡頭和激光器需要進行精確的標定，一旦損壞，替換激光器時重新進行兩者的標定是非常困難的，所以往往導致整個模塊都要一起被換掉。

現在多數 RGB-D 相機還存在測量范圍窄、噪聲大、視野小、易受日光干擾、無法測量透射材質等諸多問題，在 SLAM 方面，主要用于室內，室外則較難應用。

立體視覺

雙目相機 的距離估計是比較左右眼的圖像獲得的，并不依賴其他傳感設備，所以它既可以應用在室內，亦可應用于室外。

雙目立體視覺是純視覺的方法，需要逐像素計算匹配；同時，為了保證匹配結果比較魯棒，算法中會增加大量的錯誤剔除策略，因此對算法要求較高，計算量較大。

VSLAM（Mono）

優勢：成本低、搭建簡單

劣勢：

1） 需要專門初始化

2） 尺度問題

在單張圖片里，無法確定一個物體的真實大小。它可能是一個很大但很遠的物體，也可能是一個很近很小的物體。

3） 深度計算存在缺陷

a. 3D假圖問題

b. 機器學習的樣本問題

VSLAM（Stereo）

優勢：

1） 不需要專門初始化

2） 能夠計算深度

3） 能夠用于室內和室外

劣勢：

1） 標定較為復雜

2） 視差計算比較耗資源，需要GPU/FPGA 或 專門的ASIC芯片 協助。

責任編輯：lq6