作者：泡椒味的口香糖 |

NeRF這兩年真的是火出天際，ICCV 2023有非常多的NeRF文章，有優化速度精度的，也有動態環境這樣的特殊場景NeRF。但NeRF和SLAM結合還是一個很新興的方向，首先實時性難以保證，結合更多的也是去進行稠密建圖，像iMAP和NICE-SLAM這樣同時優化位姿和建圖的還比較少見，估計出的位姿精度也明顯低于傳統SLAM，大尺度范圍建圖存在遺忘問題，包括回環檢測的就更少了。

GO-SLAM這項工作似乎在一定程度上解決了這個問題，來自ICCV 2023最新開源的工作，是一個實時優化位姿和稠密建圖的NeRF SLAM框架。筆者覺得最大的亮點在于引入回環和BA來校正軌跡和3D場景，很大程度上拉近NeRF SLAM和傳統SLAM的軌跡精度，這在以前的工作中是沒有的，因為回環很容易讓位姿和NeRF直接割裂。

今天筆者將帶領讀者閱讀這項工作，當然筆者水平有限，如何有理解不當的地方歡迎大家一起討論。

1. 效果展示

先來看看具體的運行效果。

GO-SLAM主要還是基于NeRF進行稠密重建，可以發現相較于NICE-SLAM這些SOTA方案，GO-SLAM重建場景的全局一致性更好，這主要是因為它引入了回環和全局BA來優化累計誤差。

對于各種室內場景的3D稠密重建，都取得了相當不錯的效果。

還有在EuRoC數據集上的定性重建結果。相較于DROID-SLAM，GO-SLAM的重建效果更加干凈！

2. 摘要

神經隱式表示最近在稠密同步定位與地圖構建( Simultaneous Localization And Mapping，SLAM )上展示了令人信服的結果，但在重建過程中存在相機跟蹤誤差和畸變的積累。為此，本文提出了一種基于深度學習的稠密視覺SLAM框架GO-SLAM，對位姿進行全局優化，并進行實時三維重建。魯棒的姿態估計是其核心，由有效的閉環和在線完全BA支持，通過利用輸入幀完整歷史的學習全局幾何來優化每一幀。同時，我們實時更新隱式和連續的表面表示，以確保三維重建的全局一致性。在各種合成和真實數據集上的實驗結果表明，GO-SLAM在跟蹤魯棒性和重建精度方面優于現有方法。此外，GO-SLAM具有通用性，可以在單目、雙目和RGB-D輸入下運行。

3. 算法解析

GO-SLAM是最新的進行隱式3D重建的SLAM方案，一方面不斷更新全局位姿，另一方面重建實時、連續的稠密3D場景。

GO-SLAM由三個并行線程組成：前端跟蹤、后端跟蹤，以及實例建圖。GO-SLAM的前端跟蹤線程是直接用的DROID-SLAM的跟蹤模塊，后面訓練過程也是直接調的DROID-SLAM的預訓練權重，只不過加入了新的回環和BA優化。然后使用RAFT來計算新一幀相對于最后一個關鍵幀的光流，如果平均流大于閾值，則創建新關鍵幀。后端跟蹤線程的重點是通過全BA生成全局一致的位姿和深度預測。最后，實例建圖線程根據最新的位姿信息實時更新三維重建。GO-SLAM的輸入可以是單目雙目，還可以是RGB-D，非常的通用！

那么回環檢測如何實現呢？

這里還是一個基于關鍵幀的圖優化問題。這個回環過程分為兩步：

（1）選擇最近N個局部關鍵幀之間的高可視性連接；

（2）從局部關鍵幀和局部窗口外的歷史幀檢測回環關系。

具體的實現過程中，作者為回環檢測和BA建立了一個大的共視矩陣，矩陣元素是通過反投影得到的平均剛體光流。如果平均光流大于閾值，則被認為共視程度低，會被直接濾除掉。共視矩陣的維度就是Nx關鍵幀數量。

共視矩陣建立以后，就可以為具有鄰接關系和高共視關系的關鍵幀對建立優化邊，也就是圖中的紅色方框。這里還有一個trick，就是為了避免冗余，當優化邊（兩個關鍵幀的連接關系）加入到圖以后，就會抑制這兩個關鍵幀的鄰域關系。具體的回環檢測流程是，從共視矩陣的未探索部分按共視程度降序采樣，連續檢測三個回環候選幀，如果平均流均低于閾值，則認為檢測到了回環，然后進行優化。這個方法其實和ORB-SLAM2很像。

之后，就可以進行優化，這里是直接使用DBA層（具體原理可參考DROID-SLAM論文）來求解非線性最小二乘問題，同時優化相機位姿G和逆深度d。其中（i，j）表示連接關系，Π表示投影函數，p表示像素位置，公式里面的G表示位姿變換關系。最后使用高斯牛頓法來優化局部關鍵幀的最優位姿和深度。

后端優化這一塊，顯然不能直接優化所有的歷史幀。作者的做法是，開啟一個新的共視關鍵幀圖，在插入新邊以后抑制冗余鄰域邊。這樣就可以很大程度上降低計算量。GO-SLAM考慮了輸入幀的完整歷史信息，并連續對齊所有關鍵幀位姿。它還使用對齊策略實現瞬時閉環和全局結構的校正，在內存和時間都很有效率。

現在可以用獲得的位姿和深度圖進行NeRF了，那問題又來了，如何確保更新后的重建保持全局一致呢？同時用所有關鍵幀來做NeRF肯定可以保證全局一致性，但也就沒辦法實時了。

這里作者對參與稠密重建的關鍵幀進行了篩選：

首先，確保包含最新的兩個關鍵幀和未經建圖優化的關鍵幀。然后將所有關鍵幀按照當前和上次更新狀態之間的位姿差降序排列，并從排序列表中選擇前10個關鍵幀。最后，為了解決遺忘問題，還使用分層抽樣從所有可用的關鍵幀中選擇10個關鍵幀。

后面NeRF的渲染就是直接使用了現成的NeuS模型。

損失函數這一塊設置的比較多，除了比較常用的圖像光度損失和深度損失，還引入了正則化項來優化SDF：

為了監督SDF進行精確的表面重建，還計算采樣點xi到關鍵幀深度Dm的距離來近似采樣點xi的真實SDF。在Dm-預測深度（b）為不同值時采取不同的損失函數策略：

最終的損失函數是幾項小損失的加權和：

4. 實驗

實驗這一塊，運行設備是i9-10920X CPU和一塊3090。作者分別評估了軌跡精度和建圖精度，更側重軌跡精度，使用的數據集包括TUM RGB-D、EuRoC、ETH3D-SLAM、ScanNet還有Replica，軌跡評估非常多。評估指標方面，主要就還是使用ATE，其他指標包括準確率、完成率、完成比值，還有F指數，還有用L1評估了深度估計的精度。

下面是在TUM數據集上的ATE對比結果，左側是單目結果，右側是RGB D結果。GO-SLAM的精度達到最優，這也是筆者第一次見到NeRF SLAM的精度超越傳統方法。這個實驗做的很詳細的，像之前的NICE-SLAM和iMAP也只是對比了fr1/desk、fr2/xyz和fr3/office這三個序列，但是GO-SLAM這一塊對比的序列很多，還同時對比了傳統方法和學習方法。但筆者對ORB-SLAM2/3的結果有些不認可，ORB-SLAM3并沒有在那么多序列上跟蹤失敗。

下面是EuRoC實驗，GO-SLAM的精度同樣出彩。值得注意的是，傳統SLAM在單目序列上容易跟蹤失敗，但是GO-SLAM可以保持魯棒性。

還在EuRoC和ETH3D上對比了稠密重建的效果，GO-SLAM的重建精度優于DROID-SLAM。

下面是在ETH3D上的實驗，y軸是成功的軌跡，x軸是RMSE精度，最大誤差是2cm。這個結果說明GO-SLAM優于基于點、基于surfel的、基于體素的方案。BundleFusion和GO-SLAM有點類似，只是更側重稠密重建。但BundleFusion的姿態估計極易受誤差的影響，導致重建質量較差。

ScanNet上的結果表明，DROID-SLAM在短序列和RGB-D輸入上表現較好，但在單目場景下處理較長序列時，其精度急劇下降。相比之下，GO-SLAM的結果始終很不錯。此外，由于沒有全局優化來消除累積誤差，iMAP和NICE-SLAM在位姿估計和三維重建方面效果不是太好。

最后是Replica實驗，對比的方案也很全，最新的Orbeez-SLAM都有。這里可以看出來NICE-SLAM的運行速度還是太慢了。這里也推薦「3D視覺工坊」新課程《徹底剖析激光-視覺-IMU-GPS融合SLAM算法：理論推導、代碼講解和實戰》。

大家一定很關心運行效率，作者對比了CPU頻率、GPU顯存、FPS和最終精度。整體來看，GO-SLAM需要的計算資源還是比較多的，運行速度也不快，但是達到了一個CPU/GPU需求和精度的平衡。

5. 總結

NeRF和SLAM結合是一個非常新興的方向，有大量的點可以挖掘。GO-SLAM這篇文章是ICCV 2023的最新工作，同時優化SLAM的軌跡軌跡和NeRF的稠密重建，效果非常好。筆者覺得這項工作最大的意義在于第一次在NeRF-based SLAM中引入了回環檢測和全局BA，以此來消除累積誤差。這項工作還沒有完全開源，感興趣的小伙伴可以跟蹤一下相關的Github進展。

編輯：黃飛

?