0. 這篇文章干了啥？

同步定位與地圖構建 (SLAM) 是計算機視覺中的一個基本問題，旨在在同時跟蹤相機姿勢的同時對環境進行地圖構建。基于學習的密集 SLAM 方法，尤其是神經輻射場 (NeRF) 方法，在捕獲密集光度信息和提供準確的全局重建方面表現出顯著的進步，而傳統系統則基于稀疏點云或體素。然而，NeRF 方法仍然存在過度平滑、場景表示受限和計算效率低下等缺點。最近，基于高斯的 SLAM已成為一種利用體積輻射場的有前途的方法。利用顯式 3D 高斯表示，高斯 SLAM 可提供高保真渲染和細粒度場景重建，從而克服了基于 NeRF 的方法的局限性。

盡管高斯 SLAM 具有優勢，但它在室內場景中仍面臨顯著挑戰，因為室內場景通常以無紋理表面和復雜的空間布局為特征。這些環境由于缺乏相機姿勢優化所必需的足夠紋理細節而阻礙了穩健的跟蹤。此外，由于遮擋或視野覆蓋有限，室內場景的復雜幾何形狀通常會導致大量未觀察到的區域。這些看不見的區域對高斯 SLAM 構成了關鍵但尚未探索的挑戰，因為高斯表示很難在沒有多視圖優化的情況下插入未觀察到的幾何形狀。因此，地圖上看不見的區域留下了大量的漏洞和空白，這個問題在以前的高斯 SLAM 研究中基本上被忽視了。

為了克服這些挑戰，我們利用著名的曼哈頓世界假設作為細化和完成場景幾何圖形的基礎策略。該假設認為，構建的環境主要遵循網格狀結構，表面和線條與三個正交方向對齊。這些線條和平面對高斯 SLAM 系統中的跟蹤和映射過程施加了有意義的約束。具體來說，我們涵蓋了跟蹤、映射和場景完成方面的增強。在跟蹤中，我們利用從結構化場景中得出的線特征作為無紋理區域中的穩健特征基礎，對這些線段進行反向投影和重新投影以進行姿勢優化和全束調整。在映射中，我們對重新投影的線特征應用光度損失來細化地圖。這種方法確保重建的場景緊密遵循環境的真實結構，從而提高其幾何精度和渲染質量。此外，曼哈頓世界假設有助于識別和插值結構化表面，例如地板和天花板。這些平面對于定義空間的整體幾何形狀至關重要，但在捕獲的視圖中通常會被部分遮擋或缺失。通過分割這些不完整的表面（通過提取的線作為邊界進行細化），我們可以通過生成新的高斯函數來預測它們在直接觀察到的部分之外的延續。這種策略使我們能夠優化場景中大表面的表示，從而增強渲染地圖的完整性。最后，我們通過泊松重構合并正則化項，將高斯表示壓縮為網格表面。這種方法能夠提取以前在高斯 SLAM 系統中無法獲得的高質量網格，使其隨時可用于下游任務。

下面一起來閱讀一下這項工作~

1. 論文信息

標題：Structure Gaussian SLAM with Manhattan World Hypothesis

作者：Shuhong Liu, Heng Zhou, Liuzhuozheng Li, Yun Liu, Tianchen Deng, Yiming Zhou, Mingrui Li

機構：東京大學、哥倫比亞大學、國家信息學研究所、上海交通大學、薩爾州應用科學大學、大連理工大學

原文鏈接：https://arxiv.org/abs/2405.20031v1

2. 摘要

高斯 SLAM 系統在提高實時重建的效率和保真度方面取得了重大進展。然而，這些系統在復雜的室內環境中經常會遇到不完整的重建，其特點是由于障礙物或有限的視角導致未觀察到的幾何形狀而產生大量空洞。為了應對這一挑戰，我們提出了曼哈頓高斯 SLAM (MG-SLAM)，這是一個利用曼哈頓世界假設來提高幾何準確性和完整性的 RGB-D 系統。通過無縫集成來自結構化場景的融合線段，MG-SLAM 可確保在無紋理的室內區域中進行穩健的跟蹤。此外，提取的線和平面假設允許在缺失幾何形狀的區域中戰略性地插入新的高斯函數，從而實現高效的場景完成。在合成場景和真實世界場景上進行的大量實驗表明，這些進步使我們的方法能夠實現最先進的性能，標志著高斯 SLAM 系統功能的顯著提升。

3. 效果展示

MG-SLAM 利用線段在相機姿態估計和場景重建方面實現 SOTA 結果。此外，通過應用結構表面約束，我們通過對缺失的幾何體進行新的高斯插值來增強和完善場景。

在Replica Apartment 數據集場景 frl_apartment_4 上的線段提取結果的消融實驗。

4. 主要貢獻

? 我們提出了 MG-SLAM，這是一種新穎的 RGB-D 高斯 SLAM 系統，它利用了曼哈頓世界假設 [5]。該假設引入了線和平面，用于神經密集型 SLAM 系統的穩健跟蹤、地圖細化和表面補全。

? 我們使用提取的代表平面邊界的線段建立假設表面。這些表面指導我們有效地插入新的高斯函數來填補重建地圖中的間隙和空洞，無縫解決當前高斯 SLAM 系統由于未觀察到的幾何形狀而面臨限制的區域。

? 在大型合成和真實世界數據集上進行的大量實驗表明，我們的系統提供了最先進的 (SOTA) 跟蹤和全面的地圖重建，在真實世界場景中實現了 ATE 降低 50% 和 PSNR 增強 5dB，同時以極高的幀速率運行。這些進步明顯優于以前的高斯 SLAM 系統。

5. 基本原理是啥？

所提出的 MG-SLAM 的兩階段流水線圖示。上部可視化了跟蹤和建圖系統的并行過程。下部展示了場景完成和網格提取的后優化。在曼哈頓世界假設的約束下，MG-SLAM 引入了線段和結構化表面來增強相機姿態估計和地圖重建。我們利用一種特定的策略來融合線段，以確保可靠地識別線特征。高斯表示，包括專用于線段重建的專用損失項。

6. 實驗結果

使用表 1 中的 ScanNet 數據集和Replica-V1 數據集對重建質量進行了定量評估。我們的方法提供了 SOTA 結果，在兩個數據集上的 PSNR 均顯著優于其他基于高斯的方法 4dB。跟蹤評估結果如表 2 所示。我們的方法顯著降低了 ATE RMSE（cm）誤差，比高斯基線提高了 50%。此外，得益于我們的線融合策略，MG-SLAM 還表現出優于傳統 SLAM 系統的跟蹤性能。

為了評估系統在大型室內環境中的穩健性，我們在 Replica Apartment 數據集上評估了 MG-SLAM。該數據集包含廣泛的多房間場景、復雜的物體幾何形狀和跨房間的循環軌跡。表 3 展示了我們的方法與 SplaTAM和 MonoGS在五個選定場景中的渲染質量對比。MG-SLAM 在這些基線上顯示出顯著的改進，特別是在具有兩層八室布局的廣泛公寓 0 場景中實現了 7dB 的改進。這種最佳性能主要歸功于融合線段的加入，這為環路閉合和姿勢優化奠定了堅實的基礎。圖 5 展示了公寓場景的新視圖渲染結果。我們的方法在幾何精度和精細細節豐富度方面比高斯基線有顯著的增強。

7. 總結

在本研究中，我們提出了 MG-SLAM，這是一種基于曼哈頓世界假設的高斯 SLAM 方法。MG-SLAM 采用線段進行穩健的姿態估計和地圖細化。此外，通過利用線段和平面假設，我們可以在缺失幾何的間隙上有效地插入新的高斯函數。大量實驗表明，我們的方法提供了最先進的跟蹤和映射性能。