近期興起的神經(jīng)輻射場(chǎng)（NeRF）與三維高斯?jié)姙R（3DGS）技術(shù)在視覺(jué)SLAM中展現(xiàn)出令人鼓舞的突破性成果。然而，當(dāng)前主流方法多依賴RGBD傳感器，并且僅適用于室內(nèi)環(huán)境。在大規(guī)模室外場(chǎng)景中的重建魯棒性仍未得到探索。本文提出一種基于立體相機(jī)的三維高斯?jié)姙R大規(guī)模視覺(jué)SLAM系統(tǒng)LSG-SLAM。通過(guò)在EuRoC數(shù)據(jù)集上的廣泛評(píng)估，LSG-SLAM展示了其在大規(guī)模室外場(chǎng)景中的優(yōu)越性能。在KITTI數(shù)據(jù)集上，LSG-SLAM達(dá)到了優(yōu)于現(xiàn)有神經(jīng)網(wǎng)絡(luò)、基于3DGS以及傳統(tǒng)方法的性能。

? 文章：

Large-Scale Gaussian Splatting SLAM

? 作者：

Zhe Xin, Chenyang Wu, Penghui Huang, Yanyong Zhang, Yinian Mao, Guoquan Huang*

? 論文鏈接：

https://arxiv.org/abs/2505.09915

? 編譯：

INDEMIND

01本文核心內(nèi)容

視覺(jué)SLAM是自主機(jī)器人和具身人工智能中空間智能的關(guān)鍵技術(shù)。從地圖表示的角度來(lái)看，SLAM可分為稀疏、密集、隱式神經(jīng)表示和顯式體積表示。傳統(tǒng)的稀疏和密集SLAM系統(tǒng)側(cè)重于幾何映射，并且嚴(yán)重依賴手工特征。此外，這些方法在重建（建圖）過(guò)程中僅實(shí)際記錄了場(chǎng)景中被觀測(cè)到的局部區(qū)域。隱式神經(jīng)表示，特別是神經(jīng)輻射場(chǎng)（NeRF），通過(guò)可微渲染進(jìn)行學(xué)習(xí)，能夠生成高質(zhì)量的新視角圖像。然而，逐像素光線追蹤仍然是渲染速度的一個(gè)重要瓶頸。此外，隱式特征由多層感知機(jī)（MLP）嵌入，可能會(huì)面臨災(zāi)難性遺忘問(wèn)題，且隱式場(chǎng)景不易于編輯。

另一方面，3D高斯?jié)姙R（3DGS）使用高斯點(diǎn)顯式表示場(chǎng)景，3D基本圖形的光柵化使3DGS能夠捕捉高保真度的3D場(chǎng)景，同時(shí)加快渲染速度。SplaTAM通過(guò)消除視圖相關(guān)外觀并采用各向同性高斯點(diǎn)來(lái)提高渲染質(zhì)量。MonoGS采用以地圖為中心的方法，動(dòng)態(tài)分配高斯點(diǎn)以實(shí)現(xiàn)任意空間分布的建模。然而，這些方法使用簡(jiǎn)單的均勻運(yùn)動(dòng)模型來(lái)預(yù)測(cè)先驗(yàn)姿態(tài)，在視角顯著變化時(shí)容易漂移。此外，它們?nèi)狈ο鄯e誤差的顯式閉環(huán)模塊，并且僅在小規(guī)模室內(nèi)環(huán)境中進(jìn)行了測(cè)試。

在本文中，我們開(kāi)發(fā)了一種基于3DGS的大規(guī)模立體視覺(jué)SLAM，LSG-SLAM。這是首個(gè)專門(mén)針對(duì)大規(guī)模（室外）場(chǎng)景設(shè)計(jì)的3DGS-SLAM（圖1）。特別是，我們采用多模態(tài)策略進(jìn)行姿態(tài)跟蹤，以解決幀間大視角變化的問(wèn)題。在姿態(tài)優(yōu)化方面，我們整合了渲染損失和特征對(duì)齊扭曲約束。前者有助于減輕由特征點(diǎn)引起的檢測(cè)和匹配錯(cuò)誤，而后者則緩解了外觀相似性帶來(lái)的不利影響。這些改進(jìn)使我們的方法能夠在低幀率下運(yùn)行，適用于數(shù)據(jù)有限的情況。對(duì)于大規(guī)模場(chǎng)景中的地圖構(gòu)建，我們引入連續(xù)的GS子地圖來(lái)處理由無(wú)界場(chǎng)景和有限內(nèi)存引起的可擴(kuò)展性問(wèn)題。通過(guò)不同GS子地圖中關(guān)鍵幀之間的位置識(shí)別，仔細(xì)檢測(cè)有效的回環(huán)。利用高斯?jié)姙R的光柵化，通過(guò)最小化渲染幀與查詢關(guān)鍵幀之間的差異來(lái)估計(jì)回環(huán)約束，使用與跟蹤相同的損失。此外，基于子地圖的結(jié)構(gòu)細(xì)化模塊在全局姿態(tài)圖和點(diǎn)云調(diào)整之后提高了重建質(zhì)量。

本文的貢獻(xiàn)可概括為：

? 開(kāi)發(fā)了首個(gè)基于3DGS的大規(guī)模環(huán)境立體視覺(jué)SLAM系統(tǒng)，顯著提高了跟蹤穩(wěn)定性、地圖一致性、可擴(kuò)展性和重建質(zhì)量。

? 倡導(dǎo)高效的3DGS渲染以生成新穎視圖，從而更好地進(jìn)行圖像/特征匹配，包括局部和全局匹配，以提升跟蹤和閉環(huán)性能。

? 提出了一種基于子地圖的結(jié)構(gòu)細(xì)化方法，遵循全局位姿圖和點(diǎn)云調(diào)整，以提高重建質(zhì)量。

? 進(jìn)行了廣泛的實(shí)驗(yàn)驗(yàn)證，結(jié)果表明所提方法相較于最先進(jìn)的基于3DGS的SLAM方法，能夠?qū)⒏櫨忍岣?0%，重建質(zhì)量提高50%。

02方法架構(gòu)

所提出的LSG-SLAM是一種立體SLAM系統(tǒng)，它同時(shí)跟蹤相機(jī)姿態(tài)并使用三維高斯點(diǎn)重建場(chǎng)景。圖2描繪了整個(gè)系統(tǒng)架構(gòu)。主要組件包括連續(xù)GS子地圖的同時(shí)跟蹤與建圖、閉環(huán)檢測(cè)以及結(jié)構(gòu)優(yōu)化。

03實(shí)驗(yàn)結(jié)果

我們使用兩個(gè)知名立體數(shù)據(jù)集EuRoC和KITTI進(jìn)行評(píng)估。EuRoCMAV數(shù)據(jù)集包含室內(nèi)外場(chǎng)景，具有劇烈視角變化和大規(guī)模光照變化。大規(guī)模KITTI數(shù)據(jù)集覆蓋城市、鄉(xiāng)村和高速公路等多種場(chǎng)景。

A.EuRoC數(shù)據(jù)集評(píng)估

1.跟蹤性能

表I顯示詳細(xì)對(duì)比結(jié)果，相比其他3DGS方法，LSG-SLAM在低頻圖像下仍顯著提升跟蹤精度。

傳統(tǒng)模型的局限，SplaTAM與MonoGS依賴勻速運(yùn)動(dòng)模型，易漂移；Photo-SLAM依賴ORB特征重投影誤差，但在弱紋理劇烈運(yùn)動(dòng)場(chǎng)景下易失效。

LSG-SLAM采用多模態(tài)先驗(yàn)估計(jì)來(lái)處理劇烈的視角變化，并將渲染損失和特征對(duì)齊扭曲約束相結(jié)合來(lái)進(jìn)行位姿優(yōu)化。前者減輕了由非重復(fù)特征點(diǎn)提取引起的誤差以及弱紋理區(qū)域的影響，而后者減少了在大面積相似區(qū)域中外觀相似性帶來(lái)的誤導(dǎo)效應(yīng)。經(jīng)過(guò)閉環(huán)優(yōu)化后，LSG-SLAM不僅實(shí)現(xiàn)了與ORB-SLAM3相當(dāng)?shù)能壽E精度，而且在具有挑戰(zhàn)性的場(chǎng)景中還表現(xiàn)出更高的重建成功率。

2.建圖質(zhì)量

表II對(duì)比渲染結(jié)果。

我們的方法在渲染質(zhì)量方面優(yōu)于SplaTAM和MonoGS即使沒(méi)有結(jié)構(gòu)細(xì)化模塊，我們的方法也能實(shí)現(xiàn)更精準(zhǔn)的跟蹤精度，從而減少地圖結(jié)構(gòu)誤差。在加入結(jié)構(gòu)細(xì)化模塊后，重建質(zhì)量有了顯著提升，這表明橢球體比球體更能有效捕捉復(fù)雜的紋理細(xì)節(jié)。此外，新增的尺度正則化損失使得峰值信噪比（PSNR）高于原始的3D高斯點(diǎn)云法。

B.KITTI數(shù)據(jù)集評(píng)估

1.跟蹤性能

表V對(duì)比位姿估計(jì)精度，我們的方法優(yōu)于傳統(tǒng)方法和基于學(xué)習(xí)的方法。

基于 3DGS 的代表性方法因內(nèi)存限制無(wú)法完整處理整個(gè)序列。相比之下，通過(guò)基于連續(xù)GS子圖的閉環(huán)，LSG-SLAM能夠在有限資源下重建大規(guī)模場(chǎng)景。

在效率優(yōu)勢(shì)上，LSG-SLAM無(wú)需訓(xùn)練（PVO與DROID-SLAM需數(shù)日訓(xùn)練且泛化性受限）。

2.建圖質(zhì)量

表VI顯示，我們的結(jié)構(gòu)細(xì)化模塊顯著提高了渲染質(zhì)量。

3D高斯?jié)姙R直接優(yōu)化各向異性高斯橢球體，這常常導(dǎo)致浮點(diǎn)數(shù)。相比之下，各向同性高斯球體收斂速度更快，在早期優(yōu)化階段也更不易出現(xiàn)浮點(diǎn)數(shù)。我們的方法首先使用各向同性高斯球體重建場(chǎng)景，學(xué)習(xí)一個(gè)良好的初始值。然后，在結(jié)構(gòu)細(xì)化階段，將球體轉(zhuǎn)換為橢球體以細(xì)化物體表面細(xì)節(jié)。此過(guò)程增強(qiáng)了我們方法對(duì)漂浮物的抗性，從而提高了渲染質(zhì)量。

04總結(jié)

本文提出了LSG-SLAM——這是首個(gè)基于3D高斯?jié)姙R(3DGS)、專門(mén)針對(duì)大規(guī)模場(chǎng)景且僅使用立體相機(jī)的視覺(jué)SLAM系統(tǒng)。其主要組件包括連續(xù)子地圖的同時(shí)跟蹤與建圖、閉環(huán)檢測(cè)以及結(jié)構(gòu)優(yōu)化。所提出的LSG-SLAM顯著提高了跟蹤穩(wěn)定性、建圖一致性、可擴(kuò)展性和重建質(zhì)量。我們的LSG-SLAM在與傳統(tǒng)方法和基于學(xué)習(xí)的方法的對(duì)比中達(dá)到了最先進(jìn)的性能。