相關工作

(TSDF-Fusion, DI-Fusion) 首先介紹一下這個TSDF-Fusion，這個是一種非常經典的顯示表達，最早于1996年提出。它是在每一個voxtel里面都會存TSDF值，也可以存顏色值。存儲的是在一個很密集的一個個網格中，其保存的幾何清晰程度與網格的分辨率相關。如果我們想得到一個比較好的結果，即不在TSDF這一步出現精度損失的話，那么則需要一般512左右的分辨率，也就是說要存512*512*512這么多個網格數據。更新方式如圖1所示，是通過帶DS圖來進行融合更新。

圖1 TSDF更新方式 然后我們講一個非常新的方法是DI-Fusion，分為mapping跟tracking這兩個部分。Mapping部分是是單純前向計算的方法，并不急于優化，而是提前已經訓練好編碼層和解碼層。 編碼層輸入的就是點的體素范圍內的點坐標和法線，然后進行編碼后得到一個特征，再通過解碼出來這個SDF的值。如果是續接有很多張深度圖，則在訓練時候已經加入這個更新的過程，來更新特征。tracking有兩部分： SDF的loss和基于顏色的intensity warp loss。 基于幾何SDF的loss是最小化當前輸入的深度圖，根據帶優化的相機外參反投到點云對應的SDF值，然后這個SDF值按理說是應該接近于0， 所以我們就最小化SDF值。SDF值可以由特征通過解碼層得到。基于顏色的優化目標是當前幀的圖片根據這個帶優化的相機外參wrap到前一幀對應的顏色應該是相同的。

IMAP

IMF的動機是要做一個輸入為RGB-D的，只用MLP作為場景唯一表達的實時的SLAM系統。這篇文章主要有3個創新點，首先它是第一個用神經影視表達的稠密實時SLAM系統，同時能夠同時優化整個的MLP表達的三維地圖。其次它是能夠增強隱式神經網絡的訓練，還能夠進行關鍵幀選擇和loss指導采樣上。最后，它是并行實現的，能直接的連上RGB-D相機從而在線跑數據。

接下來講一下這個system overview，如圖2所示。

圖2 IMF系統概述 上面一行是tracking，下面一行是mapping。tracking是對于新來的每一幀都要優化出它的相機位置，這個tracked pose就是他優化好的相機位置，現在判斷新來的這一幀是不是keyframe，如果是的話，則加入keyframe set里面。之后，更新隱式的表達和相機的參數。他使用的是一個單MLP的結構，feature size為256，輸出是和nerf一樣的color和volume density，可以渲染deeps圖和color圖。 首先是occupancy probability：，這個是通過一個類似激活函數的變換，得到occupancy，之后就能計算光線到這個點的截止概率，然后我們得到這個權重(類似一個加權平均)，如果加到這個deeps上，其實就渲染一張deeps圖。如果是加到顏色上的，那么就可以把這個顏色圖給渲染出來。此外還要算一個是deeps variance:， 這個是整條ray上深度的方差，即對每個采樣點求方差再加權。 接下來看看這個Joint optimization和camera tracking。前一個是用在mapping里，后一個是前端的那個tracking。Joint optimization是隱式表達幾何的MLP的所有參數和選中的這些keyframe的相機外參。 光度損失為，然后將所有像素光損失平均起來就是，幾何損失也一樣。 同時這兩個損失之間是有一個平衡權重，也就是我們最小化的一個目標，θ是整個MLP的參數，ti的集合是所有相機的外參。 ? ? 接下來講解keyframe selection。先假設每一次已經有一個新keyframe已經加載完成，我們拿到當前整個網絡參數的備份就類似當前地圖的一個快照，然后我們每新來的一幀，就從這個快照里面渲染一張depth圖。它不需要渲染整個depth圖，就能得到統計規律。 所以渲染一部分depth的pixel就跟grand truth的depth pixel相減，然后看這一幀這多少區域是已被lock區域表達。如果小于這個閾值，則說明這一幀看的地方是比較新的，那么就把它加到keyframe list或者keyframe set里面。 IMF還有一個比較好的貢獻是active sampling。首先是image active sampling，就比如 我們要把一張待優化的圖片，可以將它分成一個個bin，先均勻采樣并渲染出來，得到loss的分布，若loss相差較大則根據lost distribution來分配每個bin中的pixel數量。另外一個是keyframe active sampling，首先它是有一個全局的keyframe set，但每次mapping的時候，只選常數個frame，這個選法是能設計一種機制或隨機選，然后加入到mapping中。 然后講一下他的實驗部分，首先這個就是他渲染出來的結果還有keyframe tracking跟ground truth之間的對比。首先它是跟TSDF fusion進行的比較，但TSDF fusion只是一個mapping的方法，所以要給一個相機位置。這樣跑完之后可以發現就是TSDF fusion的accuracy是最低的，加粗的就代表是最好的結果。

NICE-SLAM

接下來講解這個NICE SLAM，這個是CVPR2022的一個方法。先看一下這個demo，給定手持相機捕獲的RGB-D序列，NICE SLAM可以在大規模的室內場景中生成密集的集合以及準確的相機跟蹤，實現這一點的關鍵組件是神經隱式表達，給定空間中的點p來訓練神經網絡，以表示該點的不同場景屬性。例如有符號、距離場或顏色值。

神經隱式表達可以捕獲高保真的幾何，然后還可以渲染很高清晰度的圖片，然而，幾乎所有這種方法都被認為是離線的工具，通常需要數小時或者數天的訓練或者優化，并且是已知相機位置的。IMAP首次展示了使用單個多層感知器及MLP作為神經隱式場景表達的在線RGB-D SLAM system，對于這樣一個小房間，IMAP可以持續學習的方式進行同時估計相機位姿和密集的場景幾何。但他們使用單個大MLP作為場景的唯一表達，因此存在以下問題。 首先，由于容量有限，當場景變大時IMAF會失敗。其次，每個新的輸入RGB-D幀都可以更新整個MLP，因此會遇到遺忘的問題。最后，優化整個MLP非常慢，尤其是當MLP變得很大時。 相比之下，NICE SLAM對場景表達進行了簡單而非常有效的改進，NICE SLAM優化分層特征網格，并結合不同空間層級下域訓練的微型MLP的歸納偏差，使用這種表達，使得NICE SLAM在大規模室內場景中表現良好，解決了網絡遺忘問題，同時保證了更少的運行時間，可以快速收斂。 接下來介紹這個系統的pipeline，如圖3所示。

圖3 NICE SLAM整體框架 給定RGB-D序列，NICE SLAM能同時估計相機位姿和場景的三維幾何，即表示為分層特征網格。首先根據相機參數隨機采樣射線，沿每條射線，進行3維點的采樣，并使用3線形插值提取每個點的特征，接著使用微型的MLP預測光線上三維點的占用值跟顏色值，最終使用類似nerf的體渲染方程，沿射線去核，生成深度跟彩色圖像。 我們關注輸入跟生成圖像之間的重渲染損失，由于渲染過程是可微的，能夠以交替方式反向求導最小化重渲染損失，通過優化分層特征網格來實現建圖(也就是mapping)，通過優化相機參數來實現跟蹤。 這個微型MLP的解碼器是作為網絡的一部分進行了預訓練，occupancy network由一個CNN的編碼器和一個MLP的解碼器組成，與其相同，我們在訓練的時候也是使用了預測值跟真實值之間的交叉商損失來訓練編碼器解碼器。訓練后NICE SLAM使用解碼器MLP，這樣在優化特征網格時，預訓練的解碼器可以利用從訓練集中學習到的特定先驗來指導優化。 接下來仔細講講，在圖3中，首先coarse level對應的網格的分辨率是比較大的，會單獨的出一個occupancy，也是單獨會渲染一張coarse的depth圖，是只用在沒有觀測到的那部分的幾何上，但訓練是用觀測到的depth圖來進行訓練。然后中間的這層，首先是middle level，它對應的是一個分辨率中等的一個特征網格，從中拿到feature和點坐標，然后經過MLP得到了一個occupancy值，我們的fine-level是在他基礎上要預測出來一個residual，那么他是從更高的分辨率里去得到feature，同時他還把中等分辨率結合起來通過MLP，這兩個occupancy就疊加起來，得到這個fine level occupancy。 最終是顏色，它是要需要分辨率比較高的網格，而且高頻的細節比較多，我們是只從這個features grid里面取到feature，然后跟點坐標經過MLP，拿到color prediction。我們最終是通過這個渲染，跟nerf一樣的渲染器，能渲染出來depth跟colorful。需要注意的是這個幾何MLP是進行局部的更新。 下面來看一些結果。首先，在replica數據集與復現的IMAP進行比較，即使在較小的室內場景中，NICE-SLAM也能產生更準確的幾何和相機的跟蹤。接下來是一個相對比較難一點的ScanNet數據集，相比于IMAP跟DIF fusion，我們的相機跟蹤更為穩健。 與IMAP相比，NICE SLAM新穎的場景表示不僅提高了建圖和跟蹤的質量，同時需要更少的計算，從圖4中可以看出，NICE SLAM只需要IMAP 1/4的flops。而值得一提的是，即使對于非常大的場景，NICE SLAM所需要的flops也保持不變，這是因為我們只在當前相機視錐內的這些feature我們進行優化。相反由于IMAP使用單個MLP，MLP容量限制導致其在處理更大型的場景時會需要更多的參數，從而會導致更多的flopes。

圖4 計算復雜度對比

未來工作

接下來講講神經隱式表達未來的一些工作。首先加入loop closer，這個是一個比較難加的一個東西，尤其是在場景很大的時候。其次如何加入Global BA是一個很有意思的點。 同時我們可以自適應的去分配voxels。如果是能延展到室外場景就更好了，因為室外場景會影響key next sensor，所以我們得看看怎么樣。還有一點期望是怎么樣能讓相機的跟蹤比傳統方法還好或者跟傳統方法一樣好。

編輯：黃飛

?