0. 這篇文章干了啥？

目前大多數NeRF研究集中在圖像的新視角合成上，而激光雷達則很少被探索。由于激光雷達點云的稀疏性、不連續性和遮擋性，動態場景同時結合了新的空間視角和時間視角合成，重建面臨著相當大的挑戰。與此同時，動態物體的大幅運動使得對齊和重建變得困難。傳統的基于激光雷達的三維場景重建技術直接在世界坐標系中聚合多個稀疏點云幀，并將它們進一步轉換為三角形網格等顯式表面表示。隨后，通過執行光線投射計算激光雷達束與網格表面的交點，從而渲染新視角的激光雷達點云。然而，對于復雜的大規模場景，高質量的表面重建是具有挑戰性的，這可能導致重要的幾何誤差。此外，上述的顯式重建方法局限于靜態場景，并且難以準確地模擬實際激光雷達點的強度或光線掉落特性。

NeRF-LiDAR將圖像和點云模態整合到激光雷達合成中，而諸如LiDAR-NeRF和NFL之類的僅激光雷達的方法探索了在沒有RGB圖像的情況下進行激光雷達重建和生成的可能性。大多數先前的方法直接將圖像NVS流程應用于激光雷達點云。然而，激光雷達點云與2D圖像本質上是不同的，這對當前的激光雷達NVS方法提出了挑戰，以實現高質量的重建：

（1）先前的方法局限于靜態場景，忽視了自動駕駛場景的動態性；

（2）激光雷達點云的龐大規模和高稀疏性對表示提出了更高的要求；

（3）需要進行強度和光線掉落特性建模以實現合成的真實感。

為了克服上述限制，這篇文章提出了LiDAR4D，揭示了提升當前激光雷達NVS流程的三個關鍵見解。為了解決動態物體，引入了從點云導出的幾何約束，并聚合多幀動態特征以實現時間一致性。關于緊湊的大規模場景重建，設計了一個粗到細的混合表示，結合了多平面和網格特征，以重建平滑的幾何和高頻率的強度。此外，采用全局優化來保持區域間的模式以進行光線掉落概率的細化。因此，LiDAR4D能夠在大規模動態場景下實現幾何感知和時間一致的重建。

下面一起來閱讀一下這項工作~

1. 論文信息

標題：LiDAR4D: Dynamic Neural Fields for Novel Space-time View LiDAR Synthesis

作者：Zehan Zheng, Fan Lu, Weiyi Xue, Guang Chen, Changjun Jiang

機構：同濟大學

原文鏈接：https://arxiv.org/abs/2404.02742

代碼鏈接：https://github.com/ispc-lab/LiDAR4D

2. 摘要

盡管神經輻射場（NeRFs）在圖像新視角合成（NVS）方面取得了勝利，但LiDAR NVS仍然很大程度上未被探索。之前的LiDAR NVS方法采用了一種簡單的從圖像NVS方法到LiDAR的轉換，同時忽略了LiDAR點云的動態特性和大規模重建問題。基于此，我們提出了LiDAR4D，一個用于新穎時空LiDAR視角合成的可微分LiDAR-only框架。考慮到稀疏性和大規模特性，我們設計了一個4D混合表示，結合多平面和網格特征，以粗到精的方式實現有效的重建。此外，我們引入了從點云中導出的幾何約束以提高時間一致性。為了實現LiDAR點云的逼真合成，我們將射線丟失概率的全局優化納入其中，以保留跨區域模式。對KITTI-360和NuScenes數據集的大量實驗證明了我們的方法在完成幾何感知和時間一致的動態重建方面的優越性。

3. 效果展示

自動駕駛中LiDAR點云的動態場景。 大規模的車輛運動對動態重構和新穎的時空視圖合成提出了重大挑戰，白點表示自車的軌跡。

KITTI - 360數據集上定性新視角LiDAR點云合成結果。 LiDAR - NeRF無法重建動態車輛。相比之下，LiDAR4D為移動的汽車生成更精確的幾何形狀，即使在較遠的稀疏點云中也是如此。

LiDAR深度重建與合成的定性比較。

4. 主要貢獻

（1）提出了LiDAR4D，一個用于新穎時空激光雷達視角合成的可微激光雷達框架，它可以重建動態駕駛場景并端到端生成逼真的激光雷達點云。

（2）引入了從點云導出的4D混合神經表示和運動先驗，以實現幾何感知和時間一致的大規模場景重建。

（3）全面的實驗證明了LiDAR4D在具有挑戰性的動態場景重建和新視角合成方面的最先進性能。

5. 基本原理是啥？

LiDAR4D概述。 針對大規模自動駕駛場景，利用4D混合表示，將低分辨率的多平面特征和高分辨率的哈希網格特征相結合，實現了有效的重建。然后，通過flow MLP聚合的多級時空特征被輸入到神經激光雷達場中進行密度、強度和射線掉落概率的預測。最后，通過可微分渲染合成新的時空視圖LiDAR點云。進一步地，構造了由點云導出的幾何約束以保證時間一致性，并構造了用于生成真實感的光線下降全局優化。

平面-網格混合表示的4D分解，利用流MLP可以進一步聚合動態特征。

6. 實驗結果

作者在KITTI-360和NuScenes自動駕駛數據集的多樣化動態場景上評估了LiDAR4D。通過全面的實驗，LiDAR4D顯著優于先前最先進的基于NeRF的隱式方法和顯式重建方法。與LiDAR-NeRF相比，在KITTI-360數據集和NuScenes數據集上分別實現了24.3%和24.2%的CD誤差降低。在距離深度和強度的其他度量方面也存在類似的領先優勢。

?

?

7. 限制性 & 總結

盡管 LiDAR4D 在大量實驗中表現出色，但點云的遠距離車輛運動和遮擋問題仍然是開放性問題。與靜態對象相比，動態對象的重建仍存在顯著差距。此外，前景和背景可能難以分離。此外，基于真實世界數據集，NVS 的定量評估僅限于自車軌跡，并且不允許對新穎的空間和時間視圖合成進行解耦。

總體來說，這篇文章重新審視了現有 LiDAR NVS 方法的局限性，并提出了一個新的框架來解決三個主要挑戰，即動態重建、大規模場景表征和逼真合成。LiDAR4D 在大量實驗中證明了其優越性，實現了對大規模動態點云場景的幾何感知和時間一致重建，并生成了更接近真實分布的新穎時空視圖 LiDAR 點云。作者認為，未來更多的工作將集中于將 LiDAR 點云與神經輻射場相結合，并探索動態場景重建和合成的更多可能性。

對更多實驗結果和文章細節感興趣的讀者，可以閱讀一下論文原文~

審核編輯：黃飛