雷達點云動態目標分割算法研究分析

作者：泡椒味的口香糖??

0. 筆者個人體會

視覺也好，激光也好，如何剔除動態物體的影響都是一個很麻煩的課題。一方面要檢測動態物體，另一方面要建立去除干擾的靜態環境地圖。現有的動態物體剔除的工作其實有很多了，但是都有一個問題：如何解決分割的假陽性和假陰性。其實這也是CV很經典的問題"如何信任深度學習的結果"。

今天給大家介紹的這篇工作就解決了這個問題，來源于2023 IROS，它將當前幀的Lidar掃描和局部地圖都輸入到網絡中，以此來修正歷史幀的漏檢和誤檢。

這篇文章其實和之前2021 RAL/IROS"Moving Object Segmentation in 3D LiDAR Data: A Learning-based Approach Exploiting Sequential Data"的工作有點相似，陳謝沅澧也是兩篇文章的共同作者，感興趣的小伙伴可以追一下陳博的Github（https://github.com/Chen-Xieyuanli）。

注：本文使用MOS作為Moving Object Segmentation的簡稱。

1. 效果展示

算法將雷達點云做為輸入，可以直接判定點是否屬于動態物體。還能構建Volumetric Belief地圖（可以理解為存儲每個點是否動態的概率），構建完地圖以后可以直接對點進行查詢。但筆者覺得最重要的一點是，它可以修正歷史幀的假陽性和假陰性判據，這一點是很多算法沒有涉及的。

再來看一看動態環境下建圖的結果，實心圓表示地圖中動態物體的殘留痕跡，虛線圓表示由于假陽性預測而被4DMOS移除的靜態區域。整體來看，建立的動態環境地圖還是很干凈的。

算法已經開源了，感興趣的小伙伴可以去試試，下面來看具體的論文信息。

2. 摘要

在未知環境中導航的移動機器人需要時刻感知周圍環境中的動態物體，以便進行建圖、定位和規劃。對當前觀測中的運動物體進行推理，同時對靜態世界的內部模型進行更新以確保安全是關鍵。在本文中，我們解決了在當前3D LiDAR掃描和環境局部地圖中聯合估計運動物體的問題。我們使用稀疏的4D卷積從掃描和局部地圖中提取時空特征，并將所有3D點分割為移動和非移動點。此外，我們提出使用貝葉斯濾波器將這些預測融合在動態環境的概率表示中。這種Volumetric Belief模型表示環境中的哪些部分可以被運動對象所占據。我們的實驗表明，我們的方法優于現有的運動目標分割基線，甚至可以推廣到不同類型的LiDAR傳感器。我們證明了在在線建圖場景中，我們的Volumetric Belief融合可以提高運動目標分割的精度和召回率，甚至可以檢索到先前丟失的運動目標。

3. 算法解析

算法的整體目標是識別當前Lidar掃描和局部地圖中的動態物體，并融合生成一個概率 Volumetric Belief圖。

Lidar點云過來以后，首先使用KISS-ICP（參考https://github.com/PRBonn/kiss-icp）進行注冊，并對點云進行體素化，之后再進行分割。Scan2Map的輸入為當前幀Lidar掃描和局部地圖（居然不需要位姿）點云的4D信息（位置+時間戳），使用4D卷積網絡MinkUNet進行動態目標預測，最后將預測結果融合到Volumetric Belief圖中。其使用的分割思想有兩個：

（1）動態物體的Lidar掃描和局部地圖有差異；

（2）動態物體上點云的時間戳的變化和靜態點不同；

引入時間信息有啥好處呢？

由于遮擋、有限FoV等因素，動態目標在短時間內很有可能是有遮擋的，如果使用固定長度的滑窗就沒辦法處理！而且這里還使用了一個trick，就是對序列的時間戳進行歸一化處理，避免訓練時對序列長度過擬合！

那為啥還要輸入局部地圖信息，而不僅僅是當前的Lidar掃描呢？

這里主要是考慮到分割的假陰性和假陽性問題。如果之前幀沒有成功識別動態物體，那么還可以通過局部地圖來回溯錯誤。

最后Volumetric Belief就是一個將多個獨立預測隨時間進行融合的過程。需要特別注意的是，這個Volumetric Belief存儲的并不是每個點的預測，而是環境中哪部分有更高的概率包含動態對象。也就是說，不僅僅是要識別當前點是否為動態對象，還要確定地圖的哪一部分被動態對象經過了（Dynamic Occupancy）。舉個例子，就是如果一個點落入了動態體素中，那么就假設這個點也屬于動態物體，如果一個體素被靜態點占據，那么也就不再期望在這個體素中觀察到動態物體。Volumetric Belief建立完成以后，也就可以根據概率查詢其中哪個點是動態點。

4. 實驗

作者所做的實驗，其實是圍繞四個點來進行：

（1）基于過去觀測的局部地圖，將輸入的LiDAR掃描精確地分割成動態和非動態的物體；

（2）在實現最新性能的同時，很好地推廣到新的環境和傳感器設置；

（3）通過將多個預測融合到Volumetric Belief中，提高MOS的精度和召回率；

（4）通過Volumetric Belief從錯誤的預測中恢復到在線建圖。

就數據集來說，作者除了在Semantic KITTI和Semantic KITTI MOS（參考https://codalab.lisn.upsaclay.fr/competitions/7088）這兩個動態數據集上進行實驗，還標注了KITTI Tracking、Apollo Columbia Park MapData、nuScenes這三個數據集中的子序列。評估指標就是分割任務常用的IoU。

先看一下在Semantic KITTI和Semantic KITTI MOS上的運動物體分割結果，分別對比了只是用當前幀（Scan）以及帶有10幀的局部地圖（Volumetric Belief）。驗證集效果很好，但是測試集提升其實不太明顯。效果比4DMOS好也就證明了使用時間信息對MOS是有利的。這里LMNet就是陳博之前的工作，RVMOS性能好是因為使用了額外的標簽訓練。

泛化性實驗很有價值，主要還是因為MOS是有監督任務，并且標注成本極高（也推薦一個半監督點云分割框架https://ldkong.com/LaserMix）。LMNet和MotionSeg3D性能很差，是因為對Lidar安裝位置和點云強度過擬合了。而4DMOS和作者的方法只是用時間信息，因此可以適應新的Lidar內參標定。