作者：戴沐白?

行人重識別是指在大規模場景中對未經腳本的行人進行身份識別，每個身份的樣本數量往往很少，這通常需要多個采集設備。我們的研究利用低成本的LiDAR解決行人重識別的挑戰。我們構建了LReID數據集，這是第一個基于LiDAR的行人重識別數據集，用于促進利用LiDAR點云進行行人重識別的研究。

2、研究內容

基于激光雷達（LiDAR）的行人重識別。我們利用低成本的LiDAR設備解決了人員再識別中的挑戰，構建了名為LReID的LiDAR數據集，并提出了一種名為ReID3D的LiDAR-based ReID框架。

3、創新

主要體現在以下幾個方面：

首次提出了基于LiDAR的人員再識別（ReID）方法

構建了第一個LiDAR-based ReID數據集（LReID）

提出了LiDAR-based ReID框架（ReID3D）

4、方法

提出了一種基于LiDAR的行人重識別方法，稱為ReID3D。該方法利用預訓練來引導圖形增強編碼器（GCEE）提取全面的3D內在特征。

圖1

ReID3D采用多任務預訓練來引導編碼器學習基于LReID-sync的3D人體特征，如上圖1所示。ReID3D的ReID網絡由基于圖的互補增強編碼器（GCEE）、互補特征提取器（CFE）和時間模塊組成，如下圖2所示。預訓練的GCEE用于初始化ReID網絡。

圖2

基于我們的觀察，可能影響ReID模型性能的關鍵因素是（1）在跨視圖設置下，不同視角導致的信息變化，以及（2）來自單視圖的不完整信息。此外，真實數據的收集和注釋涉及顯著的成本，而模擬數據成本低廉，并且具有豐富和準確的注釋。因此，我們利用模擬數據對編碼器進行預訓練，用于點云完成和SMPL參數學習的任務。我們提出的預訓練方法的整體思路如圖1所示。

5、數學原理

在這篇文章中，有幾個數學公式被用來描述算法和模型的工作原理。

第一個公式是關于點云完成任務的。它表示了通過編碼器將輸入的點云轉換為潛在向量，然后通過解碼器基于來預測完整的點云。公式如下：

第二個公式是關于學習人體特征的。它表示了通過將潛在向量輸入到一個多層感知機（MLP）網絡中，將轉換為預測的形狀參數。公式如下：

第三個公式是關于點云完成任務的損失函數。它使用Chamfer距離（CD）作為預測點云和真實點云之間的差異度量。公式如下：

第四個公式是關于學習形狀參數的損失函數。它使用均方誤差（MSE）作為預測形狀參數和真實形狀參數之間的差異度量。公式如下：

這些公式用于描述算法和模型的訓練過程和損失函數，以及從點云中提取特征的方法。

6、實驗方法與結果

本研究采用了兩種實驗方法：LReID和LReID-sync

LReID實驗方法：

數據集劃分：LReID數據集分為訓練集和測試集，訓練集包含220個身份，測試集包含剩余的100個身份。測試集中有30個身份在低光條件下采集，而70個身份在正常光照條件下采集。

查詢和畫廊集：在測試集中，選擇每個身份的一個樣本作為查詢集，將其他樣本作為畫廊集。

評估指標：使用累積匹配特征（CMC）和平均精度（mAP）作為評估指標，與基于攝像頭的數據集一致。

? ?

LReID-sync實驗方法

數據集生成：使用Unity3D軟件生成LReID-sync數據集，模擬了多個視角的多個同步LiDAR捕捉到的場景中的行人。數據集包括了點云的完整視圖和單個視圖之間的補全注釋，以及SMPL參數。

數據集特點：LReID-sync包含了600個行人的點云數據，每個行人展示了不同的動作、獨特的身體形狀和步態，確保了數據集的多樣性。

預訓練：使用LReID-sync數據集進行預訓練，引導編碼器學習3D身體特征。

評估指標：與LReID相同，使用CMC和mAP作為評估指標。

?

7、還有那些改進？

算法改進：可以進一步改進LiDAR-based ReID算法，提高人物識別的準確性和魯棒性。

數據集擴充：可以進一步擴充LiDAR-based ReID數據集，增加更多的場景、季節和光照條件的樣本。

多模態融合：可以將LiDAR數據與其他傳感器數據（如RGB圖像、紅外圖像等）進行融合，以提高人物識別的準確性和魯棒性。

實時性能優化：可以進一步優化LiDAR-based ReID算法的實時性能，以適應實際應用場景中的實時需求。

跨數據集泛化：可以將LiDAR-based ReID算法在其他數據集上進行驗證和評估，以驗證其在不同數據集和場景下的泛化能力。

8、結論

本研究是第一個關于基于LiDAR的行人重識別的研究，證明了在具有挑戰性的真實世界室外場景中利用LiDAR進行人員再識別的可行性。

審核編輯：黃飛

?