作者：Khang Nguyen ,Tuan Dang等

作者機構：Robotics Laboratory, Department of Computer Science and Engineering, University of Texas at Arlington, Arlington

本文提出了一種用于具有雙目視覺的自主機器人的三維語義場景感知的端到端流程。該流程包括實例分割、特征匹配和點集配準。首先，利用RGB圖像進行單視圖三維語義場景分割，將2D數據集中的常見對象類封裝為物體實例的點云。然后，根據RGB圖像中感興趣對象之間的匹配關鍵點提取兩個連續分割點云的3D對應點。此外，利用核密度估計（KDE）估計的分布對每對3D點進行加權，從而在解決點云之間的剛性變換時給出了更少中心對應點的魯棒性。最終，在7自由度雙臂Baxter機器人上測試了該流程，結果表明機器人可以成功分割對象、在移動時注冊多個視圖并抓取目標對象。

讀者理解：

這篇文章介紹了一種用于移動協作機器人的RGB-D感知的端到端處理流程。該流程包括實例分割、特征匹配和對齊，旨在幫助機器人在移動過程中理解場景并執行操作。文章提出的方法首先對場景中感興趣的對象進行分割，并在機器人移動時匹配連續的RGB圖像中的特征，然后利用深度圖獲取3D對應關系。通過統計加權這些3D對應關系，使用核密度估計（KDE）進行剛性點云對齊。實驗結果表明，在實際機器人上進行的測試中，機器人能夠成功地理解場景并抓取目標物體，驗證了所提出方法的有效性。文章的主要貢獻在于提出了一種綜合性的處理流程，為移動機器人在復雜環境中的感知和操作提供了重要參考。

1 引言

本文介紹自我中心視覺在機器和人類視覺中的重要性，特別是在密集環境中的作用。為了改善自主機器人的操作任務，需要對感興趣物體的空間信息進行三維感知。目前的分割和配準任務通常是分開進行的，但同時部署這兩個過程會導致計算成本高昂。因此，本文旨在實現輕量級的自我中心3D分割、特征匹配和場景重建流程，以提高基于視覺的室內移動協作機器人的性能。已有的工作主要集中在學習圖像之間的匹配特征，但對于室內移動協作機器人，還需要關注感興趣對象的空間占據信息。為了填補先前工作的空白并改善基于視覺的移動協作機器人的3D語義場景感知，本文提出了三項貢獻：

（1）一種提取和統計加權3D對應點以進行剛性點云對準的穩健方法，

（2）一種用于具有雙目視覺的自我中心機器人的端到端分割、特征匹配和全局配準流程，

（3）使用真實機器人系統進行測試，以驗證提出方法的正確性。

2 自我中心的3d對象分割

本節提出了一種算法，用于自我中心地在RGB-D幀中分割物體。該算法首先從圖像流中獲取深度圖像D和RGB圖像I，然后分割出I中的感興趣對象以獲得對象的掩碼MI。接著，對D進行孔填充以保證結果質量，然后與I相對齊。隨后，處理對齊深度幀Dalign的像素，以校正MI之外的深度像素，并將其轉換為PM中的點。最后，通過刪除深度圖像中可能由孔造成的異常值來清理PM。

3 特征檢測與匹配

本節介紹了自我中心3D物體分割中特征檢測和匹配的算法。首先，將1D位置嵌入應用到2D域中，以提高特征提取學習過程，并設計了特征提取網絡。然后，利用分割掩碼提供SuperPoint每個對象的掩碼RGB圖像，以確保特征掃描區域在掩碼區域內。接著，為兩個連續幀中的每個對應對象創建相應對象的掩碼RGB圖像，并在每對圖像上應用重新訓練后的SuperPoint，以提取和匹配每個對象實例內的2D關鍵點。最后，聚合匹配的特征并計算點云之間的3D對應關系。這一方法避免了特征在不相關對象之間的匹配，并且提高了物體實例的準確性和一致性。

4 點云對齊與配準

本節詳細介紹了點云對齊與配準的過程，主要包括兩個關鍵步驟：3D對應關系的重要性加權和剛性運動的點云對齊。

3D對應關系的重要性加權：

權重初始化：根據每個點周圍特定半徑內的鄰近點數初始化該點的權重。

密度估計：使用KDE和ISJ算法估計未知分布的密度，以獲得魯棒性。

權重更新：根據密度函數更新每個點的權重，以更好地表示其重要性。

剛性運動的點云對齊：

計算平移向量：計算加權質心，用于平移點云。

計算旋轉矩陣：通過奇異值分解得到旋轉矩陣，用于旋轉點云。

定義剛性變換矩陣：將平移向量和旋轉矩陣組合成剛性變換矩陣。

點云對齊：應用剛性變換矩陣，將兩個多視點云進行對齊。

5 實驗

SuperPoint with Positional Embedding的性能：在MS COCO 2014數據集上，使用2D位置嵌入重新訓練了SuperPoint，并在MagicPoint標記的興趣點上進行了微調。通過對圖像進行調整和增強，如隨機亮度和對比度、高斯噪聲、陰影和運動模糊，訓練了具有128維度的位置嵌入的SuperPoint。訓練過程在NVIDIA RTX 4090 GPU上進行了10個時期（300,000次迭代）。實驗結果顯示，SuperPoint在HPatches數據集上表現出色，具有較強的魯棒性，尤其在亮度變化和視角變化等常見場景下。

多角度下的點云對齊誤差：通過在距離場景2米的平面表面上移動攝像機，包括0°（初始位置）、±10°、±20°、±30°和±45°等不同角度，計算了兩個對應點集Kt?1和Kt之間的均方根誤差（RMSE）。實驗結果表明，隨著偏移角度的增加，RMSE變大，同時證明了KDE在減小對齊誤差方面的有效性。

在Baxter機器人上的部署實驗：

實驗設置：在Baxter機器人上安裝Intel RealSense D435i RGB-D相機，并設置了一個桌子、一把椅子、一個包和兩個塑料杯的場景。

機器人移動與多視角拍攝：Baxter先站在一個位置拍攝一個視角，然后移動到另一個角度拍攝另一個視角，其運動由Dataspeed移動底座支持，通過ROS消息進行同步。

多視角點云分割與對齊：在捕獲多視角點云后，Baxter首先對場景中的對象進行分割，然后匹配兩個視圖之間的3D對應關系，最后解決了權重3D對應關系的剛性對齊，最終獲得了對場景的理解。

靠近和抓取目標物體：Baxter演示了使用3D語義場景感知進行機器人抓取的可行性，當目標物體在機器人的工作空間內時，Baxter可以有效地抓取這些物體。

在傳統硬件上的時間復雜度：使用OpenVINO庫在Intel HD Graphics 4000上部署了YOLOv8n，評估了分段、關鍵點提取和匹配、關鍵點加權以及點云對齊等步驟的時間復雜度和運行時間。

?

6 結論

本研究提出了一種用于RGB-D感知移動協作機器人的端到端流程，包括實例分割、特征匹配和對齊。通過在實際機器人上進行的實驗，驗證了該方法的有效性，機器人能夠理解場景并執行操作。

?

審核編輯：黃飛

?