0. 筆者個人體會

今天筆者將為大家分享NVIDIA的最新開源方案FoundationPose，是一個用于 6D 姿態估計和跟蹤的統一基礎模型。只要給出CAD模型或少量參考圖像，FoundationPose就可以在測試時立即應用于新物體，無需任何微調，關鍵是各項指標明顯優于專為每個任務設計的SOTA方案。

下面一起來閱讀一下這項工作，文末附論文和代碼鏈接~

1. 效果展示

FoundationPose實現了新物體的6D姿態估計和跟蹤，支持基于模型和無模型設置。在這四個任務中的每一個上，FoundationPose都優于專用任務的SOTA方案。(·表示僅RGB，×表示RGBD)。這里也推薦工坊推出的新課程《單目深度估計方法：算法梳理與代碼實現》。

2. 具體原理是什么？

為減少大規模訓練的人工工作，FoundationPose利用3D模型數據庫、大型語言模型和擴散模型等新技術，開發了一種新的合成數據生成Pipeline。為了彌補無模型和基于模型的設置之間的差距，FoundationPose利用以對象為中心的神經場來進行隨后的渲染和新視圖RGBD渲染。

對于姿態估計，首先在物體周圍均勻地初始化全局姿態，然后通過細化網絡對其進行細化。最后將改進的位姿轉發給姿態選擇模塊，預測位姿的分數，輸出得分最高的位姿。

3. 和其他SOTA方法對比如何？

YCB-Video數據集上Model-free方案的位姿估計定量結果對比。

YCB-Video數據集上位姿跟蹤的定量對比。這里也推薦工坊推出的新課程《單目深度估計方法：算法梳理與代碼實現》。

對更多實驗結果和文章細節感興趣的讀者，可以閱讀一下論文原文~

4. 論文信息

標題：FoundationPose: Unified 6D Pose Estimation and Tracking of Novel Objects

作者：Bowen Wen, Wei Yang, Jan Kautz, Stan Birchfield

機構：NVIDIA

原文鏈接：https://arxiv.org/abs/2312.08344

代碼鏈接：https://github.com/NVlabs/FoundationPose

審核編輯：劉清