借助現代人工智能算法，多旋翼無人機可以成為智能代理，在未知環境中導航。給定目的地，無人機可以控制環境，重建環境地圖并動態規劃到目的地的軌跡。這項工作的目的是構建一個端到端的網絡用于研究和教育目的的模擬環境。這里，端到端指的是在一個模擬器中驗證所有感知、反應和控制算法的能力(圖1a)。

(a)模擬器的系統概述

(b) 無人機在模擬器中，右側圖像是來自車載攝像頭的實時彩色和深度圖像

(c) 在未知環境中單擊并飛行導航(藍色路徑為已行駛路徑，紅色路徑為從當前位置到目的地的全局計劃路徑)

基于流行的ROS-Gazebo-PX4工具鏈，我們進行了幾項改進，以滿足無人機v-SLAM和導航模擬的要求(圖1b)。這些改進包括：(a)構建仿真空間，(b)定制無人機模型，(c)添加立體攝像機模型，以及(d)配置基于視覺的控制設置。在本文的最后，我們演示了一個端到端的無人機導航模擬(圖1c)。

概述

在機器人世界中，機器人操作系統(ROS)無疑是最方便的平臺，它提供了強大的開發工具和軟件包，從驅動程序到最先進的算法。此外，許多導航套件都有ROS版本包，集成起來非常方便。此外，開源機器人模擬器Gazebo是ROS中使用最廣泛的模擬器。我們選擇了廣泛使用的開源無人機自動駕駛儀堆棧PX4。它支持軟件在環(SITL)仿真。我們的仿真平臺基于ROS-GAGEBO-PX4工具鏈。

圖2 仿真框架

如圖2所示，上部是SITL模擬器，底部是地圖和導航系統。所有組件通過不同的ROS主題進行協調。尤其是導航系統和PX4之間的通信是通過MAVROS實現的。

機載傳感器

在3DR-IRIS模型的基礎上進行了改進，我們添加了一個深度攝像頭，并定制了IMU傳感器，以支持視覺慣性姿態估計器。這里我們介紹相機和IMU模型。機身和IMU的坐標定義如圖3所示。

圖3 修改后的3DR-IRIS模型以及視覺傳感器和IMU的安裝幾何結構(參考框架中的X-Y-Z軸用紅色、綠色和藍色表示)

模擬空間設置

首先，我們在一個20×20米的空空間中添加了障礙物，比如墻壁和盒子。然后，為了滿足v-SLAM模擬的要求，我們為所有這些項目和地平面提供了墻紙，墻紙包含豐富的視覺特征，如圖4所示。

圖4 有障礙物的20×20米模擬空間(墻紙包含豐富的視覺功能以支持視覺跟蹤)

定位

我們整合了FLVIS，一種由我們團隊開發的立體視覺慣性姿態估計器，作為定位套件(圖5)。與其他單目v-SLAM方法相比，立體視覺慣性姿態估計器具有魯棒性、準確性和尺度一致性等優點。

圖5 FLVIS在模擬中，圖像中的標記指的是地標，不同的顏色指的是地標和相機之間的距離

地圖重建

如圖6所示，模擬器中集成了一個全局本地映射工具包“glmapping”。該地圖工具包是一個3D占用像素地圖，專為MAV或移動機器人導航應用而設計。

圖6 Rviz中全球/本地/ESFDs地圖的可視化。在全球地圖中，顏色(藍紫色)表示障礙物的高度;ESFDs地圖的顏色(紅黃綠)表示有符號的距離值;高亮顯示的白色球體指的是本地地圖

路徑規劃

我們集成了fuxi Planner作為我們的路徑規劃工具包。全局規劃器處理二維全局柵格地圖，以找到最短的二維路徑，并為本地規劃器輸出本地目標。本地規劃器直接在點云上工作避免與障礙物的潛在碰撞，并為局部目標規劃一條運動學上可行的軌跡。

我們控制無人機探索20米×20米的未知環境。這次探索任務耗時7分24秒，無人機在模擬世界中飛行了82米。然后評估定位和繪圖工具包的性能。從圖7中可以看出，地面真值路徑和定位工具包中的估計路徑之間非常一致。我們使用Michael Grupp提供的工具來評估定位工具包的準確性。以均方根誤差(RMSE)形式表示的平移漂移的絕對軌跡誤差(ATE)為0.3m。

圖7 比較地面真實情況和定位工具包中的估計姿勢

我們捕獲模擬世界的圖像，并從不同的視圖重建地圖。圖8和圖9顯示了它們與地圖細節之間的良好一致性。地圖的像素大小為0.2×0.2×0.2米。

圖8 模擬世界的自頂向下視圖(左)和映射工具包生成的投影二維占用柵格地圖(右)

圖9 模擬世界的斜視圖(左)和映射工具包重建的地圖(右)

我們進一步將路徑規劃工具包集成到模擬中，只在地圖上給無人機一個想要的目的地。然后，無人機將規劃路徑，避開障礙物，并自動飛往目的地。如圖10所示，任務期間設置了六個航路點。無人機監控環境，規劃一條路徑，以完全自動地按順序訪問這些航路點。飛行路線與最近的障礙物保持安全距離，以避免碰撞。

圖10 點擊并飛行導航(藍色路徑是行進路徑，圖像中的白色標記是給定的路徑點)

飛行結果表明，該模擬器能夠提供可靠的數據流，并為自主功能開發提供了多功能接口。我們提供了所有供公眾使用的套件，以促進基于該框架的自主無人機系統的進一步研究和開發。

原文標題：用于視覺SLAM 和導航的端到端無人機仿真

文章出處：【微信公眾號：機器視覺智能檢測】歡迎添加關注!文章轉載請注明出處。

審核編輯：湯梓紅