0. 這篇文章干了啥？

機器人能否像人類一樣利用有限的度量和空間信息進行導航呢？目前，大多數機器人的導航系統依賴于詳細的幾何地圖和精確的度量定位。然而，人類通常可以憑借著抽象的、不準確的環境表示（例如手繪草圖或基于語言的指示）以及對自己位置的近似語義概念，找到前往目的地的路線。這種技能的一個關鍵因素是我們能夠使用導航行為來表示和導航環境，這些行為是語義行動抽象，如向左轉或沿走廊前進。人類可以使用幾何不準確的地圖或表示，因為這些地圖依然可以抽象地捕捉環境中的路徑，作為導航行為序列：例如，平面圖可以讓我們推斷出轉彎和沿走廊行動的抽象序列，以達到給定房間的目的，盡管它們缺乏現實感。我們還可以感知導航機會，即在當地環境中執行導航行為的潛力，并將它們用作我們位置的非度量、視覺線索：例如，觀察到附近的交叉口只能讓我們左轉和前進，可以暗示我們在建筑物中的位置。我們假設使用導航行為來表示和遍歷環境賦予了機器人利用有限的度量和空間信息進行導航的能力。

為了測試這一假設，我們設計了一個基于場景動作地圖（SAM）的導航行為系統，SAM是一個由關鍵位置（節點）和導航行為（邊）連接而成的拓撲表示，支持非度量規劃和定位。特別是，我們提出了一個可學習的地圖閱讀管道，從各種現成的環境二維地圖中提取SAM，例如手繪草圖和平面圖。雖然許多系統難以使用這些地圖，因為它們存在度量上的不準確和抽象性，但我們的系統利用了這些地圖中編碼的底層SAM，從而利用了這些豐富的現有地圖信息。

視覺導航的先前工作已經證明了學習類人導航行為和與之相關的導航機會定位的實用性，并在此基礎上，我們實現了一個使用SAM的行為導航棧，并將其部署到真實機器人上，以驗證從地圖中提取的SAM對導航的有用性。具體來說，我們使用DECISION控制器的避障導航行為，并為基于導航機會的定位改進了圖形定位網絡。我們從手繪地圖、平面圖和衛星地圖中"讀取"SAM，并證明這些提取出的SAM可用于有效的實際導航。

下面一起來閱讀一下這項工作~

1. 論文信息

標題：Scene Action Maps: Behavioural Maps for Navigation without Metric Information

作者：Joel Loo, David Hsu

機構：新加坡國立大學

原文鏈接：http://arxiv.org/abs/2405.07948

代碼鏈接：https://scene-action-maps.github.io/

官方主頁：https://scene-action-maps.github.io/

2. 摘要

人類在沒有度量信息的情況下導航能力非凡。我們可以閱讀抽象的2D地圖，比如平面圖或手繪草圖，并利用它們在未見過的豐富3D環境中導航，而無需先前的遍歷來詳細繪制這些場景。我們認為，這是通過將環境抽象地表示為相互連接的導航行為來實現的，例如"沿走廊前進"或"向右轉"，同時避免了在度量級別上詳細、準確的空間信息。我們引入了場景行動地圖（SAM），這是一個行為拓撲圖，并提出了一種可學習的地圖閱讀方法，將各種2D地圖解析成SAM。地圖閱讀從現有的、抽象的和不準確的地圖中提取出關于導航行為的顯著信息，這些地圖從平面圖到草圖不等。我們通過在四足機器人上構建和部署行為導航堆棧來評估SAM在導航中的性能。視頻和更多信息可在此網址獲得：https://scene-action-maps.github.io/。

3. 效果展示

我們提出了一個可學習的地圖閱讀系統，該系統從現有的二維地圖中提取場景行動地圖，用于行為導航。

4. 基本原理是啥？

我們考慮在機器人之前可能沒有見過或探索過的環境中導航到目標的任務。這自然需要導航具有有限的度量和空間信息，因為缺乏先前的數據意味著規劃和定位可能無法獲得詳細的幾何地圖。然而，我們假設可以訪問到環境的現有的2D地圖，例如平面圖、手繪地圖和衛星地圖。盡管它們可能是抽象的和不準確的，但它們保留了有關環境的導航方面的信息，對規劃和定位是有用的。

這個任務的一些關鍵挑戰包括指定目標、使用一系列抽象、不準確的地圖進行規劃和定位。我們的方法是從地圖中提取環境的行為拓撲圖，即場景動作圖（SAM），并用它導航。我們假設可以訪問一組像DECISION一樣的導航行為，它們能夠進行局部障礙物避讓，并且足夠多樣化，可以讓我們到達目標環境的大部分地方。我們的離線地圖閱讀系統是一個可學習的流水線，它可以根據特定的行為集從各種2D地圖中提取SAM。在線行為導航系統接收在SAM上指定的目標，規劃SAM上的路徑并執行它。由于我們不能依賴于準確的度量信息，我們使用基于能力的定位和學習的導航行為。

將fep應用于標記為橙色的節點：1) 使用?_edge和Sinkhorn預測軟分配矩陣，2) 閾值處理以生成出射邊。

5. 實驗結果

我們收集了3種地圖類型的數據：手繪地圖（Hand）和校園建筑的平面圖（Flr），以及工業區域的衛星地圖（SatMap）。對于Hand和Flr數據集中的地圖，我們進行手動注釋。對于SatMap地圖，我們使用OpenStreetMap的道路/交叉口信息進行注釋。我們為每種地圖類型訓練了一個單獨的地圖閱讀模塊實例。為了回答Q1，我們在留出的數據集上進行測試：Hand/Flr各有4張地圖，每張地圖平均有27個節點和64條邊，SatMap有1張大型地圖，包含137個節點和414條邊。我們計算了3個任務的精度和召回率：（A）預測節點/變點，（B）僅預測邊（忽略行為的正確性），以及（C）預測邊以及它們關聯的行為。直觀地說，（B）顯示了環境的結構和連接性被捕捉的程度。（C）進一步檢查每條邊的分配行為是否與人工注釋的地圖相符。結果見表I。

我們的節點預測在所有地圖類型上都能很好地預測變點。從質量上來看，?node能夠可靠地捕捉地圖中的視覺特征，如交叉口或轉彎，在使用DECISION行為集時可以指示變點。失敗主要發生在環境結構不夠明確的開放區域，導致更多的假陽性和假陰性。SatMap的相對較低的召回率分數主要是由于交叉口等特征被高樓遮擋在密集建筑區域中，導致更多的假陰性。我們的邊緣預測在任務（B）上表現良好，特別是在SatMap上，因為衛星地圖中固有的豐富視覺信息。較低的召回率分數表明fep的主要限制在于偶爾無法識別有效邊緣。與（B）相比，任務（C）的性能較低表明，雖然?edge能夠很好地學習節點之間的可達性，但學習正確的視覺特征來分配正確的行為要困難得多。這一觀察得到了支持，即大多數失敗都涉及將前進行為錯誤地分配為轉彎行為，反之亦然。我們連接節點和邊的預測，并在圖4中端到端生成SAMs。

我們的方法可以追蹤出捕捉地圖拓撲的連接圖，相當準確。雖然預測的SAMs中存在一些噪音 - 如缺失的變點、標記錯誤的邊緣等 - 但我們證明這些SAMs仍然可以有效用于行為導航。我們通過展示，可以使用"嘈雜"的預測SAMs進行有效的行為導航，這些SAMs可能包含諸如用錯誤行為標記的邊緣或缺少節點/邊緣等缺陷（見圖4）。我們評估了SLS和SLS-Aug在嘈雜的SAMs上，其中SLS-Aug使用了我們提出的數據增強方法訓練的GLN，以提高噪聲魯棒性。我們從表II中得出兩個結論。首先，當用預測的嘈雜SAMs替換人工注釋的SAMs時，導航性能幾乎沒有受到不利影響，這表明SLS系統在人工注釋和預測的SAMs之間最多只見到少量的PC下降。從經驗上看，SLS和SLS-Aug似乎對常見的噪聲模式 - 即在交叉口處缺失邊緣或混淆的前進和轉彎行為 - 具有魯棒性，并且通常能夠利用剩余的正確拓撲特征來定位和導航。其次，我們的數據增強方法提高了包含噪音和偽跡的預測SAMs的定位和導航性能。在預測的SAMs上，SLS-Aug通常優于其他測試設置，甚至在人工注釋的SAMs上也優于SLS。總的來說，即使在包含多個變點轉換的100米Hard路線上，SLS-Aug在預測2D地圖的SAMs上顯示出了有希望的性能，從而證實了從2D地圖預測SAMs以在現實世界中定位和導航的可行性。

6. 總結 & 未來工作

我們引入了場景行為地圖，這是一種用于導航的行為拓撲表示。我們認識到，常見的預先存在的地圖，如平面圖，通常編碼了有關導航可供性和行為的信息，并提出了一個"地圖閱讀"系統，從這些地圖中提取SAMs。我們還展示了從草圖和平面圖中提取的SAMs進行有效的現實世界導航。SAMs做出了一種權衡：通過受限于特定行為集（因此機器人動力學）來減少對度量信息的依賴。相比之下，幾何地圖需要準確的數據，不能從抽象輸入構建，但足夠豐富地表示世界，以使得具有各種機器人動力學的導航成為可能。在未來的工作中，我們打算在室外環境中測試我們的系統，并將更豐富的信息源納入SAMs中。