本文是 ICCV 2023 入選 Oral 論文 Grounded Entity-Landmark Adaptive Pre-training for Vision-and-Language Navigation 的解讀。本論文是某智能人機交互團隊在視覺-語言導航（Vision-and-Language Navigation, VLN）領域的最新工作。該工作構建了 VLN 中首個帶有高質量實體-標志物對齊標注的數據集，并提出實體-標志物對齊的自適應預訓練方法，從而顯著提高了智能體的導航性能。

論文題目：

Grounded Entity-Landmark Adaptive Pre-training for Vision-and-Language Navigation

論文地址：

開源數據集：

代碼地址：

https://github.com/csir1996/vln-gela

為解決以上問題，我們提出了一種面向 VLN 的實體-標志物自適應預訓練方法，主要工作與貢獻如下：

1. 我們基于 Room-to-Room（R2R）數據集 [1] 標注實體-標志物對齊，構建了第一個帶有高質量實體-標志物對齊標注的 VLN 數據集，命名為 GEL-R2R；

2. 我們提出一種實體-標志物自適應預訓練 (Grounded Entity-Landmark Adaptive，GELA) 方法，利用 GEL-R2R 數據集顯式監督 VLN 模型學習實體名詞和環境標志物之間的細粒度跨模態對齊；

為了建立指令中實體短語與其周圍環境中相應標志物之間的對齊，我們在 R2R 數據集的基礎上進行了實體-標志物對齊的人工標注，整個流程包括五個階段：

1. 原始數據準備。我們從 Matterport3D 模擬器中采集每個可導航點的全景圖。為了提高標注的效率和準確性，我們在全景圖中標注下一個動作方向，并根據 FG-R2R 數據集 [2] 將每個全景圖與相應的子指令進行對應；

2. 標注工具開發。我們基于 Label-Studio 開發了一個跨模態標注平臺，如圖 2 所示；

3. 標注指南建立。為確保標注的一致性，我們經過預標注之后建立了四個準則來標準化標注指南：

• 對齊準則：指令中的實體短語應與全景圖中的標志物準確匹配

• 自由文本準則：標注自由文本而不是類別

• 文本共指準則：指代相同標志物的實體短語用相同的標簽標注

• 唯一標志物準則：對于一個實體短語，在全景圖中只應標注一個對應的標志物

4. 數據標注與修訂；

如圖 4 所示，方法流程分為三個階段：預訓練（pre-training）、自適應預訓練（adaptive pre-training）和微調（fine-tuning）。我們直接在預訓練模型 HAMT [3] 的基礎上進行自適應預訓練，HAMT 模型由文本編碼器、圖像編碼器、歷史編碼器和跨模態編碼器構成。我們將跨模態編碼器輸出的文本向量、歷史向量和圖像向量分別記為 Z、Y 和 S。我們設計了三種自適應預訓練任務：

實驗結果

參考文獻

[1] Peter Anderson, Qi Wu, Damien Teney, Jake Bruce, Mark Johnson, Niko S ? underhauf, Ian D. Reid, Stephen Gould, and Anton van den Hengel. Vision-and-language navigation: Interpreting visually-grounded navigation instructions in real environments. In CVPR, pages 3674–3683, 2018.

[2] Yicong Hong, Cristian Rodriguez Opazo, Qi Wu, and Stephen Gould. Sub-instruction aware vision-and-language navigation. In EMNLP, pages 3360–3376, 2020.

[3] Shizhe Chen, Pierre-Louis Guhur, Cordelia Schmid, and Ivan Laptev. History aware multimodal transformer for vision-and-language navigation. In NeurIPS, pages 58345847, 2021.