CVPR 2019 接收論文編號公布以來，AI科技大本營開始陸續為大家介紹一些優秀論文。今天推薦的論文，將與大家一起探討一種在視覺語言導航任務中提出的新方法，來探索未知環境。

作者

這篇論文是 UC Santa Barbara 大學（加州大學圣巴巴拉分校）與微軟研究院、Duke 大學合作完成，第一作者系 UC Santa Barbara 大學的王鑫。

據 UC Santa Barbara 計算機科學系助理教授王威廉在其個人微博上發表的喜訊，這篇論文的一作是其組內的成員，獲得了 3 個 Strong Accept，在 5165 篇投稿文章中審稿得分排名第一，并且這篇論文已經確定將在 6 月的 CVPR 會議上進行報告。

這篇論文解決的任務 vision-language navigation（VLN）我們之前介紹的并不多，所以，這次營長會先給大家簡單介紹 VLN，然后從這項任務存在的難點到解決方法、實驗效果等方面為大家介紹，感興趣的小伙伴們可以從文末的地址下載論文，詳細閱讀。

什么是 VLN？

視覺語言導航（vision-language navigation, VLN）任務指的是引導智能體或機器人在真實三維場景中能理解自然語言命令并準確執行。結合下面這張圖再形象、通俗一點解釋：假如智能體接收到“向右轉，徑直走向廚房，然后左轉，經過一張桌子后進入走廊...”等一系列語言命令，它需要分析指令中的物體和動作指令，在只能看到一部分場景內容的情況下，腦補整個全局圖，并正確執行命令。所以這是一個結合 NLP 和 CV 兩大領域，一項非常有挑戰性的任務。

難點

雖然我們理解這項任務好像不是很難，但是放到 AI 智能體上并不像我們理解起來那么容易。對 AI 智能體來說，這項任務通常存在三大難點：

難點一：跨模態的基標對準（cross-modal grounding）；簡單解釋就是將NLP 的指令與 CV 場景相對應。

難點二：不適定反饋（ill-posed feedback）；就是通常一句話里面包含多個指令，但并不是每個指令都會進行反饋，只有最終完成任務才有反饋，所以難以判斷智能體是否完全按照指令完成任務。

難點三：泛化能力問題；由于環境差異大，VLN 的模型難以泛化。

那這篇論文中，作者又做了哪些工作，獲得了評委們的一致青睞，獲得了 3 個 Strong Accept 呢？方法來了~

方法

1、RCM（Reinforced Cross-Modal Matching）模型

針對第一和第二難點，論文提出了一種全新的強化型跨模態匹配（RCM）方法，用強化學習方法將局部和全局的場景聯系起來。

RCM 模型主要由兩個模塊構成：推理導航器和匹配度評估器。如圖所示，通過訓練其中綠色的導航器，讓它學會理解局部的跨模態場景，推斷潛在的指令，并生成一系列動作序列。另外，論文還設置了匹配度評估器（Matching Critic）和循環重建獎勵機制，用于評價原始指令與導航器生成的軌跡之間的對齊情況，幫助智能體理解語言輸入，并且懲罰不符合語言指令的軌跡。

以上的方法僅僅是解決了第一個難點，所以論文還提出了一個由環境驅動的外部獎勵函數，用于度量每個動作成功的信合和導航器之間的誤差。

2、SIL（Self-supervised Imitation Learning）方法

為了解決第三個難點，論文提出了一種自監督模仿學習（Self-supervised Imitation Learning, SIL），其目的是讓智能體能夠自主的探索未知的環境。其具體做法是，對于一個從未見過的語言指令和目標位置，導航器會得到一組可能的軌跡并將其中最優的軌跡（采用匹配度評估器）保存到緩沖區中，然后匹配度評估器會使用之前介紹的循環重建獎勵機制來評估軌跡，SIL方法可以與多種學習方法想結合，通過模仿自己之前的最佳表現來得到更優的策略。

測試結果

1、測試集：R2R（Room-to-Room）Dataset；視覺語言導航任務中一個真實 3D環境的數據集，包含 7189 條路徑，捕捉了大部分的視覺多樣性，21567 條人工注釋指令，其平均長度為 29 個單詞。

2、評價指標

PL：路徑長度（Path Length）

NE：導航誤差（Navigation Error）

OSR：Oracle 成功率（Oracle Success Rate）

SR：成功率（ Success Rate）

SPL：反向路徑長度的加權成功率（Success rate weighted by inverse Path Length）

3、實驗對比：與 SOTA 進行對比，此前在 R2R 數據集上效果最優的方法。

Baseline：Random、seq2seq、RPA 和 Speaker-Follower。

測試結果顯示，RCM 模型的效果在 SPL 指標上明顯優于當前的最優結果。

并且在 SIL 方法學習后，學習效率也有明顯的提高，在見過和未見過的場景驗證集上，并可視化了其內部獎勵指標。

論文地址：

https://arxiv.org/pdf/1811.10092.pdf