本文由來自 Facebook 人工智能研究院的研究員 Dhruv Batra 和 Devi Parikh 共同撰寫，文中介紹了 Facebook 關于自主智能體的最新研究成果——目標驅動自主學習，并且還宣布了開源 EmbodiedQA 和 House3D 數據集.

大多數能夠與人類進行互動的自主智能體（Autonomous agents）都存在一些共同點：它們并不是那么自給自足（Self-sufficient）。例如，一個智能音箱（Smart speaker）雖然可以通過語音接口與人類進行交流并采取一些動作（比如訂購產品），但是它卻無法感知周圍環境。而另一方面，割草機器人雖然具備動作（割草）和感知（通過傳感器）能力，但是它除了不斷閃爍燈光或者發送錯誤信息以外，還無法實現與主人的自由交流。

如果不同時具備三個重要的關鍵因素——感知、溝通和動作，那么自主智能體就無法成為一個全面的助理，而這其中的空白代溝還需要人類參與進來彌補。然而這個問題對于目前的智能體來說似乎并不是什么大毛病，例如，Roomba 機器人如果忽略了通知你有把椅子阻礙了它的清潔路線，這只是一點小困難而不是什么大災難。但是為了讓下一代智能體能融入并改變我們的生活，那么自主系統還需要變得更加自給自足。

訓練人工智能系統時要扔下嬰兒車

為了給那些對人類微觀管理依賴程度較低且更具通用性的系統鋪平道路，Facebook 人工智能研究院（FAIR）開發了一系列用于訓練和測試自主智能體的虛擬環境，以及能夠學習智能探索那些環境的新型智能體。這些智能體將被用來作為模擬機器人而使用，它們是 Facebook 與佐治亞理工學院的研究員合作創建的。使用虛擬智能體和虛擬環境比起將真實的機器人送到現有的室內場所要來得高效得多，因為這需要花費數千臺機器來匹配基于 AI 訓練的運行速度。Facebook F8 會議上關于通過 AI 提高內容的可訪問性的主題演講中簡單介紹過這項工作。

FAIR 的目標是指導系統根據長期計劃采取多種動作，同時還要努力完成所給定的任務。為了取得成功，這些智能體必須在它們的環境中行動，綜合使用感知、導航和溝通的能力去尋找出給定問題的答案，然后使用簡單自然的語言轉達這些答案。對于 AI 來說，這是一個極具挑戰性的問題，如果一旦實現就是朝著自治水平邁出了一步，并且該智能體的適應性也將足以在非結構化的人造世界中發揮作用。

為了測試這種目標導向（Goal-driven）的方法，FAIR 和佐治亞理工學院聯合提出了一個多步驟 AI 任務，稱為「具體化問答（Embodied Question Answering）」或者「EmbodiedQA」。與聊天機器人或者智能音箱相比，此智能體必須在物理環境（盡管是虛擬環境）中去學習和運行，因此稱為「具體化的（Embodied）」。當智能體被問及單一問題時，例如「車子是什么顏色的？」或「我的鑰匙落在了哪個房間里？」，智能體必須能夠理解書面語言，然后用第一人稱相機去感知周圍環境，探索 3D 的室內環境直到找到答案。并且為了使得智能體的自主性更加完善，它還將通過自然語言的方式回復該答案以完成自己的使命。

FAIR 提出了一項新的 AI 任務——具體化問答（Embodied Question Answering）。上圖中在一個 3D 環境中的某個隨機位置產生一個智能體，并給出一個問題（車是什么顏色的？）。為了回答這個問題，智能體必須借助智能導航以探索環境，通過第一人稱（以自我為中心）的視覺收集信息，然后回答問題（橙色）。

FAIR 相信這些是第一個要求 AI 系統綜合展示感知、交流和動作以達成目標的實驗。將完全自主（智能體在沒有人類引導和干預的情況下實現了自主活動）和不熟悉的環境結合起來增加了整個任務的挑戰性。智能體要在隨機的、數以百計的不同樓層平面圖（每個平面都是仿照現實家庭進行建模）中運行，而且不具有在該環境中實踐運行過所帶來的增益，也不曾在類似的地圖上運行過。更難的是，為了回答提出的問題，智能體必須移動，因為問題中的對象也許無法立即看到。

在工作中學習

為了訓練和評估這些智能體，所需的虛擬環境不僅僅要具備交互功能，還要具備多樣化和數量充足的特性，以避免智能體在相同環境中反復運行，這對自主智能體的發展而言是一個更加巨大的挑戰。FAIR 的解決方案稱為 House3D，它是由 45000 個手動創建的模擬室內環境所組成的。House3D 是基于普林斯頓大學的 SUNCG 數據集而創建的，但是 House3D 作為一個完全可導航的位置集合（Fully navigable set of locations），使得智能體能夠同時探索數千個房間，這比起在現實生活空間中訓練具有復雜機械結構的機器人要來得快得多。它也使得我們可以進行可重復性的科學實驗。并且 House3D 還進行了開源，目前可以在 GitHub 上獲取。

為了在 House3D 中每次都能進行獨特的尋寶活動，智能體必須在完成任務的過程中學習一系列核心能力——從對室內物體的識別（沙發、椅子等）到對問題的語言理解。

第一種習得的能力是主動感知（Active perception），或者是智能控制前面像素的能力，因為一開始目標對象不太可能會剛好位于智能體的視線范圍內（圖像通過一個 224x224 分辨率的 RGB 模擬攝像頭采集）。因此，智能體不是被動地感知問題中提及的對象（固定圖像數據集中就是如此），而是通過探索周圍環境主動將目標對象尋找出來。

這項研究的一個創新點在于實現了導航的模塊化方法，該方法將導航任務劃分成了兩個部分。規劃者（Planner）負責選擇移動的方向，例如向左移動，而控制器（Controller）則負責確定在該方向需要移動多遠。這種策略避免了智能體在移動前需要去創建長遠而又詳細的路徑規劃，因為這么干會導致更多的錯誤和更弱的適應性。此外規劃者-控制器（Planner-Controller）這套設置也更適合于強化學習，在這里智能體將根據積極或者消極的反饋來動態調整其導航。

FAIR 的智能體將導航任務分解為一個規劃者（PLNR）模塊和一個控制器（CTRL）模塊。規劃者從卷積神經網絡（CNN）獲得輸入，然后決定所采取的動作。同時控制器將決定繼續執行該動作的時間步變量——從而實現方向和速度之間的解耦合。這使得規劃者能夠在更短的時間內進行更有效的操作，從而減輕了訓練難度。

下一步，智能體必須學會常識推理，然后在一個新的但是卻并非完全陌生的環境中去發揮作用。盡管人們可能知道車庫往往位于房屋的周圍，因此可以通過外部門進入，但是 AI 系統卻需要自己去學習這些知識。隨著在不同的模擬家庭中成功達到目標，智能體必須發展出這種常識，以縮短尋找指定對象然后回答相關問題所花費的時間。

作為常識積累的后續階段，智能體還要學習語言基礎，或者是學習如何把單詞（比如針對對象的描述）與特定的動作聯系起來。例如，當為了找到可能位于車庫中的汽車而搜索車庫時，智能體不會被迫查看每個可能的空間，直到它找到與車庫對應的一組像素為止。恰恰相反，智能體使用「車庫」作為一個行動的指令，然后直接去找到外部門，從而更加高效地定位它的目標。

最后，因為 FAIR 的目標是超越繁瑣的、逐步的人為監督，從微弱和遠期的目標驅動獎勵中學習，所以智能體必須學會的最重要的能力之一是「功勞分配（Credit assignment）」，這意味著智能體能夠知道自己一路上所做的行為哪些是正確的而哪些又是錯誤的。例如，如果詢問「多少個房間里有椅子？」，然后智能體并沒有被明確告知需要檢查每一個房間，甚至沒有被告知要從家中含有椅子的區域開始計算。智能體能夠憑借自己的力量去探索和回答問題，而不需要借助人類提供的詳細的逐步計劃。因此，從它是否正確回答的一個微弱信號來看，它必須自行學習其數百項相互依賴的行動中是哪一項導致了成功。為了增強傳統的強化學習，FAIR 使用模仿學習（Imitation learning，比較智能體的運動與到達目標的可能最短路徑）和獎勵塑造（Reward shaping，通過「變得更近」和「變得更遠」信號隨時間變化而改進智能體的表現）來允許智能體把它真正使命拼湊起來，即便該使命在開始時并不明晰。

讓自主系統更加自主

經過訓練的 EmbodiedQA 智能體與標準序列模型基準（一個 LSTM 導航器）相比，表現的相當合理。

該視頻比較了 FAIR 開發的智能體（名稱為 ACT+Q-RL）與基準的性能表現（名稱為 LSTM+Q）。視頻地址

和 House3D 一樣，FAIR 收集的 EmbodiedQA 數據將進行開源，并且旨在啟發更廣泛的 AI 研究社區內的其它項目。為了給其他研究人員提供完整的背景，FAIR 將人類帶入了這個方程式中。FAIR 和佐治亞理工學院將自主智能體導航與問答的能力與遠程遙控智能體進行了對比，這些遠程遙控智能體由人類（通過亞馬遜的 Mechanical Turk 平臺）進行操控，從而建立了專家級別的基準導航示例。由此產生的數據集包括，與 750 個獨特的、多房間的環境相關的合成產生問題（Synthetically generated questions）。智能體（和人類）準確性的故障以及我們使用的問答生成引擎也將成為 EQA v1 開源版本中的一部分，該版本在不久的將來可以獲取到。

雖然 EmbodiedQA 是只涵蓋了一種目標驅動的自主任務，但是它卻代表了人工智能的高難度（因為它將各種各樣的子任務合并成了一個任務），并且有機會探索采取「行動」的新學習范式，這是成功的先決條件。無法做出決策的智能體——在這種情況下，通過在現實家庭中導航，確定它們收集到了相關的數據，然后傳達它們發現的內容——這種智能體在我們的實驗中是無法完成任務的。

這種挑戰是艱巨的，因為它至關重要。在短期內，目標驅動的算法可以使用自動化來改善 AR 和 VR 的體驗，為可用的接口選項添加直觀的語音交互。但這種基于行為的目標驅動方法的長期影響可能會延伸到自主性上。從數字助理可以根據單一命令（例如，不僅可以預約醫生，還可以重新安排沖突的會議）執行一系列家務事，到災難響應機器人遵循來自第一響應者的簡單語音命令，這種適應性的自動化可能會對我們的生活產生重大影響。