工程師們一直在試圖搭建更智能、可靠的機器人，比如之前火爆全網、來自波士頓動力公司的機器狗Spot。它可以輕松上下樓梯、搬運重物、巡查街道，等等。

波士頓動力公司機器狗Spot按下把手開門通過

機器狗由一個運行著Android系統的遙控手柄控制，人們可以通過攝像頭隨時查看它的狀態，并提供指引爬上爬下、行走翻身。這當然很棒，但當我們想給機器人傳達更復雜的動作指令時，在手柄上相應的操作就繁瑣了很多。能不能開發出一種更易用、直觀的人機交互方法，能讓我們更輕松地發送指令給機器人呢？與其在一個小屏幕上戳來戳去控制不同的機械參數，能不能直接告訴機器人具體的指令，讓它去做什么呢？

近日，由李飛飛教授及來自斯坦福大學、加州理工、清華大學和英偉達的幾位學者組成的團隊（Yunfan Jiang，Agrim Gupta，Zichen Zhang，Guanzhi?Wang，Yongqiang Dou，Yanjun Chen，Li Fei-Fei，Anima Anandkumar，Yuke Zhu，Linxi Fan）發推，分享他們全新的研究結果：VIMA（Vision-and-Language Navigation with Multi-Modal Transformers），一個使用多模態提示執行各類任務的機械體操作系統。

也就是說，在Prompt中輸入文字、圖片、視頻，或任意的組合，VIMA就可以控制機械臂執行相應的動作。

VIMA將多模態提示用于任務規范

?

VIMA能做什么？場景事例

輸入指令「把形狀一樣的物品放到綠色碗（圖片）里」給VIMA。

VIMA通過分析自然語言提示和圖像提示，識別出所有物品的位置，找到形狀一樣的兩個圓柱體，再找到和綠色碗，最后操作機械臂一次一次把兩個圓柱體放到了碗里。

?

輸入指令「把圖示物品（彩虹方塊）掃到圖示物品（紅框）內，不觸碰圖示物品（黃線）。」給VIMA，系統識別出所有物件的位置，隨后按照指示操作機械臂把彩虹方塊掃到紅框里，不觸碰黃線。

?

最后來看這個例子。

我們甚至可以在prompt教給它新的視覺概念，輸入指令「這是一個zup <灰色方框圖片>，這是一個blicket <灰色十字圖片>。將紅色的wug放在綠色的blicket上。」

VIMA識別到所有物體后，操作機械臂執行相應動作。

?

?

?機械臂系統的組成結構

VIMA主要由以下幾個部分組成：

Transformer編碼器和解碼器：用于對多模態提示進行編碼和機器人臂的控制進行解碼。

視覺和語言模塊：用于處理視覺和語言輸入，并將它們轉換為Transformer可以處理的令牌序列。

動作執行器：用于將機器人臂的控制信號轉換為物理動作，并將其發送到機器人控制器。

數據集和基準：用于評估和比較不同的機器人學習方法，并提供訓練和測試數據。

物理仿真器：用于在虛擬環境中模擬機器人的行為，并提供快速的反饋和調試機制。

這些組件共同構成了VIMA的核心部分，使得它能夠接收多模態提示并執行各種機器人任務。?

在VIMA中，GPT-3模型在第一部分被用作解碼器，用于生成導航指令，以指導機器人在環境中執行導航任務。具體來說，VIMA-GPT是一個僅包含解碼器的架構，它通過對多模態提示進行編碼，自回歸地解碼給定指令和交互歷史的下一個動作，控制機器臂的運動。連接硬件后的VIMA成為了“一個具有體現性的AI代理：它可以感知環境并逐步在物理世界中采取行動。”Fan說到。

?

軟硬件結合的AI系統能做什么

團隊共實現了17個不同的任務，分為6大類：簡單物體操作（Simple object manipulation）、視覺目標達成（Visual goal reaching）、新概念理解（Novel concept grounding）、單次視頻模仿（One-shot video imitation）、視覺約束滿足（Visual constraint satisfaction）、視覺推理（Visual reasoning）。

?Fan在他的推文中提及：“多模態提示使得任務規范對用戶來說更加容易和靈活。通過一個單一的模型，VIMA將視覺目標達成、從視頻演示中進行一次性模仿、學習新概念以及滿足安全約束等多種任務統一起來。而在以前的工作中，每個任務都需要不同的訓練流程。”

作為一個機器人控制的框架，VIMA可以擴展成為極其強大的工具。像是一個實體的小愛同學，在學習完所有的步驟和物品之后，它可以你成為現實生活里的左膀右臂，例如：

家務。告訴它你想吃西紅柿炒雞蛋，VIMA在廚房里找到材料、開火、放糖（北方同學大喜），自動化炒菜。

教育。在學校的自習課替老師回答問題，并在黑板上拿粉筆寫筆記，為學生提供定制練習和反饋。

娛樂。投籃后每次替你撿球送水的女同學，一個VIMA機器人就能替代，甚至更體貼。

當然，上面的例子過于理想了，但并不是不可能實現。

模型結構：編碼-解碼轉換器

?

結語

VIMA作為一個仍在開發中的基礎模型，為智能機械體的發展方向指明了更切實的發展方向。它有可能使機器人更智能、更有用。而如此強大的工具將其所有內容全部開源：代碼、預訓練模型、數據集和物理仿真基準都可以免費獲取和使用！代碼的透明度和可重復性被提高，更多的人可以使用和改進VIMA框架，促進了合作和知識共享，這對推動機器人學習領域的發展起到了巨大的作用。

審核編輯：劉清