現如今，機器人被越來越多地應用于制造業和倉儲物流領域。但是，在這些工作環境中，工作人員與機器人的活動空間通常被隔離開。因此，如何使人類與機器人之間產生互動尤為重要。

人類與機器人的交流方式不同。具體來說，人類習慣使用語言和手勢進行交流。而機器人則以數字形式交換信息，如，文本命令。這有可能導致人類與機器人之間的交流產生偏差。

增強現實（AR，Augmented Reality）技術能夠將機器人的行為可視化，從而彌補機器人與人類之間的溝通障礙。不僅如此，AR 還提供了高帶寬和模糊性低的可替代通信機制。

目前，基于 AR 的可視化系統都是由人工設計的，會出現可視化信息太多或太少的情況。當可視化信息太少時，用戶會發現 AR 界面無法發揮作用；當可視化信息過多時，對用戶來說，處理相應的信息便相對困難。

?

為了使人類與多機器人之間能夠產生更好的交互體驗，研究者用模仿學習方法實現了 AR 的智能化，開發出名為“模仿學習式 AR 可視化”（VARIL，Visualizations for Augmented Reality using Imitation Learning）技術框架。

美國紐約州立大學賓漢姆頓分校計算機科學系在讀博士生基山·堅登（Kishan Chandan）、本科生杰克·艾伯森（Jack Albertson）、張世琦教授為論文作者。

VARIL 技術輔助人與機器人之間進行有效互動

VARIL 技術能夠輔助人與機器人之間進行有效的互動。它通過分析機器人和人的狀態決策哪些信息、什么時間、以什么形式被可視化。

圖 | VARIL 框架（來源：CoRL）

具體來講，VARIL 技術可以用 AR 接口同時跟蹤多個機器人狀態、動態選擇 AR 可視化動作，包括 AR 幫助搬運工人感知機器人的位置和規劃運動軌跡等。

在 VARIL 中有兩個不同的人類實體，一個是人類工作者的角色，另一個是人類專家。假設一組機器人與一個人類在同一空間工作。這組機器人不斷使用 AR 接口共享狀態和計劃。與此同時，人類能夠使用該 AR 接口跟蹤機器人團隊的狀態。

人類工人與機器人團隊合作，同時完成任務。在進行 VARIL 技術演示的過程中，人類專家參與進來，負責指示在特定時間內可視化（或不可視化）哪些信息。

一旦生成新的策略，AR 智能設備就會更新可視化信息，模仿人類專家演示者建議的操作。值得注意的是，專家只在策略學習階段參與進來，一旦智能設備學習到相關的策略，就不再需要人類專家。

在不同的 AR 可視化策略下完成任務

論文中提到，為探究虛擬人與機器人在不同的 AR 可視化策略下完成任務的情況，研究人員創建出用于模擬倉庫環境的演示平臺（具有內置實驗室）。平臺不僅便于人類與機器人相互協作，而且可以對 VARIL 框架進行經驗評估。

圖 | 虛擬人與機器人在不同的 AR 可視化策略下完成任務（來源：CoRL）

在虛擬的倉庫環境中，研究人員設定 12 個機器人與 1 個虛擬人類合作完成系統交付的任務。機器人的任務是將物體運送到不同的地點（卸貨站），人類幫助等待在卸貨站的機器人卸貨。

圖 | 兩種不同規模的倉庫環境（來源：CoRL）

在沒有 AR 可視化的情況下，人類工人無法獲取機器人的位置以及了解機器人計劃做什么；在 AR 完全可視化的情況下，虛擬人類可能會被視覺指標淹沒；在模仿學習 AR 可視化（VARIL）的情況下，AR 軟件機器人使用學習到的策略，根據人類和機器人的交互動態確定可視化策略。

完成任務后，研究人員收集了 6000 個“狀態-動作”成對數據集。他們還用迭代模仿學習算法在該數據集中訓練 AR 智能化設備。

然后，他們將兩種可視化策略進行了比較。結果表明，隨著模仿學習迭代次數的增加，行動與策略之間的沖突急劇減少。此外，初始策略與訓練后獲得的策略相比，后者可減少機器人的等待時間。

之后，研究者還用 25 個真實參與者評估了 VARIL 是如何影響用戶體驗的。在倉庫中，每個參與者都被要求操作一個虛擬人，并填寫一份主觀評價調查問卷。

圖 | ARROCH 和 CRMIAR 兩種可視化系統（來源：CoRL）

真實人類參與者的實驗結果表明，與文獻中的兩種可視化系統（對照組）生成的基線相比，VARIL 技術能夠顯著提高人類與機器人交互效率，同時減少人類用戶的分心水平。

除了定性評估外，研究者還比較了人類學習期間的任務完成時間。結果顯示，VARIL 技術能夠使人類與多機器人協作團隊的任務完成效率顯著提升，使機器人等待卸貨的時間降低了 15%。

雖然研究人員使用機器人演示 AR 人機交互系統，但是在真實世界中構建和評估這種系統十分困難。

因為，人類工作人員需要在投遞站之間行走。在投遞站中，每個導航操作都可能需要很長時間。更復雜的是，機器人需要實時合作來完成任務，如果其中一個機器人被困在動態障礙上，可能會提前終止試驗。

開源模擬器可以模擬倉庫環境，避免出現上述問題。盡管這樣的模擬器并不能克服人機協作的所有挑戰，但它能夠令 AR 研究人員專注于設計算法，而不是繁瑣的軟件開發工作。

未來，研究團隊還將通過問卷調查的方式進一步評估 VARIL 的用戶體驗，并優化 VR 人機協作系統。

參考資料

Kishan Chandan，Jack Albertson, Shiqi Zhang，CoRL，（2022）.https://kishanchandan.github.io/varil.html

編輯：黃飛

?