本周于預印服務器Arxiv.org上發(fā)表的一篇論文中，來自Google Brain，Google X和加州大學伯克利分校的研究人員組成的團隊描述了對現(xiàn)有AI方法的擴展，這些方法使諸如代理人之類的代理人成為可能。決定執(zhí)行上一個動作時要采取的動作。其思想是，模仿人或動物行為的行為模型將在將來導致更健壯，更不易發(fā)生故障的系統(tǒng)。

研究人員指出，盡管AI算法已經(jīng)在視頻游戲，機器人抓取和操縱任務中取得了成功，但大多數(shù)算法都使用了阻塞性的“觀察-思考-行動”范例-代理假定其環(huán)境在“思考”時保持靜態(tài)，因此其行動將在計算它們的相同狀態(tài)下執(zhí)行。這在仿真中是適用的，但在現(xiàn)實世界中則不然，在現(xiàn)實世界中，環(huán)境狀態(tài)隨著代理程序處理觀測結(jié)果并計劃其下一個動作而變化。

團隊的解決方案是一個可以在機器學習上下文中處理并發(fā)環(huán)境的框架。它利用標準的強化學習公式-通過獎勵推動代理人達到目標的公式-其中，代理人從一組可能的狀態(tài)中接收一個狀態(tài)，并根據(jù)策略從一組可能的操作中選擇一個操作。環(huán)境返回從過渡分布和獎勵中采樣的下一個狀態(tài)，以便代理學習從每個狀態(tài)最大化期望的收益。

除了上一個動作之外，還有兩個附加功能-動作選擇時間和走動向量(VTG)-有助于封裝并發(fā)知識。(研究人員將VTG定義為在測量環(huán)境狀態(tài)時立即執(zhí)行的最后一個動作。)并發(fā)動作環(huán)境在執(zhí)行前一個動作時以及捕獲狀態(tài)之后捕獲狀態(tài)。并且該策略將選擇一個操作并執(zhí)行該操作，而不管先前的操作是否已完成-即使必須中斷先前的操作。
?

研究人員在真實世界的機械手臂上進行了實驗，他們的任務是抓取并移動垃圾箱中的各種物體。他們說，他們的框架取得了與基線阻止模型相當?shù)淖ト〕晒Γ蔷筒呗猿掷m(xù)時間(衡量策略的總執(zhí)行時間)而言，它比阻止模型快49%。此外，并發(fā)模型能夠執(zhí)行比基線更平滑的軌跡。

共同作者寫道：“并發(fā)方法可能允許在動態(tài)環(huán)境中進行機器人控制，在這種環(huán)境中，機器人無法在計算動作之前停止環(huán)境。”“在這些情況下，機器人必須真正地同時思考和行動。”

這項工作是在Google領導的一項研究之后進行的，該研究描述了一種AI系統(tǒng)，該系統(tǒng)從動物的動作中學到了東西，從而使機器人具有更大的靈活性。合著者認為，他們的方法可以促進機器人的發(fā)展，該機器人可以完成現(xiàn)實世界中的任務，例如在多層倉庫和履行中心之間運輸物料。
責任編輯；zl