Facebook AI研究人員將CraftAssist開源,這是一個為Minecraft視頻游戲構建交互式助手機器人的框架。這些機器人使用自然語言理解(NLU)來解析和執(zhí)行人類玩家的文本命令,例如在游戲世界中建造房屋的請求。研究人員可以擴展該框架的模塊化結構,以執(zhí)行自己的ML實驗。
研究團隊在最近的博客文章中對該系統(tǒng)進行了概述。CraftAssist機器人使用與標準游戲客戶端相同的協(xié)議連接到游戲,因此可以執(zhí)行人類玩家可以執(zhí)行的任何操作。機器人使用Minecraft的內置基于文本的聊天界面與其他玩家進行交互。人類可以向機器人發(fā)出命令,包括高級指令,例如“在藍色立方體旁邊蓋房子”。該發(fā)行版的目的是幫助改善人與人工智能的協(xié)作:
該平臺旨在支持對與人類參與者指定和評估的各種任務交互有趣并有用的代理的研究。為了鼓勵更廣泛的AI研究社區(qū)將Craftcraft平臺用于他們自己的實驗,我們正在開放框架,基線助手以及用于構建它的工具和數(shù)據(jù)的外包。
從廣義上講,機器人控制系統(tǒng)由感知和動作選擇子系統(tǒng)組成。感知是將原始傳感器數(shù)據(jù)轉換為更抽象的表示;例如,圖像識別是一種感知任務,它將圖像像素轉換為描述圖像內容的文本標簽。當對包含許多傳感器輸入示例和所需輸出的示例的數(shù)據(jù)集進行訓練時,現(xiàn)代的深度學習模型可以在許多視覺和NLU任務上實現(xiàn)接近人類水平的性能。
動作選擇是機器人“決定”如何與世界互動以實現(xiàn)某個目標的過程。例如,為了贏得圍棋而做出的舉動。許多成功的系統(tǒng)都使用強化學習(RL),在這種學習中,機器人會反復嘗試執(zhí)行任務,每次嘗試都會給出數(shù)值獎勵 結果。游戲是RL的常見測試平臺,因為它們具有明確的動作和結果集,而經過RL訓練的現(xiàn)代機器人在許多不同的游戲中通常都可以勝過人類的頂級能力。某些研究小組(例如Google的DeepMind)將感知和動作選擇子系統(tǒng)組合到一個由受訓者訓練的單一“端到端”系統(tǒng)中深度強化學習,還有許多用于訓練這些系統(tǒng)的虛擬環(huán)境,包括 Facebook開發(fā)的模擬棲息地。微軟已經為Minecraft開源了一個名為Project Malmo的“ AI-gym”界面以及一個大型數(shù)據(jù)集,以鼓勵將Minecraft用作RL研究的測試平臺。
-
機器人
+關注
關注
213文章
31079瀏覽量
222250 -
Facebook
+關注
關注
3文章
1432瀏覽量
58912 -
開源
+關注
關注
3文章
4207瀏覽量
46139
發(fā)布評論請先 登錄
借助NVIDIA Isaac Sim與World Labs Marble加速機器人仿真環(huán)境構建
思必馳助力智元精靈G2重新定義工業(yè)級交互式具身作業(yè)機器人
高精度機器人控制的核心——基于 MYD-LT536 開發(fā)板的精密運動控制方案
NVIDIA助力新一代機器人開發(fā)開源框架
RK3576機器人核心:三屏異顯+八路攝像頭,重塑機器人交互與感知
再掀語音交互革命,廣和通AI解決方案加速機器人聽覺進化
工業(yè)機器人的特點
工業(yè)機器人與協(xié)作機器人概念不同
一個為Minecraft視頻游戲構建交互式助手機器人的框架
評論