疊疊樂是一款家喻戶曉的娛樂游戲。近期，MIT的研究人員發(fā)明了一款機(jī)器手，可以通過視覺和觸覺，毫無壓力的玩轉(zhuǎn)這款游戲。而這項(xiàng)研究的方法，有望推廣到其它類似任務(wù)的領(lǐng)域中。

在MIT3號(hào)樓的地下室，一個(gè)機(jī)器人正在小心翼翼的玩著“層層疊”游戲。

這個(gè)游戲想必大家或多或少都有所接觸。簡(jiǎn)單來說就是在保證積木不倒的情況下，從底部抽取木條，再堆到頂部。會(huì)有一種“釜底抽薪”的感覺。

而這個(gè)游戲?qū)τ谶@個(gè)機(jī)器人來說可以說是毫無壓力。

從視覺、觸覺出發(fā)，快速學(xué)習(xí)執(zhí)行任務(wù)最佳方式

該機(jī)器人由MIT的工程師開發(fā)，配備了一個(gè)軟齒狀?yuàn)A持器、一個(gè)力感應(yīng)腕帶和一個(gè)外部攝像頭。可以說是從視覺和觸覺兩個(gè)方面協(xié)同合作來完成任務(wù)。

當(dāng)機(jī)器人小心地推一塊積木時(shí)，電腦從它的攝像頭和腕帶接收視覺和觸覺的反饋，并將這些測(cè)量值與機(jī)器人之前的動(dòng)作進(jìn)行比較。

它還考慮了這些移動(dòng)的結(jié)果——具體來說，就是考慮是否成功地提取了具有特定配置并以一定力量推動(dòng)的積木。在實(shí)時(shí)情況下，機(jī)器人會(huì)“學(xué)習(xí)”是繼續(xù)推還是移動(dòng)到一個(gè)新的區(qū)域，以防止積木倒塌。

MIT機(jī)械工程系理教授Alberto Rodriguez表示，機(jī)器人展示了以前系統(tǒng)中難以實(shí)現(xiàn)的一些東西：能夠快速學(xué)習(xí)執(zhí)行任務(wù)的最佳方式，不僅從視覺方面，還從觸覺方面做到物體的精確互動(dòng)。

Rodriguez說：“與國(guó)際象棋或圍棋等純粹的認(rèn)知任務(wù)或游戲不同，玩“層層疊這個(gè)游戲還需要掌握探測(cè)、推、拉、放置和對(duì)齊等技能。它需要互動(dòng)的感知和操作，你必須去觸摸積木塔，學(xué)習(xí)如何以及何時(shí)移動(dòng)積木。這是很難模擬的，所以機(jī)器人必須在現(xiàn)實(shí)世界中學(xué)習(xí)，通過與真實(shí)的積木塔進(jìn)行互動(dòng)。關(guān)鍵的挑戰(zhàn)是通過利用關(guān)于物體和物理的常識(shí)來從相對(duì)少量的實(shí)驗(yàn)中學(xué)習(xí)。”

Rodriguez還表示，研究人員開發(fā)的觸覺學(xué)習(xí)系統(tǒng)可以應(yīng)用于層層疊以外的領(lǐng)域，特別是需要仔細(xì)進(jìn)行物理交互的任務(wù)，包括從垃圾填埋場(chǎng)中分離可回收物品和組裝消費(fèi)品。

推、拉動(dòng)作以及堆疊積木是關(guān)鍵

推、拉

在這個(gè)實(shí)驗(yàn)中， 54個(gè)矩形塊被堆疊成18層，每層三塊，每層中的塊垂直于下面的塊。

游戲的目的是小心地提取一個(gè)塊并將其放置在塔頂，從而建立一個(gè)新的水平，而不是推翻整個(gè)結(jié)構(gòu)。

為了讓機(jī)器人來玩層層疊，傳統(tǒng)的機(jī)器學(xué)習(xí)方案可能需要捕獲積木、機(jī)器人和塔之間可能發(fā)生的所有事情，但這是一項(xiàng)昂貴的計(jì)算任務(wù)，需要數(shù)千甚至數(shù)萬次積木提取嘗試的數(shù)據(jù)。

相反，Rodriguez和他的同事們受人類認(rèn)知和我們自己玩游戲的方式的啟發(fā)，為機(jī)器人學(xué)習(xí)玩層層疊尋找了一種更有效的數(shù)據(jù)方式。

該團(tuán)隊(duì)定制了一個(gè)符合行業(yè)標(biāo)準(zhǔn)的ABB IRB 120機(jī)器人手臂，然后在機(jī)器人范圍內(nèi)設(shè)置了一個(gè)積木塔，并開始了一個(gè)訓(xùn)練期，其中機(jī)器人首先選擇一個(gè)隨機(jī)區(qū)塊和一個(gè)位于該區(qū)域上的位置以進(jìn)行推動(dòng)。 然后它施加少量的力以試圖將塊推出塔外。

對(duì)于每次嘗試，計(jì)算機(jī)記錄相關(guān)的視覺和力測(cè)量，并標(biāo)記每個(gè)嘗試是否成功。

該機(jī)器人不是進(jìn)行數(shù)萬次這樣的嘗試，而是在大約300次嘗試中進(jìn)行訓(xùn)練，嘗試進(jìn)行類似的測(cè)量，并將結(jié)果分組，代表特定的行為。

例如，一個(gè)數(shù)據(jù)集群可能代表對(duì)難以移動(dòng)的塊的嘗試，而不是一個(gè)更容易移動(dòng)的塊，或者在移動(dòng)時(shí)推翻了塔。 對(duì)于每個(gè)數(shù)據(jù)集群，機(jī)器人開發(fā)了一個(gè)簡(jiǎn)單的模型，以根據(jù)當(dāng)前的視覺和觸覺測(cè)量來預(yù)測(cè)塊的行為。

這種聚類技術(shù)大大提高了機(jī)器人學(xué)習(xí)玩游戲的效率。

堆疊

研究人員在使用模擬器MuJoCo進(jìn)行的游戲計(jì)算機(jī)模擬中，將他們的方法與其他最先進(jìn)的機(jī)器學(xué)習(xí)算法進(jìn)行了對(duì)比。在模擬器中獲得的經(jīng)驗(yàn)告訴研究人員機(jī)器人在現(xiàn)實(shí)世界中學(xué)習(xí)的方式。

論文作者Oller說：“我們?yōu)檫@些算法提供了我們系統(tǒng)獲得的相同信息，以了解他們?nèi)绾螌W(xué)習(xí)、如何在相似的水平上玩層層疊。與我們的方法相比，這些算法需要探索數(shù)量級(jí)更多的塔來學(xué)習(xí)游戲。”

由于好奇他們的機(jī)器學(xué)習(xí)方法與真正的人類玩家相比如何，該團(tuán)隊(duì)在幾個(gè)志愿者中進(jìn)行了一些非正式的試驗(yàn)。

Oller說：“我們觀察了人類在積木塔倒塌之前能夠提取積木的個(gè)數(shù)，結(jié)果差別并沒有那么大。”

但如果研究人員想讓他們的機(jī)器人與人類玩家競(jìng)爭(zhēng)，還有很長(zhǎng)的路要走。除了物理上的交互作用，Jenga還需要一些策略，例如只提取正確的塊，這將使得對(duì)手很難在不推翻塔的情況下拉出下一個(gè)積木塊。

目前，該團(tuán)隊(duì)對(duì)開發(fā)機(jī)器人來取得層層疊游戲冠軍并不感興趣，而更關(guān)注于將機(jī)器人的新技能應(yīng)用到其他應(yīng)用領(lǐng)域。

Rodriguez說：“有很多我們用手做的事情，感覺‘正確的方式’來自于力量和觸覺暗示的語言。對(duì)于這樣的任務(wù)，類似于我們的方法可以解決這個(gè)問題。”

這篇論文發(fā)表在Science子刊——Robotics，有興趣的讀者可以復(fù)制下方鏈接閱讀全文。