?

據(jù)抓取的表示，應(yīng)用場合等可以將機(jī)器人抓取分為2D平面抓取和6-DoF空間抓取，各自又包含很多方法，下面一一介紹。

1、2D 平面抓取：

適合工業(yè)抓取，場景是機(jī)械臂豎直向下，從單個(gè)角度去抓，抓取通常由平面內(nèi)的抓取四邊形，以及平面內(nèi)的旋轉(zhuǎn)角度表示（Oriented 2D rectangle）：

根據(jù)使用的數(shù)據(jù)RGB/Depth不同，又可以分為以下三類：基于RGB，基于RGB+Depth，和基于Depth。

1.1 基于RGB的抓取估計(jì)

數(shù)據(jù)集包括：Cornell數(shù)據(jù)集（http://pr.cs.cornell.edu/grasping/rect_data/data.php）和Jacquard數(shù)據(jù)集https://jacquard.liris.cnrs.fr/，為 人工構(gòu)建；

基于以上的數(shù)據(jù)集，出現(xiàn)了很多方法，代表作是2014-Deep Learing for Detecting Robotic Grasps，2014-Real-Time Grasp Detection Using Convolutional Neural Networks，2018-Real-world Multi-object, Multi-grasp Detection等，首先生成大量抓取框候選，再進(jìn)一步優(yōu)化得到最終抓取；

亞馬遜論文2015-Supersizing Self-supervision: Learning to Grasp from 50K Tries and 700 Robot Hours使用機(jī)器自動(dòng)采集訓(xùn)練集，訓(xùn)練了一個(gè)平面抓取估計(jì)算法，其數(shù)據(jù)集如下：

1.2基于RGB+Depth的抓取估計(jì)

這類方法本質(zhì)上與與RGB方法一致，只是多了Depth通道的信息，代表方法有2017-Robotic Grasp Detection using Deep Convolutional Neural Networks等。

1.3 基于Depth的抓取估計(jì)

代表性方法是2017-Dex-Nex 2.0 Deep Learning to Plan Robust Grasps with Synthetic Point Clouds and Analytic Grasp Metrics，https://berkeleyautomation.github.io/dex-net/，該方法自己構(gòu)建基于深度圖的抓取質(zhì)量數(shù)據(jù)集，訓(xùn)練得到抓取質(zhì)量評估網(wǎng)絡(luò)。在線使用時(shí)，采集當(dāng)前視角下的深度圖，分割目標(biāo)物體對應(yīng)的深度圖，在深度圖上生成上百個(gè)候選抓取位置，得到上百個(gè)抓取位置下的深度圖，每一個(gè)都得到一個(gè)抓取質(zhì)量，選擇質(zhì)量最高的進(jìn)行抓取。其數(shù)據(jù)集和算法流程如下圖所示。

1.4 總結(jié)

這類方法適合固定場合下，從單個(gè)角度進(jìn)行抓取。訓(xùn)練數(shù)據(jù)生成時(shí)，每個(gè)物體在平面內(nèi)的放置情況是有概率分布的；而如果擴(kuò)展到任意視角下，很多視角下的數(shù)據(jù)在訓(xùn)練集中不存在；任意角度下，網(wǎng)絡(luò)本身也不一定能夠?qū)W習(xí)到適合抓取的位置。因此，該類方法不適合從任意角度進(jìn)行抓取。

2、6DoF空間抓取：

平面抓取首先于只能從單個(gè)角度去抓，如果想更加靈活，需要獲取6DoF的抓取姿態(tài)，如下圖。

2.1 代表性方法

近年來的代表性方法包括2017-Grasp Pose Detection in Point Clouds，2018-PointNetGPD：Detecting Grasp Configurations from Point Sets，2019-6-Dof GraspNet：Variational Grasp Generation for Object Manipulation等，都包含兩大模塊：候選抓取位置的篩選，以及抓取質(zhì)量的評估。這類方法思路與Dex-Net2.0相同，但是作用在3D空間。

2017-GPD使用傳統(tǒng)方法進(jìn)行候選抓取位置的篩選，需要滿足抓取器不與物體碰撞，且抓取器內(nèi)部至少存在一個(gè)點(diǎn)；之后基于三個(gè)角度下Depth圖像基于CNN網(wǎng)絡(luò)等進(jìn)行抓取質(zhì)量估計(jì)，如下圖所示。

2018-PointNetGPD (Hamberger University, Jianwei Zhang)也使用傳統(tǒng)方法篩選候選抓取位置，之后不使用深度圖評估抓取質(zhì)量，而是使用抓取器內(nèi)部的點(diǎn)云，使用3D神經(jīng)網(wǎng)絡(luò)PointNet進(jìn)行抓取質(zhì)量估計(jì)，如下圖所示。

2019-6-Dof GraspNet (Nvidia)，對兩大模塊進(jìn)行了改進(jìn)，首先使用大規(guī)模虛擬數(shù)據(jù)進(jìn)行候選抓取位置的Encoder，這樣給定單視角下的點(diǎn)云，能夠Decoder出少量質(zhì)量很高的候選抓取位置；其次，不同于PointNetGPD只對抓取器內(nèi)部的點(diǎn)云進(jìn)行抓取質(zhì)量評估，其對抓取器連同單視角點(diǎn)云，一起使用PointNet++網(wǎng)絡(luò)評估抓取質(zhì)量；最后還對最終抓取位置進(jìn)行了優(yōu)化。其框架如下圖。

2.2 總結(jié)

進(jìn)行空間6-Dof抓取，需要進(jìn)行實(shí)例分割，確保點(diǎn)云準(zhǔn)確，噪聲少，否則影響效果；訓(xùn)練可在虛擬環(huán)境中進(jìn)行，只要虛擬環(huán)境中的3D模型精確，則不使用domain adaption也能在真實(shí)環(huán)境下得到很好的結(jié)果。

該類方法適合任意角度的抓取，然而該類方法的弊端是，盡管使用了Encoder和Decoder的方式生成候選抓取位置，但是單個(gè)角度下獲得的數(shù)據(jù)畢竟有限，而如果能夠?qū)ξ矬w進(jìn)行補(bǔ)全，則使用傳統(tǒng)方法生成候選抓取位置也能夠得到很好的結(jié)果。這類方法在下一章介紹。

3、形狀補(bǔ)全：

3.1代表方法

這類方法也有很多的嘗試，代表方法主要有：2017-Shape Completion Enabled Robotic Grasping，2019-Multi-Modal Geometric Learning for Grasping and Manipulation，2019-Data-Efficient Learning for Sim-to-Real Robotic Grasping using Deep Point Cloud Prediction Networks，2019-kPAM-SC: Generalizable Manipulation Planning using KeyPoint Affordance and Shape Completion等。

2017-Shape Completion Enabled Robotic Grasping是代表性方法，使用3D CNN進(jìn)行shape completion，其框圖如下。

2019-Multi-Modal Geometric Learning for Grasping and Manipulation, (Peter Allen, Columbia University)，根據(jù)觸覺得到對側(cè)的點(diǎn)信息，輔助進(jìn)行修補(bǔ)。

2019-Data-Efficient Learning for Sim-to-Real Robotic Grasping using Deep Point Cloud Prediction Networks（Google Brain and X）使用RGB+Depth作為輸入的網(wǎng)絡(luò)結(jié)構(gòu)，進(jìn)行形狀補(bǔ)全；Video demos can be accessed via https://sites.google.com/site/shapeawaresimtoreal/

2019-kPAM-SC: Generalizable Manipulation Planning using KeyPoint Affordance and Shape Completion (MIT) 使用關(guān)鍵點(diǎn)以及同一類型的3D模型輔助進(jìn)行形狀補(bǔ)全，Video demos can be accessed via https://sites.google.com/view/generalizable-manipulation/

3.2 總結(jié)

這類方法能夠?qū)σ活愊嗨频男螤畹玫讲诲e(cuò)的修補(bǔ)結(jié)果，無法做到任意通用；但如果能夠?qū)σ活愇矬w進(jìn)行了較好的修補(bǔ)，則進(jìn)行候選抓取位置估計(jì)，以及抓取質(zhì)量評價(jià)都可以使用傳統(tǒng)方法。

4、人形抓手

以上方法針對的都是平行兩指抓取器，而當(dāng)前絕大多數(shù)方法，都沒有考慮人形抓手，因?yàn)槠渥杂啥忍吡恕Ｗ霾坏饺我庾ト∫约巴ㄓ茫欢槍ι倭课矬w，或者一類物體，可以得到較好的結(jié)果。

4.1代表方法

2019-Generating Grasp Poses for a High-DOF Gripper Using Neural Networks（Xu Kai, NUDT and University of Maryland at College Park）：

針對25DoF的手形抓取器，依賴完整物體體素模型，訓(xùn)練集使用GraspIt!生成，如下圖，之后使用神經(jīng)網(wǎng)絡(luò)訓(xùn)練模型得到抓取姿態(tài)，其框架如下圖。

4.2 總結(jié)

使用人形抓手進(jìn)行通用抓取太難了，現(xiàn)階段實(shí)現(xiàn)不了。可以針對特定一類物體，實(shí)現(xiàn)類內(nèi)的通用抓取。

編輯：黃飛

?