Residual Squeeze-and-Excitation Network with Multi-scale Spatial Pyramid Module for Fast Robotic Grasping Detection
会议:(ICRA 2021年)
论文链接
摘要
提出了一种利用300×300深度图像作为输入的高效全卷积神经网络来生成机器人抓取。具体而言,引入了残差–挤压–激励网络(RSEN)进行深度特征提取。在RSEN块之后,开发了多尺度空间金字塔模块(MSSPM)以获取多尺度上下文信息。每个RSEN块和MSSPM的输出被组合为分层特征融合的输入。然后,对融合后的全局特征进行上采样,进行像素级学习,实现抓取姿态估计。在Cornell和Jacquard抓取数据集上的实验结果表明,该方法在获得96.4%和94.8%的抓取检测准确率,同时,推理速度为5ms,这在准确性和运行速度之间取得了平衡。我们的方法在UR5机器人手臂上也获得了90%的物理抓取成功率。
1. 引言
抓取检测的目的是通过抓取对象的视觉信息,为机器人找到合适的抓取姿态,为后续的规划和控制过程提供可靠的感知信息,实现成功抓取。抓取是机器人领域中一个广泛研究的课题,所使用的方法可以概括为分析方法和经验方法。其理论基础是扎实的,但其不足之处在于,真实三维世界中的机械手与抓握对象之间的模型是复杂的。相比之下,经验方法并不严格依赖于真实世界的建模方法,一些工作利用来自已知对象的数据信息来建立模型来预测新对象的抓取姿势[2]、[3]、[4]。[5]中提出了一种新的抓取表示法,其中使用一种简化的面向五维的矩形抓取表示法来代替七维抓取姿势,该姿势由板材夹持器的三维位置、三维方向以及打开和关闭夹持器的开口距离组成。基于面向矩形抓取配置,深度学习方法可以成功应用于抓取检测任务,主要包括基于分类的方法、基于回归的方法和基于检测的方法[6]。图1显示了两种抓持表示的比较。
在目标检测方面取得巨大成功的两阶段深度学习方法[7]、[8]、[9]已被修改为执行抓取检测任务。例如,[10]引用了目标检测领域中Faster-RCNN[9]的一些关键思想,以从输入的RGB-D图像执行机器人抓取。此外,其他工作,如[11]、[12],基于一阶段目标检测方法[7]、[8],在康奈尔抓取数据集[5]上实现了高精度抓取检测。虽然这些基于目标检测的方法在机器人抓取检测中取得了更好的精度,但它们基于水平矩形框的设计不适合角抓取检测任务。它们大多具有复杂的网络结构,因此很难在检测精度和速度上达到很好的平衡。本文开发了一种轻量级的残差挤压和激励网络,该网络具有多尺度空间金字塔模块,用于机器人快速抓取检测。挤压和激励网络(RSEN)是通过结合残差学习和通道注意机制构建的。具有不同速率参数的多个扩张卷积形成多尺度空间金字塔模型(MSSPM)。在对输入深度数据进行下采样后,从RSEN和MSSPM生成分层特征。所有这些不同的特征将自适应地融合,以获得有意义的特征,从而提高网络模型的准确性。在两个公共数据集Cornell和Jacquard上的实验结果表明,该方法运行速度快,检测精度高。使用UR5机器人手臂,我们在真实环境下也获得了90%的抓取成功率。
2. 相关工作
对于二维平面机器人的抓取,抓取约束在一个方向上,方法可分为基于有向矩形的抓取表示方法和基于接触点的抓取表示方法。我们将在下面回顾相关工作。
A.基于方向矩形的抓取表示方法
基于分类的方法:文献[13]提出了第一种基于深度学习的机器人抓取检测方法。作者通过使用两个深度网络的两步级联结构获得了很好的结果。在[14]中,通过采样抓取位置和相邻图像块来估计抓取建议。通过将夹角分为18个离散角度来预测抓取方向。由于抓取数据集很少,因此需要一个称为Dex-Net 2.0的大型仿真数据库[15]。基于dex-net2.0,抓取质量卷积神经网络(GQ-CNN)用于对潜在抓取进行分类。虽然网络是在合成数据上训练的,但所提出的方法在现实世界中仍能很好地工作。此外,在[16]中提出了一种基于分类的空间变压器网络(STN)机器人抓取检测方法。在康奈尔抓取数据集上的评估结果表明,他们的多级STN算法性能良好。基于分类的抓取检测方法更直接、更合理。
基于回归的方法:基于回归的方法是通过训练模型,直接预测位置和方向的抓取参数。文献[17]提出了第一种基于回归的单次抓取检测方法,其中作者使用AlexNet提取特征,并通过消除搜索潜在抓取的过程实现实时性能。结合RGB和深度数据,在[18]中介绍了一种多模态融合方法。通过融合RGB和深度特征,该方法直接回归抓取参数,提高了在康奈尔抓取数据集上的抓取检测精度。与[18]类似,[19]的作者使用ResNet作为主干,集成RGB和深度信息,进一步提高抓取检测的性能。此外,文[4]提出了一种基于感兴趣区域(ROI)的抓取检测方法,该方法根据ROI特征回归抓取姿势,在目标重叠挑战场景中取得了较好的性能。基于回归的方法是有效的,但其缺点是它更倾向于学习标注真实框并抓取平均值。
基于检测的方法:许多基于检测的方法都参考了目标检测的一些关键思想,如锚定盒。基于这些锚箱的先验知识,简化了抓取参数的回归问题。在[20]中,视觉和触觉传感融合在一起,构建了机器人抓取的混合体系结构。作者使用锚箱进行轴对齐,并将抓取角度估计作为一个分类问题来预测抓取方向。[20]中使用的抓取角估计方法由[10]扩展。通过将角度估计转化为分类问题,[10]中的方法实现了高抓取检测精度基于Faster-RCNN的康奈尔大学数据集[9]。与用于目标检测的水平锚箱不同,[21]的作者专门设计了一种用于抓取任务的定向锚箱机制,并通过结合端到端全卷积神经网络改进了模型的性能。此外,[22]进一步扩展了[21]的方法,并提出了一种在Jacquard数据集上表现更好的深层神经网络体系结构。
B.基于接触点的抓取表示方法
基于有向矩形的抓取表示在机器人抓取检测任务中有着广泛的应用。对于实际的板材抓取任务,夹具不需要太多的信息来执行抓取动作。文献[23]介绍了一种新的简化的基于接触点的抓取表示法,它由抓取质量、中心点、方向角和抓取宽度组成。基于这种抓取表示,GGCNN和GGCNN2被开发用于预测抓取姿态,并且它们的方法在检测精度和推理速度方面都取得了优异的性能。参考[23],在[24]中,完全卷积神经网络以像素方式改善抓取检测性能。[23]和[24]都以深度数据为输入,而[25]中提出了一种生成残差卷积神经网络来生成抓取,该网络以n-channel图像为输入。最近,文献[26]的作者从图像分割中获得了一些想法来执行三指机器人抓取检测。与[26]类似,在[27]中开发了一个方向注意抓取合成(橙色)框架,该框架在基于GGCNN和Unet模型的Jacquard数据集上获得了更好的结果。
3. 方法
A.抓取代表性
g
=
{
x
,
y
,
θ
,
w
,
h
}
g=\left \{ x,y,\theta,w,h\right \}
g={x,y,θ,w,h}
B. 网络架构
介绍了一种用于机器人抓取检测的轻量级全卷积神经网络,如图2所示。输入深度图像通过下采样块来提取特征。下采样块由3x3卷积层和2x2最大池化层组成,公式如下:
x
d
=
f
m
a
x
p
o
o
l
(
f
c
o
n
v
k
(
f
c
o
n
v
k
−
1
(
.
.
.
f
c
o
n
v
0
(
I
)
.
.
.
)
)
)
x_d=f_{maxpool}(f^k_{conv}(f_{conv}^{k-1}(...f^0_{conv}(I)...)))
xd=fmaxpool(fconvk(fconvk−1(...fconv0(I)...)))
其中,
I
:
I:
I:显示输入深度图像,
f
c
o
n
v
、
f
m
a
x
p
o
o
l
f_{conv}、f_{maxpool}
fconv、fmaxpool分别表示卷积滤波器和最大池滤波器。使用两个下采样块来获得图像特征
x
d
x_d
xd。第一个下采样块由4个卷积层(k=3)组成,内核大小为3x3,1个最大池层,内核大小为2x2。最后一个下采样块由2个卷积层(k=1)组成,内核大小为3x3,最大池层相同。
… …
C.多尺度空间金字塔模块
D.层次特征融合
E.损失函数
4. 实验
在前面的工作[4]、[10]、[25]、[32]之后,我们使用矩形度量作为精度度量来评估我们的机器人抓取检测方法。具体而言,所提出的模型在两个公共数据集Cornell[5]和Jacquard[33]上进行了验证。实验结果表明,该算法仅以深度数据为输入,预测精度高,推理速度快。
A.数据集
在选项卡中。一、 它提供了这些数据集的摘要。我们选择其中两个作为评估模型的基准。详情如下:
Cornell grasping dataset:
Jacquard grasping dataset:
B.实施细节
每个输入图像在被送入网络之前被缩放到300×300的大小。同时,对相应的抓取标签进行编码,用于训练和学习。具体来说,我们使用sin(2θ)和cos(2θ)的形式来表示夹钳的角度和宽度,以表示夹钳的打开和关闭距离。通过搜索最大抓取质量的位置获得抓取框的中心坐标,其中对应区域的像素值设置为1,其他像素设置为0。
C.康奈尔大学数据集的实验结果
D.在Jacquard数据集上的实验结果
E.网络参数大小的比较
F.失效案例分析
G.对真实机器人的评估
5.结论
在这项工作中,我们提出了一种轻量级的剩余挤压和激励网络,该网络带有多尺度空间金字塔模块,用于机器人快速抓取检测。通过有效的网络设计,我们的模型在参数为2.94M的情况下实现了5ms的快速推理速度。此外,该抓取算法的检测精度达到96.4%和94.8%。康奈尔和Jacquard抓取数据集分别为90%, 通过使用UR5机器人手臂进行物理抓取实验,我们的方法也取得了90%的成功率。