弱刚度特性条件下基于视触融合的机械臂自主抓取方法

1.本发明涉及机器人控制技术领域，尤其涉及弱刚度特性条件下基于视触融合的机械臂自主抓取方法。

背景技术：

2.随着传感器技术与深度学习技术的快速发展，将传感器与深度学习网络应用于机器人等也取得了长足的进步，其中，机器人目标抓取在任务中主要应用了视觉和触觉，现在的很多触觉融合系统都会通过各种各样的抓取实验来检验感知系统的好坏，但是，对于易变性即弱刚度特性条件下的待抓取物，现有的技术更多的只是判断抓取物是否会发生滑移现象，对待抓取物的刚度以及形状等并没有很好的判断，且现有技术对于机器人抓取物件的视觉技术与触觉技术在特征融合上存在考虑不充分等问题，导致现有的机器人机械臂难以更加友好的、柔顺的对待抓取物进行抓取。

技术实现要素：

3.为了解决上述技术问题，本发明的目的是提供弱刚度特性条件下基于视触融合的机械臂自主抓取方法，能够更加准确的把握机械臂抓取物体的状态。
4.本发明所采用的第一技术方案是：弱刚度特性条件下基于视触融合的机械臂自主抓取方法，包括以下步骤：获取视觉图像与触觉数据并进行数据预处理，得到视觉信息与触觉信息；对视觉信息与触觉信息进行融合处理，得到特征信息；基于长短期记忆神经网络对特征信息进行分类处理，得到分类结果；根据分类结果对机械臂在自主抓取弱刚度特性物体的状态进行监测与控制。
5.进一步，所述获取视觉图像与触觉数据并进行数据预处理，得到视觉信息与触觉信息这一步骤，其具体包括：获取机器人机械臂末端的视觉图像与触觉数据，所述视觉图像由安装于机器人机械臂末端的视觉相机获得，所述触觉数据由安装于机器人机械臂末端的触觉传感器获得；将视觉图像与触觉数据输入至特征提取模块进行特征提取处理，所述特征提取模块包括cnn卷积神经网络模型和cl卷积神经网络模型；基于cnn卷积神经网络模型对视觉图像进行视觉特征提取处理，得到视觉信息；基于cl卷积神经网络模型对触觉数据进行卷积操作处理，得到触觉信息。
6.进一步，所述特征提取模块的特征提取过程的表达式如下所示：进一步，所述特征提取模块的特征提取过程的表达式如下所示：进一步，所述特征提取模块的特征提取过程的表达式如下所示：
上式中，表示cnn卷积神经网络模型的特征提取操作，表示cl卷积神经网络模型的卷积操作，表示对视觉图片进行作差处理，表示采集到视觉图像，表示采集到的第0帧视觉图像，表示视觉信息，表示触觉信息，、和表示特征图的长度、宽度和通道数，表示视觉和触觉信息的帧数。
7.进一步，所述对视觉信息与触觉信息进行融合处理，得到特征信息这一步骤，其具体包括：对视觉信息与触觉信息进行切片重组处理，得到初步的特征信息；基于se注意力机制网络模型对初步的特征信息进行赋予权重参数并评估处理，得到特征信息。
8.进一步，所述对视觉信息与触觉信息进行切片重组处理，得到初步的特征信息这一步骤，其具体包括：根据预设的空间位置对视觉信息与触觉信息进行编码处理，得到视觉信息的特征切片向量与触觉信息的特征切片向量；对视觉信息的特征切片向量与触觉信息的特征切片向量进行重组处理，得到重组后的切片向量；对重组后的切片向量进行特征提取处理，得到初步的特征信息。
9.进一步，所述基于se注意力机制网络模型对初步的特征信息进行赋予权重参数并评估处理，得到特征信息这一步骤，其具体包括：将初步的特征信息输入至se注意力机制网络模型，所述se注意力机制网络模型包括池化层、感知机层和层；基于se注意力机制网络模型的池化层，对初步的特征信息进行全局平均池化处理，得到全局特征信息；基于se注意力机制网络模型的感知机层，对全局特征信息进行非线性特征变换处理，得到全局特征信息的权重参数；基于se注意力机制网络模型的层，对全局特征信息的权重参数进行重标定处理，得到特征信息。
10.进一步，所述基于长短期记忆神经网络对特征信息进行分类处理，得到分类结果这一步骤，其具体包括：将特征信息输入至长短期记忆神经网络，所述长短期记忆神经网络包括编码层、全连接层和分类层；基于长短期记忆神经网络的编码层对特征信息进行编码处理，得到特征向量；基于长短期记忆神经网络的全连接层对特征向量进行降维处理，得到降维后的特征向量；基于长短期记忆神经网络的分类层对降维后的特征向量进行分类处理，得到分类结果。
11.本发明方法的有益效果是：本发明在机器人机械臂末端的抓取物体过程中通过引入视觉信息与触觉信息，进一步对视觉信息与触觉信息进行融合处理，对视觉信息与触觉
信息的特征信息进行切片重组处理并基于各信息权重进行重新标定处理，能够更加准确的把握机械臂在抓取物体过程中的状态，最后通过lstm神经网络对机械臂抓取过程中的状态进行分类处理，能够及时预测到机械臂抓取物体过程是否发生变形与滑移现象。
附图说明
12.图1是本发明弱刚度特性条件下基于视触融合的机械臂自主抓取方法的步骤流程图；图2是本发明提出的基于resnet50+se+lstm的总体框架示意图；图3是现有的对视觉触觉信息的融合操作示意图；图4是本发明对视觉触觉信息进行切片重组的示意图；图5是本发明基于视触融合的机械臂自主抓取方法的流程示意图。
具体实施方式
13.下面结合附图和具体实施例对本发明做进一步的详细说明。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
14.参照图1、图2和图5，本发明提供了弱刚度特性条件下基于视触融合的机械臂自主抓取方法，该方法包括以下步骤：s1、获取视觉图像与触觉数据并进行数据预处理，得到视觉信息与触觉信息；具体地，获取视觉图像与触觉数据，其中，所述视觉信息的获取过程为将采集到的多帧图像（3x224x224）减去第0帧的图像（代表夹爪初始化视觉信息）得到的图像差，再经过修改后resnet50网络的特征提取，得到（256x4x4）视觉特征，所述触觉信息的获取过程为将采集到的多帧触觉数据（3x4x4）经过一层卷积层(in_channels=3，out_channels=256，kernel_size=3，stride=1，padding=1)，得到（256x4x4）触觉特征，视觉图像由安装于机器人机械臂末端的视觉相机获得，所述触觉数据由安装于机器人机械臂末端的触觉传感器获得，进一步视觉的特征由resnet50提取，把采集到相应的图像与第0帧的图像（视觉传感器初始的图像）作差作为输入，即视觉相机会采集多帧图像作为输入，第0帧作为视觉的初始信息，每次采集到的图像都要与第一采集的图像进行作差处理，对于触觉传感器，把4x4x3触觉数据经过一层卷(cl)(in_channels=3，out_channels=256，kernel_size=3，stride=1，padding=1)的输出作为触觉的特征，目的是增加触觉信息的通道数以便于后期的特征融合，其中，所述特征提取模块的特征提取过程的表达式如下所示：期的特征融合，其中，所述特征提取模块的特征提取过程的表达式如下所示：期的特征融合，其中，所述特征提取模块的特征提取过程的表达式如下所示：上式中，表示cnn卷积神经网络模型的特征提取操作，表示cl卷积神经网络模型的卷积操作，表示对视觉图片进行作差处理，表示采集到视觉图像，表示
采集到的第0帧视觉图像，表示视觉信息，表示触觉信息，、和表示特征图的长度、宽度和通道数，表示视觉和触觉信息的帧数。
15.s2、对视觉信息与触觉信息进行融合处理，得到特征信息；具体地，视触觉特征融合主要的作用是基于视觉和触觉的特征进行可学习的表征，现如今视觉和触觉的信息融合大多数采用简单的特征拼接，具体如图3所示，然而这种融合方式并不能很好表征两个模态之间的差异性和关联性，由于直接融合的方法比较简单，视觉触觉模态融合的主流方法依然是直接融合方式；本方案提出的融合方法与直接融合方法不同，本发明将最终的特征信息分为两个阶段来提取特征，首先是对视觉和触觉的特征进行“切片重组”处理，把相同状态的不同模态重新排序获得早期的特征，其次对重组后的早期特征进行se注意力机制以获得最终的可学习特征。
16.s21、对视觉信息与触觉信息进行切片重组处理，得到初步的特征信息；具体地，初步的视觉触觉信息融合，在给定的视觉信息和触觉信息，基于它们构建早期的视觉触觉融合，其表达式如下所示：上式中，表示切片重组操作，表示初步的特征信息；参照图4，设、为特征和中的空间位置，，图4中表示空间位置处特征的向量，类似地，表示空间位置处特征的向量，因此，定义空间位置、早期融合的特征如下所示：上式中，表示两个切片向量的串联操作；初步的融合特征向量对中特定位置和中特定位置进行编码，编码后的特征总的通道数的为，长度和宽度都为为，因此，初步的特征被表示为。
17.s22、基于se注意力机制网络模型对初步的特征信息进行赋予权重参数并评估处理，得到特征信息；具体地，初步的融合的特征块的各个通道可能包括很多冗余信息，进一步通过se
注意力机制进一步加强和提取有利于抓取任务评估的的特征，它通过挤压和激发向原始特征图的各个通道添加不同的权重参数信息，所述se注意力机制网络模型的操作表达式如下所示：上式中，表示se注意力机制网络模型的操作函数；其中，所述se注意力机制网络模型包括squeeze部分，其操作具体为首先通过全局平均池化，将重组后的特征压缩为1个实数，将特征图（16x16x512）变为（1x1x512）；excitation部分，其操作具体为给特征的每个通道生成一个权重值，通过两层的全连接构建通道之间的相关性，（1x1x512）变成（1x1x512）；scale部分，其操作具体为将前面得到的归一化权重逐通道乘以权重系数，即（16x16x512）*（1x1x512）变成（16x16x512）；se注意力机制首先会对早期的进行挤压从经过全局的平均池化的，为从每个通道本身提取出来的权重，再经过模块（具体为fc+relu+fc+sigmoid）得到不同通道注意力的权重，再将不同通道注意力的权重作用于到上，每个通道乘上每个通道上相对应的权重即模块得到。
18.s3、基于长短期记忆神经网络对特征信息进行分类处理，得到分类结果。
19.具体地，对于lstm模块，我们选择使用的是长短期记忆网络（lstm），lstm已经广泛运用到处理视频的数据，这跟我们的任务非常类似，经过se注意力机制得到后再经过一个全连接层可得到64个视觉触觉跨模态的特征，并将这64个特征作为lstm的输入，lstm里面具有两层的隐藏层，两层的隐藏层都是64，模型最后的部分是分类模块，其对lstm模块的输出作为输入进行分类并且输出分类的结果，其中，所述长短期记忆神经网络的处理表达式如下所示：上式中，表示全连接层，表示具有两层隐藏层的lstm，表示分类结果，其中，，分别表示结果对应为不接触、适当接触、过度接触、不滑移和滑移；进一步的，在得到结果之后，下一步操作是控制二指夹爪得宽度和力度，具体为当状态为不接触或者滑移时，夹爪的宽度变小，夹爪的力度变大；当状态为适当和没滑移时，夹爪的宽度和力度将不变；当状态为变形时，夹爪的宽度变大，夹爪的力度变小。
20.以上是对本发明的较佳实施进行了具体说明，但本发明创造并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做作出种种的等同变形或替
换，这些等同的变形或替换均包含在本技术权利要求所限定的范围内。

技术特征：

1.弱刚度特性条件下基于视触融合的机械臂自主抓取方法，其特征在于，包括以下步骤：获取视觉图像与触觉数据并进行数据预处理，得到视觉信息与触觉信息；对视觉信息与触觉信息进行融合处理，得到特征信息；基于长短期记忆神经网络对特征信息进行分类处理，得到分类结果；根据分类结果对机械臂在自主抓取弱刚度特性物体的状态进行监测与控制。2.根据权利要求1所述弱刚度特性条件下基于视触融合的机械臂自主抓取方法，其特征在于，所述获取视觉图像与触觉数据并进行数据预处理，得到视觉信息与触觉信息这一步骤，其具体包括：获取机器人机械臂末端的视觉图像与触觉数据，所述视觉图像由安装于机器人机械臂末端的视觉相机获得，所述触觉数据由安装于机器人机械臂末端的触觉传感器获得；将视觉图像与触觉数据输入至特征提取模块进行特征提取处理，所述特征提取模块包括cnn卷积神经网络模型和cl卷积神经网络模型；基于cnn卷积神经网络模型对视觉图像进行视觉特征提取处理，得到视觉信息；基于cl卷积神经网络模型对触觉数据进行卷积操作处理，得到触觉信息。3.根据权利要求2所述弱刚度特性条件下基于视触融合的机械臂自主抓取方法，其特征在于，所述特征提取模块的特征提取过程的表达式如下所示：征在于，所述特征提取模块的特征提取过程的表达式如下所示：征在于，所述特征提取模块的特征提取过程的表达式如下所示：上式中，表示cnn卷积神经网络模型的特征提取操作，表示cl卷积神经网络模型的卷积操作，表示对视觉图片进行作差处理，表示采集到视觉图像，表示采集到的第0帧视觉图像，表示视觉信息，表示触觉信息，、和表示特征图的长度、宽度和通道数，表示视觉和触觉信息的帧数。4.根据权利要求3所述弱刚度特性条件下基于视触融合的机械臂自主抓取方法，其特征在于，所述对视觉信息与触觉信息进行融合处理，得到特征信息这一步骤，其具体包括：对视觉信息与触觉信息进行切片重组处理，得到初步的特征信息；基于se注意力机制网络模型对初步的特征信息进行赋予权重参数并评估处理，得到特征信息。5.根据权利要求4所述弱刚度特性条件下基于视触融合的机械臂自主抓取方法，其特征在于，所述对视觉信息与触觉信息进行切片重组处理，得到初步的特征信息这一步骤，其具体包括：根据预设的空间位置对视觉信息与触觉信息进行编码处理，得到视觉信息的特征切片向量与触觉信息的特征切片向量；对视觉信息的特征切片向量与触觉信息的特征切片向量进行重组处理，得到重组后的
切片向量；对重组后的切片向量进行特征提取处理，得到初步的特征信息。6.根据权利要求5所述弱刚度特性条件下基于视触融合的机械臂自主抓取方法，其特征在于，所述基于se注意力机制网络模型对初步的特征信息进行赋予权重参数并评估处理，得到特征信息这一步骤，其具体包括：将初步的特征信息输入至se注意力机制网络模型，所述se注意力机制网络模型包括squeeze层、excitation层和scale层；基于se注意力机制网络模型的squeeze层，对初步的特征信息进行全局平均池化处理，得到全局特征信息；基于se注意力机制网络模型的excitation层，对全局特征信息进行非线性特征变换处理，得到全局特征信息的权重参数；基于se注意力机制网络模型的scale层，对全局特征信息的权重参数进行重标定处理，得到特征信息。7.根据权利要求6所述弱刚度特性条件下基于视触融合的机械臂自主抓取方法，其特征在于，所述基于长短期记忆神经网络对特征信息进行分类处理，得到分类结果这一步骤，其具体包括：将特征信息输入至长短期记忆神经网络，所述长短期记忆神经网络包括编码层、全连接层和分类层；基于长短期记忆神经网络的编码层对特征信息进行编码处理，得到特征向量；基于长短期记忆神经网络的全连接层对特征向量进行降维处理，得到降维后的特征向量；基于长短期记忆神经网络的分类层对降维后的特征向量进行分类处理，得到分类结果。

技术总结

本发明公开了弱刚度特性条件下基于视触融合的机械臂自主抓取方法，该方法包括：获取视觉图像与触觉数据并进行数据预处理，得到视觉信息与触觉信息；对视觉信息与触觉信息进行融合处理，得到特征信息；基于长短期记忆神经网络对特征信息进行分类处理，得到分类结果；根据分类结果对机械臂在自主抓取弱刚度特性物体的状态进行监测与控制。通过使用本发明，能够更加准确的把握机械臂抓取物体的状态。本发明作为弱刚度特性条件下基于视触融合的机械臂自主抓取方法，可广泛应用于机器人控制技术领域。术领域。术领域。