(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 202010718957.5
(22)申请日 2020.07.23
(71)申请人 湖南爱米家智能科技有限公司
地址 410000 湖南省长沙市高新开发区麓
谷大道627号麓谷新长海中心A1栋6层
607号
申请人 长沙理工大学
(72)发明人 张辉 陈瑞博 刘理 钟杭 李晨
陈煜嵘 王耀南
(51)Int.Cl.
B25J 9/16(2006.01)
A61B 10/00(2006.01)
G06T 17/00(2006.01)
(54)发明名称一种基于机器视觉引导的咽拭子双臂采样机器人及采样方法(57)摘要本发明公开了一种基于机器视觉引导的咽拭子双臂采样机器人及采样方法，本发明提供了一种基于机器视觉引导的咽拭子双臂采样机器人及采样方法，该机器人系统利用工业深度相机获取RGB ‑D深度点云信息，对口腔空间环 境进行识别处理，采用深度学习算法，确定舌尖与咽喉深部的三维坐标作为双臂的期望坐标，基于moveit功能包，完成移动双臂的协同运动规划，机器人控制系统则是基于ROS系统开发，通过人机交互控制与ROS无线通信，实现远程控制及实时监控功能。本发明能够避免医护人员与患者体内传染物直接接触，监控双臂机器人完成繁杂的咽拭子采样过程，并确保较高的执行精度与成功率，
避免患者出现采样过程受伤等意外风险。权利要求书2页 说明书11页 附图4页CN 111906784 A 2020.11.10
C N 111906784
A
1.一种基于机器视觉引导的双臂机器人咽拭子采样方法，其特征在于，包括以下步骤：
步骤1：咽拭子采样准备，双臂机器人夹取压舌板和纯净棉签；
步骤2：患者口腔场景建模，利用深度相机扫描患者口腔环境，获取口腔点云数据，构建口腔三维场景；
步骤3：基于端到端的深度PointNet++网络进行口腔场景分割与定位；
对构建的口腔场景采用PointNet++网络进行分割，获取舌头、牙齿、扁桃体、上颚器官的分割图，并对分割图进行定位，获得舌头与扁桃体的空间位置坐标，并作为双臂机器人的双臂采样期望坐标；
步骤4：基于双臂采样期望坐标，调用moveit功能包对双臂机器人的双臂进行运动规划，获得双臂运动轨迹；
步骤5：利用获得的双臂运动轨迹，控制双臂机器人的双臂达到采样期望坐标进行采样。
2.根据权利要求1所述的方法，其特征在于，所述对构建的口腔场景采用的端到端的PointNet++网络进行分割，获取舌头、牙齿、扁桃体、上颚器官的分割图的具体过程如下：步骤
3.1：首先依据PointNet++网络构建pointnet_sem_seg网络代码，执行python训练程序，并安装pytorch深度学习框架，载入三维口腔点云数据集，训练PointNet++网络获取权重；
其中，训练集点数为4096，batchsize＝16，epoch＝200,learning_rate＝0.01，学习率设置为每经过20步衰减0.5倍，训练数据为深度相机读取到的口腔点云数据，输出的点云分割结果使用MeshLab软件可视化；
步骤3.2：利用训练好的PointNet++网络，输入采集的口腔点云，获取到点云分割后提取出舌头部位和扁桃体部位点云，以点云的表面中心坐标为最佳的目标点作为机械臂期望坐标位置，同时使用深度相机对
该目标点计算三维距离(Xc,Yc,Zc)；
所述PointNet++网络包括级联的多尺度PointnetSAModuleMSG和上采样网络PointnetFPModule；
其中，所述PointnetSAModuleMSG包括级联的采样层Sample layer、组合层Grouping layer以及特征提取层PointNet layer；
采样层Sample layer用于对输入的点云数据进行farthest point sampling采样，从采样点中选取若干中心点，输入三维张量为(B,N,3)，输出张量(B,npoint)，B为批次大小，N 为点云数据集中的点云总数，3代表点的坐标特征xyz，npoint表示采样输出的中心点数量；
组合层Grouping layer用于通过采样层Sample layer获得的中心点与其局部点构成若干区域，设置区域球半径大小radius，区域采样点的上限nsample，控制球规模及点个数，通过Ball query算法生成若干局部区域，返回表示局部区域特征的索引张量(B,npoint, nsample)；
所述上采样网络PointnetFPModul对PointnetSAModuleMSG的输出的全局特征进行上采样，生成新的点，，当点的个数只有一个的时候，直接将其重复复制成N个点；当点的个数大于一个的时候，采用基于K最近邻的线性差值的方式进行上采样，再对上采样后的每一个点都做一个MLP，同时拼接上下采样前相同点个数的SA层的特征；
线性插值公式如下：
k表示选取的最相邻的样本数量，p表示最相邻距离的幂，设置p＝2，k＝3，x表示内插值中的任意一点，x i表示内插值中的已知点，d(x,x i)表示任意一点x和已知点x i之间距离，w i (x)表示任意一点x权重值，取距离倒数使得距离越远的点权重越小。
3.根据权利要求1所述的方法，其特征在于，所述对双臂机器人的双臂进行运动规划时，采用A*启发式搜索算法进行双臂无碰撞路径规划，具体过程如下：
给定双臂机器人的初始位姿、目标位姿以及双臂机器人和环境的几何描述，通过取当前路径点周围邻位中启发式函数值最小的邻位来确定下一个路径点，最终得到一条初始点到目标点的路径。
4.一种基于机器视觉引导的咽拭子采样双臂机器人，其特征在于，包括设置在移动机器人本体上的视觉采集模块、移动平台控制模块、机械双臂控制模块、数据处理模块、远端控制模块、电源模块及咽拭子采样模块； 其中，视觉采集模块、机械双臂控制模块与数据处理模块均以网线连接，所述移动平台控制模块、机械双臂控制模块受控于远端控制模块，所述移动机器人本体设置有双臂，所述咽拭子采样模块设置在移动机器人本体的双臂上，且受控于机械双臂控制模块，所述电源模块为移动机器人本体供电；
所述数据处理模块采用权利要求1-3任一项所述的一种基于机器视觉引导的双臂机器人咽拭子采样方法进行数据处理。
5.根据权利要求4所述的基于机器视觉引导的咽拭子采样双臂机器人，其特征在于，所述移动机器人本体的移动底盘采用麦克纳姆轮结构。
6.根据权利要求4所述的基于机器视觉引导的咽拭子采样双臂机器人，其特征在于，所述移动机器人的双臂采用六轴12自由度，臂长200mm-400mm，负载能力大于3KG，定位精度在0.2mm误差内的机械臂，且机械臂末端采用柔性采样头。
7.根据权利要求4所述的基于机器视觉引导的咽拭子采样双臂机器人，其特征在于，所述视觉采集模块，为设置在移动机器人本体的移动平台前端的kinect深度相机，通过扫描口腔环境，采集点云数据，对口腔场景建模，并将点云pcd文件发送给数据处理模块。
8.根据权利要求4所述的基于机器视觉引导的咽拭子采样双臂机器人，其特征在于，移动机器人的移动平台和双臂由直流无刷伺服电机带减速机驱动，所述电源模块为24V，40AH 的锂电池组。
9.根据权利要求4所述的基于机器视觉引导的咽拭子采样双臂机器人，其特征在于，所述咽拭子采样模块，包括固定于移动机器人本体的移动底盘上的压舌板、棉签、试管，以及固定患者口腔的固定装置。
10.根据权利要求4所述的基于机器视觉引导的咽拭子采样双臂机器人，其特征在于，所述远端控制模块，包括显示屏及工控机，通过5GWIFI信号连接到本地路由器。
一种基于机器视觉引导的咽拭子双臂采样机器人及采样方法
技术领域
[0001]本发明属于视觉控制领域，涉及一种基于机器视觉引导的咽拭子双臂采样机器人及采样方法。
背景技术
[0002]鉴于新型冠状病毒具有人际传播能力，而经呼吸道飞沫和密切接触为其主要的传播途径。目前核酸检查是新型冠状病毒的主要检测手段，必须对患者进行咽拭子采样，在其过程中，需要与病患近距离接触，由于患者呼吸，咳嗽所产生得大量病毒传染物，将危害医务人员的人身安全，且咽拭子采样复杂，医务人员的恐惧心理也会影响到拭子的采样质量。[0003]介于疫情的严峻的形势，急需有一款针对咽拭子采样的智能机器人，能够避免医务人员与患者直接接触，降低医护人员感染率。
发明内容
[0004]本发明提供了一种基于机器视觉引导的咽拭子双臂采样机器人及采样方法，其目的在于，通过该机器人自主完成复杂的咽拭子采样和归纳任务，避免医务人员直接与患者接触，并实时远端监控。
[0005]本发明提供的技术方案如下：
[0006]一方面，一种基于机器视觉引导的双臂机器人咽拭子采样方法，包括以下步骤：[0007]步骤1：咽拭子采样准备，双臂机器人夹取压舌板和纯净棉签；
[0008]步骤2：患者口腔场景建模，利用深度相机扫描患者口腔环境，获取口腔点云数据，构建口腔三维场景；
[0009]步骤3：基于端到端的深度PointNet++网络进行口腔场景分割与定位；
[0010]对构建的口腔场景采用PointNet++网络进行分割，获取舌头、牙齿、扁桃体、上颚器官的分割图，并对分割图进行定位，获得舌头与扁桃体的空间位置坐标，并作为双臂机器人的双臂采样期望坐标；
[0011]步骤4：基于双臂采样期望坐标，调用moveit功能包对双臂机器人的双臂进行运动规划，获得双臂运动轨迹；
[0012]步骤5：利用获得的双臂运动轨迹，控制双臂机器人的双臂到达采样期望坐标进行采样。
[0013]进一步地，所述对构建的口腔场景采用的端到端的PointNet++网络进行分割，获取舌头、牙齿、扁桃体、上颚器官的分割图的具体过程如下：
[0014]步骤3.1：首先依据PointNet++网络构建pointnet_sem_seg网络代码，执行python 训练代码，并安装pytorch深度学习框架，载入三维口腔点云数据集，训练PointNet++网络获取权重；
[0015]其中，训练集点数为4096，batchsize＝16，epoch＝200,learning_rate＝0.01，学习率设置为每经过20步衰减0.5倍，训练数据为深度相机读取到的口腔点云数据，输出的点
云分割结果使用MeshLab软件可视化；
[0016]步骤3.2：利用训练好的PointNet++网络，输入采集的口腔点云，获取到点云分割后提取出舌头部位点云和扁桃体部位点云，以点云的表面中心坐标为最佳的目标点作为机械臂期望坐标位置，同时使用深度相机对该目标点计算三维距离(Xc,Yc,Zc)；
[0017]所述PointNet++网络包括级联的多尺度PointnetSAModuleMSG和上采样网络PointnetFPModule；
[0018]其中，所述PointnetSAModuleMSG包括级联的采样层Sample layer、组合层Grouping layer以及特征提取层PointNet layer；
[0019]采样层Sample layer用于对输入的点云数据进行farthest point sampling采样，从采样点中选取若干中心点，输入三维张量为(B,N,3)，输出张量(B,npoint)，B为批次大小，N为点云数据集中的点云总数，
3代表点的坐标特征xyz，npoint表示采样输出的中心点数量；
[0020]组合层Grouping layer用于通过采样层Sample layer获得的中心点与其局部点构成若干区域，设置区域球半径大小radius，区域采样点的上限nsample，控制球规模及点个数，通过Ball query算法生成若干局部区域，返回表示局部区域特征的索引张量(B, npoint,nsample)；
[0021]nsample是每个区域的采样点数量的上限，其大小为16或者32，对应两种radius，总共有4层PointnetSAModuleMSG，在每层PointnetSAModuleMSG中，nsample的取值不同；[0022]先设定局部区域再进行特征提取，局部区域是通过Ball query算法，通过设置的radius即球半径大小确定区域大小，每个区域的点是通过farthest point sampling采样获得的，直至采样的数量达到上限nsample。
[0023]而因为口腔的点云的分布是密度不均匀的，故此选择多尺度的方式，因此每一层PointnetSAModuleMSG都有两种尺度的区域，即两个半径值和两个采样上限值；
[0024]特征提取层PointNet layer用于对每个局部区域的特征使用PointNet提取特征向量；
[0025]为实现不同对象咽拭子采样的泛化能力及采样过程的时效性，传统的2D视觉抓取技术无法满足，该视觉伺服控制系统考虑采用新型3D视觉抓取技术，使用了一种端到端的深度学习方法PointNet++网络，可直接处理视觉采集装置捕获口腔点云数据。
[0026]对于采样方式，使用farthest point sampling算法，从点云数据中采样出npoint 个点数，相比于随机采样算法，能够更好的覆盖到整个点云数据集；
[0027]Pointnet主要由三部分模块组成，解决旋转和平移不变性的t-net：训练t-net网络得到转换矩阵与输入点云数据相乘实现对齐操作，多层感知机MLP：对点云数据做低维度到高纬度的空间映射，以及最大池化函数max pool的对称性质解决点云无序的问题。[0028]通过对上述的三个模块级联组合实现类似于CNN从浅层特征到深层的语义特征的提取；输出至上采样网络实现实例分割；
[0029]所述上采样网络PointnetFPModul对PointnetSAModuleMSG的输出的全局特征进行上采样，生成新的点，当点的个数只有一个的时候，直接将其重复复制成N个点；当点的个数大于一个的时候，采用基于K最近邻的线性差值的方式进行上采样，再对上采样后的每一个点都做一个MLP，同时拼接上下采样前相同点个数的SA层的特征；
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议