一种融合2D与3D视觉感知的烟花成型检测装置及其检测方法

一种融合2d与3d视觉感知的烟花成型检测装置及其检测方法
技术领域
1.本发明属于自动检测技术领域，涉及一种融合2d与3d视觉感知的烟花成型检测装置及其检测方法。

背景技术：

2.目前，我国是全球最大的烟花生产、出口和消费国，烟花产量占到全球产量的90%,约占世界贸易量的80%。然而，烟花生产属于典型的劳动密集型和高危制造行业，在生产过程中，烟火药容易受到意外能量激发，产生爆炸事故，给人民生命财产造成重大损失。近些年来，在政府和企业的努力下，大力推进烟花生产行业机械化，实现人药分离，有效降低了恶性人员伤亡安全事故的发生。但是烟花生产过程中仍存在着在线质量检测及控制缺失、产品一致性差、自动化程度低等诸多问题，对安全、高效、可靠的在线检测与控制技术有着迫切的需求。
3.烟花亮珠成型是烟花生产工序中涉药量较大、危险系数较高、安全事故频繁发生的环节。目前烟花亮珠成型的具体过程是将料仓中的按照特定配比混合的火药粉料通过出料口送入一个倾斜放置（倾斜角度为40~60度）、绕中心轴高速旋转的造粒机中（直径1~1.5米，转速为15~30转/分），松散的火药粉在倾斜且旋转的造粒机中受到重力、离心力和摩擦力共同作用一起转动，当达到一定高度时粉料因重力作用下滑，在此过程中，喷浆装置间断式将雾状的黏合剂（主要是酒精）喷入到火药粉表面。火药粉在黏合剂的作用下相互粘合滚动，逐渐长大成球状亮珠。当亮珠粒径达到一定要求时，停止送粉和喷浆，但是将亮珠在造粒机内继续滚动一定时间，进行抛光，以提高其机械强度与似圆度。最后，粒径合格亮珠由传送带送入烘干工序。
4.目前烟花亮珠成型过程的工况识别与控制主要依靠现场操作工人的观察，凭经验对亮珠状态（亮珠粒径、亮珠生长速率、表面光滑度等）进行判定并手动调整亮珠过程参数（喷浆量、送粉速度、抛光时间等），使生产出的烟花亮珠质量符合要求。但是这种以人工对烟花亮珠成型过程进行操作控制的生产方式劳动强度大、主观性强、误差大、效率低，难以实现对工况进行客观评价与统一认知，导致亮珠过程生产工况波动大，亮珠质量和产量无法满足生产要求，并且工人直接接触火药生产，容易操作不当引起重大生产安全事故。综上所述，亟需一种烟花亮珠成型自动检测方法与装置来解决这些问题。

技术实现要素：

5.为实现上述目的，本发明提供一种融合2d与3d视觉感知的烟花成型检测装置及其检测方法，实现对烟花亮珠成型过程的智能化检测，达到人药分离的目的，消除烟花亮珠生产过程中的安全隐患，提高成品烟花亮珠产品质量。
6.本发明实施例所采用的技术方案是，一种融合2d与3d视觉感知的烟花成型检测装置，包括：rgbd相机、面光源、光源相机调整座、检测装置支架以及工业控制电脑；所述rgbd相机固定安装于光源相机调整座上，rgbd相机位于面光源的开孔处；光源相机调整座安装
于检测装置支架上；工业控制电脑分别与rgbd相机、造粒机通过导线相连。
7.本发明实施例所采用的另一技术方案是，一种利用融合2d与3d视觉感知的烟花成型检测装置的检测方法，包括以下步骤：步骤s1、烟花亮珠成型过程2d与3d图像采集：使用rgbd相机（101）采集烟花亮珠成型过程中造粒机（106）内亮珠颗粒图像并将其发送至工业控制电脑（105）；步骤s2、亮珠颗粒图像边缘轮廓训练样本与测试样本制作：利用采集的2d烟花亮珠颗粒图像制作训练样本与测试样本；步骤s3、亮珠颗粒图像边缘轮廓提取网络训练与测试：利用制作好的亮珠颗粒图像训练样本对transformer-unet网络模型进行训练，在网络模型训练完成后，将测试样本中的2d亮珠颗粒图像输入网络模型中提取其边缘轮廓；步骤s4、亮珠颗粒遮挡识别判定：在提取亮珠颗粒图像边缘轮廓的基础上，利用采集的3d图像信息，对亮珠颗粒之间存在的遮挡进行识别判断，去除被遮挡亮珠颗粒对检测结果的干扰；步骤s5、亮珠颗粒图像分割与特征提取：在对亮珠颗粒图像进行边缘轮廓提取与遮挡识别判定后，利用提取的边缘轮廓信息对单个亮珠颗粒图像分割，并从2d图像中对其形状特征与灰度特征信息分别进行提取；步骤s6、根据亮珠颗粒图像特征信息的统计，对亮珠成型过程工况进行判定并及时调整参数。
8.本发明的有益效果是：通过2d 和3d 的结合将3d 技术引用到烟花亮珠成形，实现对烟花亮珠成型过程的快捷与智能化检测，替代现有人工检测的方式，能够实现对亮珠成型过程中工况的变化情况进行快速反馈，提高成品烟花亮珠产品质量。该检测方法与装置能够在烟花生产过程的亮珠成型工艺过程中实现人药分离，消除烟花亮珠生产过程中的安全隐患，遏制重大生产事故的发生。
附图说明
9.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
10.图1是本发明实施例的检测装置示意图。
11.图2是本发明实施例的transformer-unet网络结构示意图。
12.图3是本发明实施例的正视原理示意图。
13.图4是本发明实施例的检测方法流程图。
14.图5是本发明实施的融合2d与3d信息进行亮珠颗粒遮挡识别判断结果图（遮挡亮珠颗粒为轮廓区域）。
15.图6是本发明实施的检测方法与人工测量方法对亮珠颗粒粒径分布进行检测的对比结果图。
16.图7是仅采用2d图像检测方法与人工测量方法对亮珠颗粒粒径分布进行检测的对比结果。
17.图1中，101.rgbd相机，102.光源相机调整座，103.面光源，104.检测装置支架，105.工业控制电脑，106.造粒机。
具体实施方式
18.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
19.如图1所示，本发明提供了一种融合2d与3d视觉感知的烟花成型检测装置，包括：rgbd相机101、面光源103、光源相机调整座102、检测装置支架104以及工业控制电脑105。其中rgbd相机101对造粒机106内亮珠颗粒进行图像采集并将采集的图像信息发送给工业控制电脑105，采集的图像包括亮珠颗粒的2d与3d信息图像；面光源103用于提高采集亮珠颗粒图像的灰度强度，克服外部环境光线的干扰，保证采集亮珠颗粒图像的稳定性，此外通过在面光源103中央进行开孔，将rgbd相机101安装在孔内，避免rgbd相机101被遮挡以至于在图像中产生阴影；光源相机调整座102用于对面光源103与rgbd相机101的位置高度以及倾斜角度进行调整，以便与不同高度烟花造粒机106匹配以及使得rgbd相机拍摄方向与造粒机106水平面垂直；检测装置支架104主要用于固定光源相机调整座102；工业控制电脑105主要对采集的亮珠颗粒图像信息进行处理并根据处理结果形成决策信息，发送到造粒机106的控制系统对亮珠成型过程工况进行及时调整。
20.本发明还提供了一种利用融合2d与3d视觉感知的烟花成型检测装置的检测方法，包括以下步骤：s1、烟花亮珠成型过程2d与3d图像采集：采集烟花亮珠成型过程中造粒机106内亮珠颗粒图像；s2、亮珠颗粒图像边缘轮廓训练样本与测试样本制作：利用采集的2d烟花亮珠颗粒图像制作训练样本与测试样本；s3、亮珠颗粒图像边缘轮廓提取网络训练与测试：利用制作好的亮珠颗粒图像训练样本对transformer-unet网络模型进行训练，在网络模型训练完成后，将测试样本中的2d亮珠颗粒图像输入网络模型中即可获得其边缘轮廓；s4、亮珠颗粒遮挡识别判定：在提取亮珠颗粒图像边缘轮廓的基础上，利用采集的3d图像信息，对亮珠颗粒之间存在的遮挡进行识别判断，去除被遮挡亮珠颗粒对检测结果的干扰；s5、亮珠颗粒图像分割与特征提取：在对亮珠颗粒图像进行边缘轮廓提取与遮挡识别判定后，可以利用提取的边缘轮廓信息对单个亮珠颗粒图像分割，并从2d图像中对其形状特征与灰度特征信息分别进行提取；s6、根据亮珠颗粒图像特征信息的统计，对亮珠成型过程工况进行判定并及时调整参数。
21.在一些实施方式中，步骤s1中，使用rgbd相机101以同时采集亮珠颗粒的rgb图像（2d）与深度图像（3d），为后续2d与3d视觉感知信息融合进行亮珠颗粒特征的提取奠定基础。
22.在一些实施方式中，步骤s2中，训练样本为2d亮珠颗粒边缘轮廓图像，其制作过程中对亮珠颗粒边缘轮廓像素点用灰度值255进行标记，其余像素点用灰度值0进行标记。
23.进一步，所述步骤s3中，由于烟花亮珠成型过程中，亮珠颗粒由于遮挡挤压等现象，导致颗粒之间的边缘模糊、晦暗、甚至缺失，传统基于边缘检测或者阈值分割的图像处理算法难以实现对这类粒弱边缘的准确提取，容易造成过分割与欠分割现象产生。本发明提供了一种基于深度学习网络的边缘轮廓点提取方法：transformer-unet，该网络如图2所示，主要由两部分组成，其中右边虚线框为unet网络结构，该网络为整个transformer-unet网络的骨架结构；左边虚线框为特征提取transformer，该部分共有3层由6个transformer层构成，其中每层由两个transformer层顺次连接组成。
24.transformer-unet网络优势在于骨架结构unet网络中采用全卷积网络替代全连接层，网络能够满足小样本训练的要求，且训练过程和测试过程耗时较少。但是由于unet无法对图像中距离较远的特征的上下文关系进行建模，实现对图像中的全局特征信息进行提取。因此，本发明利用transformer强大的自注意力机制对图像中的全局特征进行提取，即分别利用unet网络的卷积层（convolutional layer）和transformer层作为encoder分别对图像的局部特征信息和全局特征信息进行提取，并将提取到的局部特征信息和全局特征信息以相加方式进行图像特征的融合（fusion），并输入到unet骨架网络的 decoder层，对图像特征信息进行恢复，最后得到亮珠颗粒边缘轮廓点的输出图像。
25.进一步地，步骤s4中，在s3实现对亮珠颗粒边缘轮廓提取的基础上，针对颗粒之间存在遮挡造成后续特征提取出现误差的现象，提出利用深度图像（3d）对颗粒遮挡进行识别判断。具体如图3所示，在目标亮珠颗粒边缘轮廓上提取固定数量的边缘点，以边缘点为例，以其为切点，并沿该边缘方向指向目标亮珠颗粒的法向量方向作半径为5像素点的圆，其中为目标亮珠颗粒与的交叉区域。同样以边缘点为切点，并沿该边缘方向指向相邻亮珠颗粒的法向量方向作半径为5像素点的圆，其中为相邻亮珠颗粒与的交叉区域。利用采集的深度图像（3d）信息，将深度信息转换为亮珠颗粒的高度信息，分别对交叉区域与中像素点计算其平均高度值和，其中为中像素点的平均高度值，为中像素点的平均高度值；如果则说明目标亮珠颗粒没有被该相邻颗粒遮挡，通过搜索并计算所有目标亮珠颗粒边缘轮廓点，均满足则判断该目标亮珠颗粒没有被遮挡，反之如果则说明目标亮珠颗粒被该相邻颗粒遮挡。
26.进一步，步骤s5中，在s4实现对亮珠颗粒图像进行边缘轮廓提取与遮挡识别判定的基础上，去除被遮挡亮珠颗粒，消除其对后续统计带来误差，对未遮挡的亮珠颗粒提取其边缘轮廓点，首先基于亮珠颗粒呈圆形状的先验知识，对边缘轮廓点进行最小二乘圆拟合，计算其半径，然后计算边缘轮廓点围成连通区域的灰度共生矩阵，最后统计所有未遮挡亮珠颗粒的半径分布值（形状特征）以及灰度共生矩阵平均值（灰度特征），完成图像特征信息的统计提取。
27.进一步，步骤s6中，在s5中统计的亮珠颗粒图像特征信息基础上，将亮珠颗粒图像特征信息发送到造粒机106的控制决策系统，对亮珠成型过程工况进行判定并及时调整参
数，使亮珠颗粒符合质量要求。
28.实施例1如图4所示，按照以下步骤进行：s1、检测前准备工作包括：1、rgbd相机101参数调整，物理与像素坐标标定；2、面光源103高度与角度调整，使得面光源与亮珠颗粒表层保持平行，亮珠颗粒之间不会产生阴影；3、面光源103亮度调整，提高采集亮珠颗粒图像的灰度强度，克服外部环境光线的干扰，保证采集亮珠颗粒图像的稳定性；4、采集亮珠颗粒2d图像，制作边缘轮廓训练样本图像，利用训练样本对transformer-unet网络模型进行训练，完成边缘轮廓提取网络的训练。
29.s2、对检测装置进行上电启动。
30.s3、rgbd相机101采集亮珠颗粒2d与3d图像信息。
31.s4、利用训练好的transformer-unet网络提取2d亮珠颗粒图像边缘轮廓信息。
32.s5、利用采集的3d亮珠颗粒图像信息结合2d边缘轮廓点信息对遮挡亮珠颗粒进行识别。
33.s6、去除遮挡亮珠颗粒后，对未遮挡亮珠颗粒边缘轮廓利用最小二乘圆拟合方法计算其半径，并计算其围成连通区域的灰度共生矩阵。
34.s7、统计亮珠颗粒图像信息并将其发送到造粒机控制决策系统，对工况参数进行调整；s8、结束检测，准备进入下一批次检测。
35.如图5所示为利用本发明中提供的融合2d与3d图像信息的方法对遮挡亮珠颗粒进行后的结果，其中轮廓区域判别为存在遮挡的亮珠颗粒。图6与图7为本发明实施的检测方法与人工检测方法以及仅采用2d图像检测方法对亮珠颗粒粒径分布进行检测的对比结果。可以看出，采用本发明中的检测方法对存在遮挡的亮珠颗粒进行识别判定后，得到的粒径分布百分比结果与粒径分布累积百分比结果，比仅采用2d图像检测方法得到的测量结果更接近人工检测方法结果。
36.上述实施方式具有非接触式检测、检测精度高、检测速度快等特点，能够替代现有人工检测的方法，快速对烟花亮珠成型过程进行进行检测，并及时对工况变化情况进行反馈，以便造粒机控制系统对亮珠成型过程参数进行调整控制，提高成品烟花亮珠产品质量，并能够在烟花亮珠生产工艺过程中实现人药分离，消除烟花亮珠生产过程中的安全隐患，避免重大安全事故的发生。
37.以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

技术特征：

1.一种融合2d与3d视觉感知的烟花成型检测装置，其特征在于，包括：rgbd相机（101）、面光源（103）、光源相机调整座（102）、检测装置支架（104）以及工业控制电脑（105）；所述rgbd相机（101）固定安装于光源相机调整座（102）上，rgbd相机（101）位于面光源（103）的开孔处；光源相机调整座（102）安装于检测装置支架（104）上；工业控制电脑（105）分别与rgbd相机（101）、造粒机（106）通过导线相连。2.一种利用如权利要求1所述的融合2d与3d视觉感知的烟花成型检测装置的检测方法，其特征在于，包括以下步骤：步骤s1、烟花亮珠成型过程2d与3d图像采集：使用rgbd相机（101）采集烟花亮珠成型过程中造粒机（106）内亮珠颗粒图像并将其发送至工业控制电脑（105）；步骤s2、亮珠颗粒图像边缘轮廓训练样本与测试样本制作：利用采集的2d烟花亮珠颗粒图像制作训练样本与测试样本；步骤s3、亮珠颗粒图像边缘轮廓提取网络训练与测试：利用制作好的亮珠颗粒图像训练样本对transformer-unet网络模型进行训练，在网络模型训练完成后，将测试样本中的2d亮珠颗粒图像输入网络模型中提取其边缘轮廓；步骤s4、亮珠颗粒遮挡识别判定：在提取亮珠颗粒图像边缘轮廓的基础上，利用采集的3d图像信息，对亮珠颗粒之间存在的遮挡进行识别判断，去除被遮挡亮珠颗粒对检测结果的干扰；步骤s5、亮珠颗粒图像分割与特征提取：在对亮珠颗粒图像进行边缘轮廓提取与遮挡识别判定后，利用提取的边缘轮廓信息对单个亮珠颗粒图像分割，并从2d图像中对其形状特征与灰度特征信息分别进行提取；步骤s6、根据亮珠颗粒图像特征信息的统计，对亮珠成型过程工况进行判定并及时调整参数。3.根据权利要求2所述的一种利用融合2d与3d视觉感知的烟花成型检测装置的检测方法，其特征在于，步骤s1中所述亮珠颗粒图像包括2d图像与3d图像。4.根据权利要求2所述的一种利用融合2d与3d视觉感知的烟花成型检测装置的检测方法，其特征在于，步骤s2中训练样本为2d亮珠颗粒边缘轮廓图像，制作过程中对亮珠颗粒边缘轮廓像素点用灰度值255进行标记，其余像素点用灰度值0进行标记。5.根据权利要求2所述的一种利用融合2d与3d视觉感知的烟花成型检测装置的检测方法，其特征在于，所述步骤s3中transformer-unet网络模型包括transformer网络和unet网络结构，unet为整个transformer-unet网络的骨架结构；transformer网络有3层，每层由两个transformer层顺次连接组成；unet网络中采用全卷积网络替代全连接层。6.根据权利要求2或5所述的一种利用融合2d与3d视觉感知的烟花成型检测装置的检测方法，其特征在于，步骤s3中边缘轮廓的提取方法为：利用unet网络的卷积层作为encoder对图像的局部特征信息，然后利用transformer层作为encoder对图像的全局特征信息进行提取，并将提取到的局部特征信息和全局特征信息以相加方式进行图像特征的融合，并输入到unet骨架网络的 decoder层，对图像特征信息进行恢复，最后得到亮珠颗粒边缘轮廓点的输出图像。7.根据权利要求2所述的一种利用融合2d与3d视觉感知的烟花成型检测装置的检测方法，其特征在于，步骤s4中亮珠颗粒之间存在的遮挡进行识别判断方法为：在目标亮珠颗粒
ꢀ
边缘轮廓上提取固定数量的边缘点，以边缘点为切点，并沿该边缘方向指向目标亮珠颗粒的法向量方向作圆，其中为目标亮珠颗粒与的交叉区域；同样以边缘点为切点，并沿该边缘方向指向相邻亮珠颗粒的法向量方向作半径与圆半径相同的圆，其中为相邻亮珠颗粒与的交叉区域；利用采集的3d图像信息，将深度信息转换为亮珠颗粒的高度信息，分别对交叉区域与中像素点计算其平均高度值和，如果则说明目标亮珠颗粒没有被该相邻颗粒遮挡，通过搜索并计算所有目标亮珠颗粒边缘轮廓点，均满足则判断该目标亮珠颗粒没有被遮挡，反之如果则说明目标亮珠颗粒被该相邻颗粒遮挡。8.根据权利要求2所述的一种利用融合2d与3d视觉感知的烟花成型检测装置的检测方法，其特征在于，步骤s5中形状特征与灰度特征信息的提取方法为：去除被遮挡亮珠颗粒，对未遮挡的亮珠颗粒提取其边缘轮廓点，首先基于亮珠颗粒呈圆形状的先验知识，对边缘轮廓点进行最小二乘圆拟合，计算其半径，然后计算边缘轮廓点围成连通区域的灰度共生矩阵，最后统计所有未遮挡亮珠颗粒的半径分布值以及灰度共生矩阵平均值，完成图像特征信息的统计提取。9.根据权利要求2所述的一种利用融合2d与3d视觉感知的烟花成型检测装置的检测方法，其特征在于，步骤s6具体为：在s5中统计的亮珠颗粒图像特征信息基础上，通过工业控制电脑（105）将亮珠颗粒图像特征信息发送到造粒机（106）的控制决策系统，对亮珠成型过程工况进行判定并及时调整参数，使亮珠颗粒符合质量要求。

技术总结

本发明公开了一种融合2D与3D视觉感知的烟花成型检测装置，RGBD相机固定安装于光源相机调整座上，RGBD相机位于面光源的开孔处；光源相机调整座安装于检测装置支架上；工业控制电脑分别与RGBD相机、造粒机通过导线相连。本发明还公开了上述烟花成型检测装置的检测方法。实现对烟花亮珠成型过程的智能化检测，达到人药分离的目的，消除烟花亮珠生产过程中的安全隐患，提高成品烟花亮珠产品质量。提高成品烟花亮珠产品质量。提高成品烟花亮珠产品质量。