(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 202011048446.3
(22)申请日 2020.09.29
(71)申请人 华南理工大学
地址 510640 广东省广州市天河区五山路
381号
申请人 广州市精源电子设备有限公司
(72)发明人 曹彪 刘明 黄增好
(74)专利代理机构 广州粤高专利商标代理有限
公司 44102
代理人 何淑珍 江裕强
(51)Int.Cl.
G01N 21/88(2006.01)
G06T 7/00(2017.01)
G06N 3/04(2006.01)
G06N 3/08(2006.01)
(54)发明名称
(57)摘要
本发明公开一种基于机器视觉的漆包线点
焊质量检测系统及检测方法，包括：点焊焊接系
统、视觉系统和上位机系统；点焊焊接系统包括
焊接电源和机头，焊接电源可通过触摸屏设置焊
接参数，满足不同焊接条件下的焊接需求；机头
可以调整焊接过程中电极头与漆包线接触时的
压力大小；视觉系统包括相机、镜头、光源、光电
传感器和信号传输线；上位机系统接收触发信
号，控制相机采集图像，并基于训练好的微细漆
包线点焊质量检测的CNN模型，输入的图像经过
CNN模型可快速得到焊接质量检测结果；在得到
新样本后，对卷积神经网络进行增量学习，可在
原来的基础上识别新的类别或新的样本信息。权利要求书2页 说明书4页 附图2页CN 112285114 A 2021.01.29
C N 112285114
A
1.一种基于机器视觉的漆包线点焊质量检测系统，其特征在于，包括：点焊焊接系统、视觉系统和上位机系统；
所述点焊焊接系统包括焊接电源和机头，机头与焊接电源的正负极通过焊接电缆连接，焊接电源通过其自带的触摸屏人机交互系统设置焊接参数，满足不同焊接条件下的焊接需求；机头调整焊接过程中电极头与漆包线接触时的压力大小；
所述视觉系统包括相机、镜头、光源、光电传感器和传输线缆；相机为满足微型电声器件与微细漆包线点焊图像拍摄的工业相机，相机通过传输线缆传输图像数据和接收上位机控制信号；镜头安装在相机上，用来调整放大倍数、景深和视角；光源用来给待测产品打光，以获得高质量的图像；光电传感器用来感知是否有待测产品进入图像采集区域，当待测产品运动到光源下方，即被测物体运动到视野范围内时，触发光电传感器产生触发信号，并将触发信号传输至上位机系统；
所述上位机系统包括上位机和显示屏，用于接收光电传感器的触发信号，控制相机采集图像；所述上位机中设有基于训练好的微细漆包线点焊质量检测的卷积神经网络(CNN)模型，输入上位机系统接收到的图像经过CNN模型得到焊接质量检测结果。
2.根据权利要求1所述的一种基于机器视觉的漆包线点焊质量检测系统，其特征在于，在漆包线点焊的生产过程中，若得到CNN模型中不存在的新类别或新样本，对卷积神经网络模型进行增量学习，在原CNN模型的基础上识别新的类别或新的样本信息。
3.根据权利要求2所述的一种基于机器视觉的漆包线点焊质量检测系统，其特征在于，所述卷积神经网络模型的结构主要包括输入层、若干卷积层、若干池化层、全连接层及输出层，若干个卷积层和若干个池化层交替连接，负责提取输入层图像特征；输出层使用一层或两层全连接神经网络，根据提取的特征向量进行质量分类；在网络训练过程中随机让某些隐含层的神经元不工作，保留其值并将其当前输出设置为0；经过重复的训练、测试及调节CNN模型的超参数，最终将性能较好的CNN模型载入分类识别程序。
4.根据权利要求3所述的一种基于机器视觉的漆包线点焊质量检测系统，其特征在于，最后一个池化层与全连接层之间添加Dropout层，防止过拟合现象的出现。
5.根据权利要求4所述的一种基于机器视觉的漆包线点焊质量检测系统，其特征在于，CNN模型的分类
结果包括：良好、过热、虚焊、断线、过扁、爬锡不良和焊偏。
6.根据权利要求5所述的一种基于机器视觉的漆包线点焊质量检测系统，其特征在于，采用视觉系统采集漆包线焊点的图片标上对应的标签，按照比例划分训练集、测试集和验证集，以训练集图片为输入数据训练卷积神经网络模型。
7.根据权利要求1～6任一项所述的一种基于机器视觉的漆包线点焊质量检测系统，其特征在于，所述光源包括同轴光源、环形光源或者条形光源。
8.根据权利要求7所述的一种基于机器视觉的漆包线点焊质量检测系统的检测方法，其特征在于，包括以下步骤：
1)通过设置不同焊接参数，并给视觉系统采集的各种状态的漆包线焊点的图片标上对应的标签，按照比例划分训练集、测试集和验证集，搭建卷积神经网络模型的网络结构并以训练集图片为输入数据训练卷积神经网络模型；
2)产品焊接完成后，经传送带运输至检测工位，当待测产品运动到光源下方，即被测物体运动到视野范围内时，触发光电传感器产生触发信号，同时将触发信号传送至上位机系
统，上位机系统控制相机采集图像，当工业相机接收到触发信号时，立即触发工业相机釆集被测物体的
图像，相机采集完待测产品图像后，将待测产品图像传输至上位机系统；
3)上位机系统接收到采集的待测产品图像后，采用训练好的卷积神经网络模型对图片进行识别，然后将识别到的质量信息传输给焊接电源的触摸屏显示。
一种基于机器视觉的漆包线点焊质量检测系统及检测方法
技术领域
[0001]本发明属于点焊质量检测领域，具体涉及一种基于机器视觉的漆包线点焊质量检测系统及检测方法。
背景技术
[0002]一直以来，电声器件与微细漆包线的点焊质量检测多为人工检测。即检测人员用肉眼观察焊后工件，根据经验判别质量好坏。检测工作人工成本高，且随着工作时间的增长，人员疲劳导致易导致误判。尤其是检测这种微型器件，检测人员须仔细观察，并且现场生产节拍快，很难长时间集中精神与保持注意力。
[0003]机器视觉是利用人工视觉系统代替人眼完成视觉任务，其本质是模拟人类视觉感知并理解现实世
界这一过程。机器视觉技术在工件的识别、表面质量检测、尺寸测量、生产监控、和精确定位等方面应用广泛，且发展非常迅速。
[0004]目前机器视觉在质量检测检测方面的应用主要是以合格产品为模板与生产线上的产品做对比，以此判别产品的质量。这种质量检测方式要求合格产品的图像高度一致，待测产品与合格产品模板对比后，便可轻松辨别质量好坏。而电声器件与微细漆包线点焊过程中产生热量，形成熔核。电声器件的锡焊盘表面会被不同程度的熔化，因此采集到的焊后产品的图像各不相同，同样是质量良好的产品，图像之间的差距可能会很大。因此需要一种基于机器视觉的新方法来满足漆包线点焊质量检测的需求。
发明内容
[0005]为了克服传统人工微细漆包线点焊质量检测的不足，本发明提供了一种基于机器视觉图像处理的微细漆包线点焊质量检测系统。该系统不仅可以快速地将焊点质量分类，而且检测准确率高，可节省人力和时间成本，并且结合增量学习，能在保存旧样本信息下，不断地从新样本中学习新知识。
[0006]本发明至少通过如下技术方案之一实现。
[0007]一种基于机器视觉的漆包线点焊质量检测系统，包括：点焊焊接系统、视觉系统和上位机系统；
[0008]所述点焊焊接系统包括焊接电源和机头，机头与焊接电源的正负极通过焊接电缆连接，焊接电源
通过其自带的触摸屏人机交互系统设置焊接参数，满足不同焊接条件下的焊接需求；机头调整焊接过程中电极头与漆包线接触时的压力大小；
[0009]所述视觉系统包括相机、镜头、光源、光电传感器和传输线缆；相机为满足微型电声器件与微细漆包线点焊图像拍摄的工业相机，相机通过传输线缆传输图像数据和接收上位机控制信号；镜头安装在相机上，用来调整放大倍数、景深和视角；光源用来给待测产品打光，以获得高质量的图像；光电传感器用来感知是否有待测产品进入图像采集区域，当待测产品运动到光源下方，即被测物体运动到视野范围内时，触发光电传感器产生触发信号，并将触发信号传输至上位机系统；
[0010]所述上位机系统包括上位机和显示屏，用于接收光电传感器的触发信号，控制相机采集图像；所述上位机中设有基于训练好的微细漆包线点焊质量检测的卷积神经网络(CNN)模型，输入上位机系统接收到的图像经过CNN模型得到焊接质量检测结果。[0011]优选的，在漆包线点焊的生产过程中，若得到CNN模型中不存在的新类别或新样本，对卷积神经网络模型进行增量学习，在原CNN模型的基础上识别新的类别或新的样本信息。
[0012]优选的，所述卷积神经网络模型的结构主要包括输入层、若干卷积层、若干池化层、全连接层及输出层，若干个卷积层和若干个池化层交替连接，负责提取输入层图像特征；输出层使用一层或两层全连接神经网络，根据提取的特征向量进行质量分类；在网络训练过程中随机让某些隐含层的神经元不工
作，保留其值并将其当前输出设置为0；经过重复的训练、测试及调节CNN模型的超参数，最终将性能较好的CNN模型载入分类识别程序。[0013]优选的，最后一个池化层与全连接层之间添加Dropout层，防止过拟合现象的出现。
[0014]优选的，CNN模型的分类结果包括：良好、过热、虚焊、断线、过扁、爬锡不良和焊偏。[0015]优选的，采用视觉系统采集漆包线焊点的图片标上对应的标签，按照比例划分训练集、测试集和验证集，以训练集图片为输入数据训练卷积神经网络模型。
[0016]优选的，所述光源包括同轴光源、环形光源或者条形光源。
[0017]根据所述的一种基于机器视觉的漆包线点焊质量检测系统的检测方法，包括以下步骤：
[0018]1)通过设置不同焊接参数，并给视觉系统采集的各种状态的漆包线焊点的图片标上对应的标签，按照比例划分训练集、测试集和验证集，搭建卷积神经网络模型的网络结构并以训练集图片为输入数据训练卷积神经网络模型；
[0019]2)产品焊接完成后，经传送带运输至检测工位，当待测产品运动到光源下方，即被测物体运动到视野范围内时，触发光电传感器产生触发信号，同时将触发信号传送至上位机系统，上位机系统控制相机采集图像，当工业相机接收到触发信号时，立即触发工业相机釆集被测物体的图像，相机采集完待测产品图像后，将待测产品图像传输至上位
[0020]机系统；
[0021]上位机系统接收到采集的待测产品图像后，采用训练好的卷积神经网络模型对图片进行识别，然后将识别到的质量信息传输给焊接电源的触摸屏显示。
[0022]与现有的技术相比，本发明的有益效果为：
[0023]1、相较于微细漆包线点焊质量的人工检测方式，创造性地运用基于卷积神经网络的图像处理技术，并充分结合视觉系统进行微细漆包线焊点图像采集与处理；
[0024]2、该方法灵活性好，可适用各种条件下的点焊质量结果检测。可以根据不同的焊接产品训练相应的卷积神经网络，调整合适的焊接参数，在适当的焊接参数下进行焊接；[0025]3、卷积神经网络结合增量学习。卷积神经网络的模型训练完成后，在生产过程中收集到新的样本时，可以输入新的样本数据并在原模型的基础上进行增量学习，对原网络的模型权重与结构进行微调，不必重新开始训练，也不需提供原始训练样本。
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议