第24卷第3期
2021年
上海电机学院学报
JOURNAL OF SHANGHAI DIANJI UNIVERSITY
Vol.24No.3
2021
吴忍，孙渊
（上海电机学院机械学院，上海201306）
摘要风机塔筒在生产过程中会产生如焊缝成形差、焊缝裂纹等多种类型焊缝缺陷，为解决
传统无损检测效率低、操作困难等问题，提出采用机器视觉技术完成风机塔筒在生产过程中的焊缝
缺陷识别检测。由于工业相机采集到的焊缝图像质量受各种外界因素的影响，提出将传统图像处理 和卷积神经网络结合的焊缝缺陷检测方法。首先将原始焊缝图像进行图像灰度化和图像增强处理，提高图像质量，再将图像输入训练好的卷积神经网络，得出检测结果。实验表明，该方法对于检测焊 缝缺陷具有很高的准确率。
关键词风机塔筒；缺陷检测；图像处理；卷积神经网络
中图分类号TP391.3文献标志码A
External defect detection of welding seam of wind turbine tower
based on deep learning
WU Ren，SUN Yuan
(School of Mechanical Engineering,Shanghai Dianji university，Shanghai201306,China)
Abstract The production process of a fan tower,there are many kinds of weld defects,such as poor weld formation,weld cracks,and so on.In order to solve the problems of low efficiency and operation
difficulty of traditional non-destructive testing,machine vision technology is proposed to complete the identification and detection of weld defects in the production process of the fan tower.Due to the influence of various external factors on the quality of weld images collected by industrial cameras, a weld defect detection method combining traditional image processing and a convolutional neural network is proposed.Firstly,the original weld image is grayed and enhanced to improve the image quality and then input into the trained convolutional neural network to obtain the detection results.The experimental results show that this method has high accuracy for detecting weld defects.
Key words fan tower；defect detection；image processing；convolution neural network
文章编号2095-0020（2021）03-0169-06
收稿日期：2021‑03‑08
基金项目：上海市高峰高原学科资助项目（A1-5701-18-007-03）
作者简介：吴忍（1996—），男，硕士生，主要研究方向为图像处理，E-mail：****************
指导教师：孙渊（1969—），女，教授，博士，主要研究方向为机电设备控制系统集成、风力发电机组技术与应用，E-mail：*************
上海电机学院学报2021年第3期
耐火石
风机塔筒就是风力发电机的塔杆，主要起支撑和吸收风电机组振动的作用，为确保风机发电量的稳定可靠，风机塔筒要将风力发电机组支撑于60~100m的高空。风机塔筒的结构型式主要有圆筒式、桁架式等，按照材料类型又可分为纯钢式、混凝土式等。目前，钢制圆筒式塔架在国内外风电企业中应用最为广泛。
风机塔筒的焊缝主要包括单节塔筒的内外纵缝，两节塔筒组对后的内外环缝以及法兰盘和筒节的拼接焊缝。目前我国的塔筒生产中主要采用风电塔筒大型焊机对塔筒进行自动化焊接，但是对于塔筒焊缝的无损检测依然是完全依赖人工，检测内容包括外部和内部缺陷检测。对于外部缺陷，大多采用磁粉检测（MT）、渗透检测（PT）和涡流检测（ET），但是由于风机塔筒体积庞大且焊缝分布不平，操作起来十分不便，效率不高［1］。随着计算机技术和图像处理技术的飞速发展，在目标检测领域中，先后出现了数字图像处理技术、机器学习和深度学习3种常用的检测方法。数字图像处理技术也就是传统图像处理技术，采集图像时易受外界环境的噪声干扰，泛化能力不强。机器学习在一定程度上能够抵抗外界噪声干扰，但是机器学习模型的参数设置和目标特征点都要人为设定，过分依赖经验，因此精确度和效率无法得到保障。深度学习的出现解决了以上两种目标检测方法存在的问题，以卷积神经网络（Convolution Neural Network，CNN）为基础，出现了R-CNN、Fast R-CNN、Faster R-CNN、YOLO、SSD等多种目标检测算法，不需要人为地进行特征提取。深度学习算法可自动进行
特征提取，对目标进行检测和分类，同时具有很高的检测效率和准确性。
本文提出一种基于传统图像处理和CNN的风机塔筒焊缝缺陷检测算法。该算法首先使用传统图像处理算法将工业相机采集到的焊缝图像进行灰度化。然后对焊缝灰度图像进行增强处理，改善图像的视觉效果，清晰化图像，便于计算机对图像进行进一步处理分析。最后将图像作为训练好的CNN的输入，通过CNN判断焊缝外部是否存在缺陷。1传统图像处理
焊缝图像的质量将会直接影响缺陷检测的准确度。经过有效传统处理的图像，具有更好的缺陷特征和更高的识别度。本文将对原始焊缝图像进行灰度化和图像增强处理。
1.1图像灰度化
目前彩图片颜空间包括RGB、CMY（K）、HSV和CIE-XYZ颜空间，主流的颜空间是RGB三通道彩图［2］。RGB图像是以三维矩阵的方式存储，训练CNN时，需要对RGB3种分量进行处理，将会增加网络训练的时间和难度，而且颜本身容易受到光照等因素的干扰，很难提供准确的关键信息。因此，需要将采集到的彩图片灰度化，降低图像的矩阵维数。
图像经过灰度化之后，颜信息丢失，但图像的梯度信息仍然能保留下来。在焊缝的缺陷检测中，为了识别出缺陷，最关键的因素是图像的梯度，也就是图像的边缘信息。目前图像灰度化的方法包括分量法、最大值法、平均值法和加权平均法。
分量法是指将RGB图像中三分量的亮度值分别作为3个灰度图像的灰度值，根据后续的实际需求选取其中1个灰度值。最大值法是将RGB图像中三分量亮度最大的亮度值作为灰度图像的灰度值。平均值法是以RGB图像三分量亮度值的平均值作为灰度图像的灰度值。加权平均法是将三分量以不同的权值进行加权平均［3］。通常情况下，人眼对绿最敏感，而对蓝最不敏感，对RGB图像的三分量加权平均得到灰度图像的灰度值为Gray(i，j)=0.299R(i，j)+0.578G(i，j)+外国体育明星
0.114B(i，j)（1）式中：i，j为图像中某一像素点在图像中的位置坐标［4］；R(i，j)为该像素点的红度值；G(i，j)为该像素点的绿度值；B(i，j)为该像素点的蓝度值。
本文采用加权平均法对焊缝图像进行灰度化，焊缝原图像以及灰度化后的灰度图像如图1、图2所示。
170
2021年第3期
吴忍，等：基于深度学习的风机塔筒焊缝外部缺陷检测
1.2图像增强
通过图像增强，图像所含信息的质量和辨识
度会得到有效提升，对于实验观察或者进一步的分析处理都十分有利。图像的信息主要是通过某些特征传达出来的，比如图像的边缘、轮廓以及对比度等。通过对这些图像特征的突出和增强，可更好地显示图像的有效信息，提高图像的使用价值。图像增强按照作用域的不同可分为空域内处理和频域内处理。空域内处理是直接对图像进行处理；频域内处理是在图像的某个变换域内，对图像的变换系数进行运算，再通过逆变换获得图像的增强效果［5］。本文采用空域内的图像锐化方法对焊缝灰度图像进行增强处理。
图像锐化主要是指边缘锐化，突出图像中的边缘或纹理，使图像中的各种边界更明显。从数学的角度来看，锐化前的图像相当于是被“积分”了的图像，为了达到锐化的效果，要运用“微分”运算将被“积分”了的图像还原。在图像锐化的过程中，需要运用到各种边缘检测算子，比如Roberts 算子、Sobel 算子、Prewitt 算子和Laplace 算子等，其中前3种算子为一阶边缘算子，也属于微分算子，Laplace 算子通常作为二阶边缘算子［6］。
对于离散的图像f (x ，y )，Roberts 算子的灰度
计算公式为
R o (i ，j )={[f (i ，j )-f (i +1，j +1)]2
+
}
[f (i ，j +1)-f (i +1，j )]2
12
（2）
式中：R o (i ，
j )为该像素点增强后的灰度值；f (i ，j )、f (i +1，j +1)、f (i ，j +1)、f (i +1，j )分别
为该像素点本身、右下方、右方以及正下方像素点的灰度值。
Roberts 算子由两个2阶的模板组成［5］：éëêùûú100-1，éëêùû
ú
01-10（3）
Sobel 算子为两个3×3矩阵［5］
éëêêêêùûúúúú-101-202-101，éëêê
功能梯度材料ùûúú-1-2-10001
21（4）这两个算子分别代表图像的水平和垂直梯度。
Prewitt 算子大小与Sobel 相同，均为3×3的算子［5］
éëêêùûúú-1-1-10001
11，éëêêêêù
ûúú
úú-101-101-101（5）Laplace 算子是一种不依赖于边缘方向的二阶微分算子，是标量而不是矢量。Laplace 算子具有旋转不变的性质，在图像处理中经常用来提取图像的边缘，其表达式为
∇2
f =∂2f ∂x 2+∂2f
∂y
2
（6）
数字图像的近似公式为［5］
∇2f (x ，y )=f (x +1，y )+f (x -1，y )+
f (x ，y +1)+f (x ，y -1)-4f (x ，y )
（7）
在Matlab 中基于以上4种算子对焊缝灰度图像锐化后的效果如图3所示。
由图3可见，经过锐化后的焊缝图像中焊缝从背景中凸显出来，更加清晰，且基于Laplace 算子锐化后的图像相比其他3种算子的锐化效果更加优秀，不仅焊缝边缘准确清晰，且焊缝内的特征也能有效体现出来。因此，本文选择Laplace 算子对焊缝灰度图像进行锐化处理。
2CNN 结构
CNN 和普通的神经网络十分相似，都由大量
的神经元组成。CNN 是一种前馈神经网络，其神
经元可以响应一部分覆盖范围内的周围单元，且CNN 的默认输入都是图像，一个CNN 包括很多层，它们的输入是三维的，输出也是三维的。
CNN
图1
焊缝原图图2焊缝灰度图像
171
上海电机学院学报
2021年第3期
通常包含输入层、卷积层、池化层、全连接层和输出层，有些应用于分类问题的CNN 还具有Softmax 层［7］。本文采用的CNN 结构如图4所示。
（1）输入层。输入层是整个神经网络的输入，在进行图像处理的CNN 中，输入层代表着输入图像的像素矩阵。三维矩阵可以代表一张图片，三维矩阵的长和宽代表图像的大小，三维矩阵的深度代表图像的彩深度［8］
。本文输入层的图像均为灰度图像，故深度为1。从输入层开始，CNN 通过不同的神经网络结构将上一层的三维矩阵转化为下一层的三维矩阵，直至最后的全连接层。
（2）卷积层。卷积层是CNN 中最重要的部
分，和传统的全连接层不同，卷积层每个节点上的输入只是上一层神经网络的一小块。卷积层的目标就是通过对神经网络中的每一个小块进行深入分析，进而得到图像抽象程度更高的特征，卷积层会增加原始节点的深度。
卷积层由很多个特征映射组成，每一个特征映射都包含一个卷积核，不同的特征映射所包含的卷积核也是不同的，其所能抽取的特征类型也不同。卷积核大小要根据图像的大小来确定，卷积核过大，会产生过拟合，太小则很难完全提取图像的有效特征［9］。
经过卷积后图像的W F （宽）和H F （高）分别为W F =
()
W -F +2P S
+1（8）
H F =()H -F +2P S
+1（9）
式中：W 、H 为原图像的宽和高；F 为卷积核的大
小；S 为步长；P 为边界填充大小［10］。
卷积层中需要训练的参数数量只与卷积核的
大小和数量有关，同时，卷积层中同一个特征映射的所有神经元具有相同的卷积核，被称为权值共享［11］，这样就可降低需要训练的参数个数和训练难度。
（3）池化层。池化层能在保留卷积层有用数据的同时，降低数据的维度，进而减少CNN 的计算量，提高训练速度。即池化层神经网络不会减少矩阵的深度，但它可以缩小矩阵的大小［12］。经过池化操作，可将分辨率较高的图片变为分辨率较低的图片，进一步缩小最后全连接层中的节点个数。同时，池化操作还可防止过度拟合［13］。
（4）全连接层。经过多次卷积层和池化层处理之后，输入的图像信息已被抽象成信息含量更高的特征。随着卷积层和池化层层数的增加，
特
图3
图像增强效果
图4CNN 结构
尺骨鹰嘴
172
2021年第3期吴忍，等：基于深度学习的风机塔筒焊缝外部缺陷检测
征映射的数量越来越多，每一个特征映射具有的
神经元数量越来越少，直至神经元的数量减少为
1［14］。当每个特征平面都只有一个神经元的时候，
网络的连接变成了全连接。全连接层的每个节点
都与上一层的所有节点相连，汇总提取的特征。
（5）输出层。输出层的神经元个数和网络具
体的任务有关，对于本文的焊缝识别来说，输出层
的个数为需要检测的焊缝情况种类。
3CNN的训练和实验
本文采用7层CNN结构，包括3层卷积层、3
层池化层和1层全连接层。基于塔筒制造厂采集
的300张焊缝图片，由于单张图片过大，而且单张
图片既包含焊缝缺陷位置，也包含焊缝正常位置，
通过图像分割将300张照片扩展为正常焊缝图片
500张，焊缝成形差和焊缝裂纹图片各200张。由
于条件的限制，现阶段采集到的样本图片数量较
少，将会影响到网络的训练效果。本文对图像添
加噪声、变换缺陷所处位置等方法，将正常图片数量扩充至1200张，其中1000张用于网络训练，200张用于网络测试。将焊缝成形差的图片和焊缝裂纹的图片分别扩充至600张，各自的500张用于网络训练，100张作为测试集用于网络测试。3种训练样本的图片如图5所示。
本文的数据集训练在Win10系统下进行，处理器为Intel（R）Core（TM）i7-8550U，显卡为GTX1050，内存32GB，CNN的训练和测试都是基于Matlab中的Deep Learn Toolbox-master。
CNN在训练过程中对网络的学习率、Batch和迭代次数等进行调试，网络参数的调试对于网络测试的准确率和效率至关重要。学习率是指在优化算法中更新网络权重的幅度大小，学习率可以恒定，也可基于动量或是自适用。过大的学习率可能会导致网络训练永远无法达到要求，过小的学习率则会使网络训练效率变慢，有时还会出现局部最优的情况。Batch是指每次输入CNN的图片数量。在可控的情况下，Batch值的选择越大越好，值越大，模型下降的方向越准，震荡越小，但过大的Batch则会使收敛精度陷入不同的局部值。迭代次数是指模型训练过程中遍历数据集的次数，其会直接影响模型的分类精度［15］。根据CNN 的训练情况，最终确定学习率为0.2，Batch值为60，迭代次数为6000。将测试集图片输入训练好的CNN，测试结果准确率如表1所示。
根据测试结果可以看出，本文的CNN对于检测识别风机塔筒焊缝是否存在焊缝成形差和裂纹缺陷具有很高的识别准确率。
4结语
目前风机塔筒的焊缝外部缺陷检测主要是通过人工检测，本文提出的基于CNN的检测方法具有耗时短、鲁棒性高的特点，经过实验测试也具有很高的检测准确率。在之后的研究中，需要进一步提高学
习样本的数量和样本的多样化，增强样本的采集质量，优化神经网络的结构和参数，
从而
图5焊缝缺陷样本
表1测试结果
焊缝样本类别
正常
成形差
裂纹
测试数量
200
100
100懦艮
准确分类数量mcd
195
94
91
准确率/%
97.5
94
91
173
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议