基于深度学习的隧道病害图像检测

 计算机测量与控制.2022.30(2) 犆狅犿狆
狌狋犲狉犕犲犪狊狌狉犲犿犲狀狋牔犆狅狀狋狉狅犾
 ·58 ·
收稿日期:20210810; 修回日期:
20210908。作者简介:高新闻(1975)
,男,安徽桐城人,博士,讲师,主要从事隧道病害检测方向的研究。引用格式:高新闻,王龙坤.基于深度学习的隧道病害图像检测[J].计算机测量与控制,2022,30(2):5864.
文章编号:16714598(2022)02005807  DOI:10.16526/j
.cnki.11-4762/tp.2022.02.009  中图分类号:TP391.41文献标识码:A
基于深度学习的隧道病害图像检测
高新闻1,2
,王龙坤1
(1.上海大学机电工程与自动化学院,上海 200444;
2.上海大学上海城建(集团)公司建筑产业化研究中心,上海 201400
)摘要:随着我国城市地铁的快速发展,隧道的养护变得越来越重要,传统的人工检测方法不仅效率低、成本高,而且耗时,已经不能满足当今的需求;通过对越江隧道中的电缆通道的病害特征进行研究,提出一种基于深度学习的隧道多病害检测的方法,并提出了一种针对隧道病害检测的残差融合模块网络(Resfmnet
),利用深度学习网络提取图像病害特征并进行病害分类,提高了病害的检测能力,所使用的数据集是通过特种机器人在越江隧道中的电缆通道拍摄的视频获得;实验结果表明所提出的网络显示出更高的准确性和泛化性,对多病害的检测的精度mAP达到0.8914,使得越江隧道检查和监控变得高效、低成本,并最终实现自动化。
关键词:越江隧道;电缆通道;隧道病害检测;深度学习;自动化
犐犿犪犵犲犇犲狋犲犮狋犻狅狀狅犳犇犻狊犲犪狊犲犻狀犆狉狅狊狊-狉犻狏犲狉犜狌狀狀犲犾犅犪狊犲犱狅狀犇犲犲狆犔犲犪狉狀犻狀犵
GAOXinwen1,
2,WANGLong
kun1
(1.SchoolofMechanicalandElectricalEngineeringandAutomation,ShanghaiUniversity
,Shang
hai 200444,China;2.SHU-SUCGResearchCentreofBuildingInformation,ShanghaiUniversity,Shang
hai 201400,China)犃犫狊狋狉犪犮狋:Withtherapiddevelopmentofurbansubwaysinourcountry,themaintenanceoftunnelsbecomesmoreandmoreimportant.Thetr
aditionalmanualinspectionmethodsarenotonlylowinefficiencyandhig
hincost,butalsotime-consuming,whichcannolongermeettoday sneeds.Bystudyingthediseasecharacteristicsofthecablechannelinthecross-rivertunnel,amethodfordetectingmultiplediseasesinthetunnelbasedondeep
learn ingisproposed,andaresidualfusionmodulenetwork(Resfmnet)forthedetectionoftunneldiseasesisproposed,usingdeeplearningthenetworkextractsimagediseasefeaturesandperformsdiseaseclassification,whichimp
rovesthedetectionabilityofdiseases.Inthecablechannelofthecross-rivertunnel,thedatasetisusedtobeobtainedfromthevideotakenbysp
ecialrobots;Theexperimentalresultsshowthattheproposednetworkhashigheraccu racyandgeneralization,andtheaccuracymAPofmulti-diseasedetectionreaches0.8914,whichmakesthein spectionandmonitoringofthecross-rivertunnelmoreefficientandlow-cost,andfinallyr
ealizesautomation.犓犲狔
狑狅狉犱狊:cross-rivertunnel;cablechannel;tunneldiseasedetection;deeplearning;automation0 引言
地铁是当今城市人民的主要公共交通基础设施,在世界范围内有广泛的应用,由于隧道在地下受到综
合压力的作用会发生变形[
12
],严重时盾构隧道衬砌表面会出现渗漏、裂缝、腐蚀、缺损等病害[34
],隧
道内病害的出现对隧道的安全带来了巨大的安全隐
患,比如,裂缝的出现会引起隧道内的衬砌表面出现渗水、漏水,渗水和漏水的出现会引起隧道内的钢制结构出现电化学腐蚀,电化学腐蚀进一步导致渗漏水的发生,导致隧道内的病害出现恶性循环,严重的影响了隧道的使用寿命和正常的运营。人工检测的方法,具有较高的主观性,并且随着视觉的疲劳会引起误检、漏检等,这种主观性较强的检测方法是很低效
投稿网址:www.jsjcly
kz.com
第2期
高新闻,等:
基于深度学习的隧道病害图像检测
·59 ·
的,而且隧道中检测人员的安全也是一个需要考虑的问题。传统的基于视觉的方法来完成隧道病害的检
测[
56]
;因此,人们开发了基于图像处理的半自动和全自动方法以促进隧道内的健康检测,机器人的应用减少了人工的干预并且提高了检测人员的安全性.此外隧道的照明条件较差,因此开发自动检测的方法变得尤为重要。
1 检测系统组成及检测方法原理
地铁隧道一般位于地下,其工作环境较差,而对于上海跨黄浦江的越江隧道,其工作环境恶劣,地下能够行走的空间狭小,光线微弱,空气尤为污浊。为此,本课题组设计了一种履带式巡检机器人进行地下隧道中结构病害的检测,该巡检机器人由履带式行走本体和激光扫描仪、拍摄隧道结构病害的运动相机、避障的红外传感器等组成。由于该巡检机器人工作环境中光照非常弱,导致拍摄的隧道视频质量具有较低的清晰度和较多的阴影,甚至拍摄的视频还具有一定的虚影。同时,由于本巡检车检测的越江隧道的结构衬砌由于工作年限比较长,在其表面很多地方都覆盖了一层修补的混凝土或环氧树脂,导致在该隧道中拍摄的视频具有较多的相似性,这为后期的高精度隧道结构病害自动检测带来了一定的困难。
本研究针对地下隧道的特殊环境设计了一种残差融合模块网络(Resfmnet);Resfmnet网络主要包括7个部分:1)特征提取网络resnet50用于提取隧道图像的特征;2)PFnet网络块,此网络块的作用是进行不同层次间的特征融合;3)RFB-F网络块,RFB-F网络块主要是为了针对隧道图像中具有模糊和阴影而设计的;4)TRI-T网络块用来检测不同尺度的目标;5)FPN模块,利用低层特征高分辨率和高层特征的高语义信息,通过融合这些不同层的特征达到预测的效果;6)分类模块(C模块),用来确定病害的类别信息;7)回归模块(C模块),用来确定病害的位置信息。本研究设计的Resfmnet网络的具体结构如图1所示。
2 相关研究
随着人工智能的发展,特别是深度学习在计算机视觉上的应用,为基于图像的目标检测提供了新的机遇,如今深度学习技术已经被应用于工程设施的检测
和维护,而且被证明了是一种有效的方法[78]
,深度
学习在图像分类[910]、目标检测[11]、语义分割[7,12
]等方面表出了较好的性能;近年来随着深度学习的发展,计算机视觉中的像素级语义分割得到迅速
的发
展[1317]。高[18
]等人提出一种将DenseNet用于隧道裂
缝的检测,该算法对隧道裂缝的分类取得了较好地效
果,但是其检测方法偏向一种病害检测;Long[22]等
人首先提出了全卷积神经网络[FCN]进行语义分割,与普通的CNN相比,FCN可以接受任意大小的输入,通过高效的推理和学习输出相应大小的图像,
FCN的应用已经解决了许多难题[4,1920
];Ren[2
1]等人提出了一种基于改进的深度全卷积神经网络,用于进行密集的像素级裂缝分割,提出的网络由骨干网络、扩张卷积、空间金字塔池化和跳接模块组成,提高了网络对裂缝的检测能力。
使用深度学习对地铁盾构隧道衬砌表面的病害进行识别可以分为3个主要目标:包括目标分类、目标
检测和语义分割:目标分类是将图像中的物体进行类别划分,目标检测不仅要将图像中的物体进行分类,而且还要确定物体的位置;由于要进行病害检测的一张图像上可能含有多种病害,而且需要对检测的病害进行分类和定位,以便于后期评估和检测人员的观察,而语义分割侧重于对每个像素进行分类。因此,本文将采用目标检测的方法,实现对隧道的病害检测。
本文主要研究对越江隧道中的电缆通道衬砌表面的多病害进行检测;越江隧道为了防止江水的灌入,在隧道的衬砌表面采取了防护措施,比如在隧道的表面覆盖了一层混凝土,受到隧道衬砌表面混凝土的影响,采集的图像中相似性特征较多;虽然开发的移动机器人能够提供光源,但是光源还是不足以提供足够的光照强度,拍摄的视频序列图像的清晰度相对较弱,并且部分图像中还具有阴影,大大增加了对隧道病害检测的难度;由于越江隧道的电缆通道中没有轨道,我们需要自己铺设移动机器人的行驶路线,以保证移动机器人按照合理的路线行驶,机器人在隧道中行驶会出现一定的摆动,导致采集的视频具有一定量的虚影,也增加了对隧道病害的检测难度。因此,本文提出了一种新的网络结构来进行隧道多病害的检测与分类,以便于后期人员的维护,数据的采集是由自主开发的机器人获得。 
投稿网址:www.jsjcly
kz.com
  计算机测量与控制 第30
·60 ·3 
检测方法
本文所提出的Resfmnet检测算法结构如图1所示。该算法主要包括4个部分:1)特征提取网络res
net50用于提取隧道图像的特征;2)PFnet网络块,此网络的作用是进行不同层次间的特征融合;3)RFB-F网络块,RFB-F网络块主要是为了针对隧道图像具有模糊和阴影而设计的;4)TRI-T网络块用来检测不同尺度的目标
图1 Resfmnet检测算法网络结构图
3 1 数据集的采集和制作
本实验用到的数据集采自于上海的一条越江地铁隧道中的电缆通道,地铁隧道是一种位于地下的管状结构,一般光照环境较差,为了捕获越江隧道的衬砌表面的图像数据,自行开发一种移动机器人,机器人具有3个Gopro像机、1个光源(LED灯)、1个激光雷达、监视器、电池组成,使用的相机具有单线光敏传感器,为单互补金属氧化物半导体(CMOS),静态有效像素1200万,视频拍摄规格为4K。
移动机器人在隧道内以一定的速度行驶,设定拍摄视频时的帧率为30帧/s;在提取视频时以每60帧提取一张视频序列图像;总共提取出1961张有病害的图像;由于训练数据集有限,减少图像数据过度拟合的一种常用方法是通过标签保留变换人为地扩大数据集。为了增加数据集的数量和考虑到光照强度的影响,因此,在本实验中对现有的数据集实施了数据增强,数据增强后总共获取7964张病害图像,最终将训练数据集的图像数量与测试数据集的数量和验证集数据集的数量之比按0.8∶0.1∶0.1进行随机分配,训练集用于训练模型参数,验证集用以验证当前模型
泛化能力,而测试集用于评估最终模型的准确性。3 2 模型的骨干网络
传统的CNN网络,如果只是简单的增加网络的深度,会导致梯度消失或梯度爆炸,对于梯度消失或爆炸的问题,我们一般采用正则化和batchnormali zation的方法,但是这种方法会引起梯度退化问题,即在训练集上准确率会出现过饱和甚至下降的情况,为了解决梯度退化的问题,引入了残差连接。Resnet网络引入残差块来解决网络的梯度退化问题,深度残差网络能通过连接前面网络的特征,使得后面的网络能够学习到残差特征。
本节针对地铁盾构隧道的病害(渗漏、裂缝、腐蚀、缺损)构建网络架构;采用的深度学习架构是keras,来完成这项任务;本文采用renet50作为基线网络,如图1所示。
3 3 子模块网络的设计
在本节中我们选择了多尺度融合的思想,我们的思想是进行跨尺度的多级融合,利用低层次的特征可以检测小目标,但是低层次的语义信息较低,导致检
测的准确性较低。而特征金字塔网络[FPN]通过自顶向下的过程和横向连接来解决低层次语义信息较低的问题,保持低层次特征有利于检测小目标而且能提高检测精度。为了能较好地融合不同层次的语义信息,在将骨干网络提取的特征犆5、犆4、犆3导入FPN网络之前先进行层级融合,受到单向信息流的限制,我们采用一个自底向上和跨尺度的连接来解决这个问题;在跨尺度融合之前先将不同尺度的特征图调整为相同大小的分辨率,然后对其进行求和,其次求和后的特征进行1×1的卷积,最后进行3×3的卷积,融合的方式如式(1)~(6)所示。具体的网络结构参考图2
图2 PFnet网络的结构图
犆51
=犆狅狀狏1×1(犆5)(1)犆41
=犆狅狀狏1×1(犆4)(2
) 
投稿网址:www.jsjcly
kz.com
第2期
高新闻,等:
基于深度学习的隧道病害图像检测
·61 ·
犆31
=犆狅狀狏1×1(犆3)(3) 犆5out=犆狅狀狏3×3(犆51+犆41狏狆
)(4) 犆4out=犆狅狀狏3×3(犆41+犆31狏狆
)(5
) 犆3out=犆狅狀狏3×3(犆31+犆51狏狆
(6)  其中:犆5、犆4、犆3代表上一级网络的输出即Resnet网络的输出,犆51狏狆、犆41狏狆、犆31狏狆代表犆51、犆41、犆31的上采样,犆5out、犆4out、犆3out是犘犉狀犲狋网络的输出,犆狅狀狏1×1、犆狅狀狏3×3分别代表1×1和3×3的卷积,犉代表通道数。
在隧道中由于光照强度非常弱,需要为移动机器人提供光源,但是人为提供的光源强度还是相对来说较弱,甚至还由于遮挡物的干扰,造成拍摄的视频中具有阴影。移动机器人在隧道中行驶会遇到障碍,受到颠簸的移动机器人拍摄的视频具有一定的虚影,为了更好地检测那些具有黑暗和低对比度的图像,我们加入了RFB-F网络和TRI-T网络中,在网络中加入了扩张卷积保持了网络的分辨率和感受野,可以对病害的类别进行更准确的预测。图3是RFB-F网络结构图,图4是TRI-T网络结构图,其中犱代表扩张率
图3 RFB-F
网络结构图
图4 TRI-T网络结构图
RFB-F网络有3部分组成:1)用不同尺度的卷积核用来提取不同尺度的特征;2)对不同尺度的特征图进行扩张卷积;从而用不同尺度的感受野来描述提取的特征;3)跳接块用来防止梯度消失,解决了网络退化的问题。RFB-F网络的公式如下:
犐狀狆狌狋1=犆
狅狀狏1×1(犐狀狆狌狋)(7
)犗狌狋狆狌狋1=犆狅狀狏1×1,犱=1犆狅狀狏1×1(犐狀狆狌狋1)(8
)犗狌狋狆狌狋2=犆狅狀狏1×1,犱=1犆狅狀狏3×1(犐狀狆狌狋1)(9)犗狌狋狆狌狋3=犆狅狀狏1×1,犱=3犆狅狀狏1×3(犐狀狆狌狋1)(
10)犗狌狋狆狌狋4=犆狅狀狏1×1,犱=3犆狅狀狏3×3(犐狀狆狌狋1)(11)犗狌狋狆狌狋5=犆狅狀狏1×1,犱=5犆狅狀狏5×5(犐狀狆狌狋1)(12)犗狌狋狆狌狋=犆狅狀狏1×1(犐狀狆狌狋1+犗狌狋狆狌狋犻)
(13)  其中:犐狀狆狌狋是上一级网络的输出即为{犆5out、
犆4out、犆3out}中的任意一个,犗狌狋狆狌狋是RFB-F网络的输出,犗狌狋狆狌狋犻(犻=1,2,3,4,5)是RFB-F网络的中间计算结果,犗狌狋狆狌狋是RFB-F网络的输出结果,犉代表通道数,犱代表扩张率。
TRI-T网络有2部分组成:1)3×3的卷积和不同大小的空洞卷积;用于提高检测尺度的敏感性;2
)跳接块用来防止梯度消失,解决了网络退化的问题。TRI-T网络的公式如下:
犐狀狆狌狋1=犆
狅狀狏1×1(犐狀狆狌狋)(14)犗狌狋狆狌狋1=犆狅狀狏1×1犆狅狀狏3×3,犱=犼(
犐狀狆狌狋1)(15)犗狌狋狆狌狋=犆狅狀狏1×1(犐狀狆狌狋1+犗狌狋狆狌狋1)
(16)  其中:犐狀狆狌狋是上一级网络的输出,犗狌狋狆
狌狋是TRI-T网络的中间计算结果犆狅狀狏1×1代表1×1的卷积,犆狅狀狏3×3,犱=犼代表了3×3的卷积,其中犱代表扩张率,犼={
1,3,5},犉代表通道数。3 4 模型的训练
本文所采用的实验均在台式计算机上实现,其详细的参数为:1个Intelcorei7-4790@3.60HzCPU8核处理器,1个16GBRAM,1个NVIDIAGTX1070GPU和GPU内存8G,64位系统类型。基于深度学习的算法中使用GPU进行训练网络,并且部署了CUDNN深度神经网络库,在Resfmnet网裂缝检测
络中,将多尺度特征进行融合对目标进行准确的识别和定位,在本实验中设置训练轮次Epoch=100。该算法的步骤为:
)随机初始化网络的权重;2)输入图像至Resfmnet并进行预测;3
)计算预测值与标签值之间的差别;4
)更新网络的权重狑狋
:狑狋+
1=狑狋-α
狑(17
)  其中:α是学习率,犔是损失函数,代表预测值
与真实值之间的差别,狑狋
表示狋次迭代时的权重,
为了解决类别的不平衡问题我们选择了Focalloss损失函数:
投稿网址:www.jsjcly
kz.com
  计算机测量与控制 第30
·62 ·犔狆=-α狋(1-狆狋)γ
log(狆狋)(18)  其中:α狋,γ是固定值,α狋调节正负样本的比例,
狆狋是不同类别的概率。最终将隧道的数据集运行在此深度学习网络上,经过多个轮次的调参之后,以最大化损失函数向全局最优的收敛,训练过程中的模型在每个epoch后保存,并监控最小损失值。然后在测试集上验证Resfmnet模型的准确性,并将具有最高准确性的模型保存为最终模型。
4 实验分析
在隧道运营过程中,隧道土建结构维护较为复杂,有着众多干扰,如图5所示,其主要有以下几种病害:裂缝、渗漏水、缺损、腐蚀、起壳、树脂修补和混凝土出现漏筋。在对本文做试验的越江隧道实际检查后发现,起壳、树脂修补和漏筋出现较少,因此本文主要对腐蚀、裂缝、缺损和渗漏4种病害进行检测,其中腐蚀病害的数量有499个,裂缝病害的数量有1760个,缺损的数量有1306个,渗漏的数量有13726个。腐蚀占比为0.0288,裂缝占比为0.1018,缺损的占比
为0.0755,渗漏的占比为0.7939;数据存在严重的不平衡现象。为了较好地评估网络的检测结果,根据目标检测的特性选取了一些评价指标
图5 隧道衬砌表面及影响识别的干扰物
4 1 评价指标
深度学习在评估模型的时候,经常会使用一些特定的评价指标,根据数据集的分布和侧重的效果选择不同的评价标准,一般的评价指标有F1-score、AP和mAP。在多目标检测中一般选择AP和mAP作为评价指标。因此本文选择AP和mAP作为评价指标,用来综合评价本文模型检测结果的准确性。
P=
犜犘
犜犘+犉犘
(19
)R=犜犘犜犘+犉犖(20
)AP=∫
犘犚犱狉(21)mAP=∑
狆=1
犃犘狆
(22
)其中:犜犘表示实际上是正样本,预测的结果也
是正样本,犉犘实际为正样本,预测结果为负样本,
犉犖:实际为负样本,预测结果为正样本,狇是隧道中病害的类别数量,犘是精确率,犚是召回率,犃犘是每个类别的平均精确率,犿犃犘是检测的所有类别的平均精确率。
4 2 结果对比
表1列出了Resfmnet与Retinanet对比的评估指标对比结果。从表1可以看出Resfmnet的方法在各方面的指标均优于Retinanet的方法,Resfmnet的mAP比Retinanet高出0.0646;说明了Resfmnet的方法更有利于提高隧道中病害的检测能力,与传统的网络相比本文的算法采用了模块化设计,而且每个模块都是单独的,可以根据实际需要进行更换或删除相关模块,从而大大方便了更换网络的效率。
表1 算法指标对比
方法
基线腐蚀AP裂缝AP缺损AP渗漏APmAP
Retin anetResn
et500.87650.75190.95950.71920.8268
Resf mnetResn
et50
0.98190.77820.98450.81730.8914
表2 检测算法对不同病害的误检率结果对比方法
腐蚀
裂缝
缺损
渗漏
平均误检率Retinanet0.0650.1170.04150.084
0.0769Resfmnet0.02810.0620.01650.06
0.0417
表2显示了Resfmnet检测算法与Retinanet检测算法对不同病害的误检率结果对比,通过对比可以发现Resfmnet检测方法的平均误检率低于Retinanet方法,说明对于恶劣的隧道环境Resfmnet方法具有较好的表现性能。为了验证本文提出的方法的准确性,将Resfmnet与Retinanet的方法的检测结果进行对比,比较结果如图6所示,图6(a)是漏水检测原图,图6(d)是裂缝检测原图,从图6(b)、 
投稿网址:www.jsjcly
kz.com

本文发布于:2024-09-21 19:43:59,感谢您对本站的认可!

本文链接:https://www.17tex.com/tex/1/369299.html

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

标签:隧道   检测   病害   网络   进行
留言与评论(共有 0 条评论)
   
验证码:
Copyright ©2019-2024 Comsenz Inc.Powered by © 易纺专利技术学习网 豫ICP备2022007602号 豫公网安备41160202000603 站长QQ:729038198 关于我们 投诉建议