基于多尺度分组卷积ResNet34的岩石识别模型

第40卷 第1期              陕西科技大学学报          V o l.40N o.1 2022年2月          J o u r n a l o f S h a a n x iU n i v e r s i t y o f S c i e n c e&T e c h n o l o g y      F e b.2022
* 文章编号:2096-398X(2022)01-0167-07
基于多尺度分组卷积R e s N e t34的岩石识别模型
符甲鑫,汪 琦
(河海大学理学院,江苏南京 211100)
摘 要:岩石分类有效提升地质风险评估的效率,为提高岩石粒度特征的识别精度,提出基于
多尺度分组卷积R e s N e t34网络的岩石识别方法,在残差模块中添加多尺度分组卷积和空洞
卷积,提升网络的特征表达能力.采用多尺度分组卷积特征提取的方式,将特征图按通道方向
分为四部分,分别采用不同大小的卷积核进行并行运算和拼接,在更细粒度上提取岩石特征,同时减少了模型训练参数,进而采取空洞卷积增加感受野大小,提升岩石粒度识别精度.实验
表明,该方法不仅有效提升了网络训练的收敛速度,而且在2021年第九届 泰迪杯”数据挖掘
挑战赛七类岩石数据集上识别准确率达到97.6%.
关键词:R e s N e t34;多尺度分组卷积;空洞卷积;细粒度;岩石识别
中图分类号:T P391.41    文献标志码:A
ic卡考勤
R o c k r e c o g n i t i o nb a s e do nm u l t i-s c a l e g r o u p e d c o n v o l u t i o nR e s N e t34
F UJ i a-x i n,WA N
G Q i
(S c h o o l o f S c i e n c e,H o h a iU n i v e r s i t y,N a n j i n g211100,C h i n a)
A b s t r a c t:R o c kc l a s s i f i c a t i o ne f f e c t i v e l y i m p r o v e s t h e e f f i c i e n c y o f g e o l o g i c a l r i s k a s s e s s m e n t.
I no r d e r t o i m p r o v e t h e r e c o g n i t i o n a c c u r a c y o f r o c k p a r t i c l e s i z e c h a r a c t e r i s t i c s,a r o c k i d e n t i-
f i c a t i o n m e t h o db a s e do nt h e m u l t i-s c a l e
g r o u p e dc o n v o l u t i o n R e s N e t34n e t w o r ki s p r o-
p o s e d,a n dm u l t i-s c a l e g r o u p e dc o n v o l u t i o na n dc a v i t y c o n v o l u t i o na r ea d d e dt ot h e r e s i d u a l m o d u l e t o i m p r o v e t h e f e a t u r ee x p r e s s i o na b i l i t y o f t h en e t w o r k.U s i n g m u l t i-s c a l e g r o u p e d
c o n v o l u t i o n f e a t u r ee x t r a c t i o n,t h ef e a t u r e m a p i s
d i v i d
e di n t o
f o u r p a r t sa c c o r d i n
g t ot
h e
c h a n n e l
d i r
e c t i o n,a n d c o n v o l u t i o n k e r n e l s o
f d i f f e r e n t s i z e s a r e u s e d f o r p a r a l l e l o p e r a t i o n a n d
s p l i c i n g,a n d r o c k f e a t u r e sa r ee x t r a c t e da t a f i n e r g r a n u l a r i t y.A t t h es a m e t i m e,t h em o d e l t r a i n i n gp a r a m e t e r s a r e r e d u c e d;t h e nt h ec a v i t y c o n v o l u t i o n i su s e dt o i n c r e a s e t h es i z eo f t h e r e c e p t i v e f i e l da n di m p r o v et h ea c c u r a c y o f r o c k p a r t i c l es i z er e c o g n i t i o n.E x p e r i m e n t s s h o wt h a t t h i sm e t h o dn o t o n l y e f f e c t i v e l y i m p r o v e s t h e c o n v e r g e n c e s p e e d o f n e t w o r k t r a i n-i n g,b u t a l s o a c h i e v e s a r e c o g n i t i o n a c c u r a c y o f97.6%o n t h e s e v e n t y p e s o f r o c k s f o r t h e9t h
"T e d d y C u p"D a t aM i n i n g C h a l l e n g e i n2021.
K e y w o r d s:R e s N e t34;m u l t i-s c a l e g r o u p e dc o n v o l u t i o n;d i l a t e dc o n v o l u t i o n;f i n e-g r a i n e d;
r o c k r e c o g n i t i o n
*收稿日期:2021-08-11
基金项目:国家自然科学基金项目(61773152)
作者简介:符甲鑫(1998-),男,山东聊城人,在读硕士研究生,研究方向:深度学习与强化学习
陕西科技大学学报第40卷
0 引言
岩石是地球上基本组成部分之一,是现代建筑必不可缺的原材料.不同的岩石种类可根据其特定的化学成分和晶体结构区分[1],目前地质研究员主要通过目测㊁显微镜㊁分析化学成分等传统方法判别岩石的种类,但是这些方法耗时㊁耗力,且识别率较低.随着计算机和人工智能的发展,许多研究者利用图像处理和模式识别的技术对岩石图像进行分析,可以快速有效地识别不同种类的岩石.
M l y n a r c z u等[2]运用最近邻㊁K N N和最优球面邻域算法对九类岩石进行识别分类.C h a t t e r-j e e[3]提出了基于支持向量机(S VM)的方法对岩石图像进行分类.P a t e l等[4]提出了一种基于计算机视觉和概率神经网络的岩石分类方法,通过直方图特征对不同种类的石灰岩进行分类.伴随着深度学习的快速发展,卷积神经网络在图像识别和分割领域应用越来越广泛,同样在岩石种类识别也非常受用.Z h a n g等[5]基于I n c e p t i o n-v3深度学习模型对花岗岩㊁千枚岩和角砾岩图像进行识别,准确率达到90%.R a n等[6]提出了基于深度卷积网络的岩石分类模型,对六类岩石(花岗岩,石灰岩,砾岩,砂岩,
页岩,糜棱岩)进行识别,准确率达到97.96%. J i a l u n等[7]提出基于迁移深度学习方法的火星岩石图像分类模型,采用V G G-16网络对火星岩石图像进行分类.
尽管深度网络模型在岩石识别任务上取得了优异表现,但目前的研究主要是对颜㊁纹理特征较明显的岩石进行分类,在粒度特征上无法有效提取岩石细节特征[8].针对相似种类的岩石(例如,深灰泥岩和深灰粉砂质泥岩),它们的颜㊁纹理特征相似,但是粒度上存在些许差别,上述方法均不能有效地提取粒度信息,无法它们进行精准识别分类.因此,本文提出了一种基于多尺度分组卷积R e s N e t34的岩石识别方法,在残差模块中通过对输入特征图按通道均等划分为四部分,对这四部分的特征图采用I n c e p t i o n[9]模块的四个分支分别进行特征提取,不仅能融合不同尺度的特征,且能在更细粒度上有效地提取特征,进而采用空洞卷积层替换残差模块中最后一个卷积层的方式扩大感受野,提升识别精度.实验表明,相比于R e s N e t34网络,该方法加快模型训练的收敛速度,在测试集上达到更高的分类准确率.
1 R e s N e t
1.1 R e s N e t34
A l e x N e t在I m a g e N e t大赛上夺冠后,卷积神经网络进入了飞速发展的阶段,伴随V G G和I n-c e p t i o n网络的出现,其采用更小的卷积核与更深的网络结构,在粗粒度图像分类任务中取得了优异
的表现.但随着网络的加深,网络难以训练,很容易产生梯度消失现象,2015年微软实验室提出R e s-N e t[10],通过引入残差模块的思想,解决了深层神经网络中梯度消失的问题.R e s N e t主要有5种不同网络层数的版本,即R e s N e t-18,R e s N e t-34, R e s N e t-50,R e s N e t-101和R e s N e t-152,数字代表网络的层数.网络层数的增加伴随着参数和计算量的增加,使得网络训练速度变慢,同时层数最少的网络缺乏一定的特征表达能力.在具有一定特征表达能力的前提下,为清晰地反映多尺度分组卷积具有更细粒度特征提取和收敛速度提升的优点,本文选用R e s N e t-34作为岩石分类模型框架,其网络结构如图1所示.
图1 R e s N e t34基本结构
同时表明,倘若多尺度分组卷积在R e s N e t-34上能够提升模型的收敛速度,则在更深层数的网络中提升效果更加显著.R e s N e t-34网络首先对输入图像进行五个卷积组操作,最重要的部分在于最后四个卷积组,它们分别包含了3㊁4㊁6和3个残差模块(B a s i c B l o c k),然后通过平均池化层下采样改变特征图的大小,最后连接全连接层输出类别得分.虽然R e s N e t34解决了梯度消失问题,但在复杂的细粒度岩石识别场景下,无法对粒度特征进行有效提取,且模型训练过程中收敛速度较慢.
㊃861㊃
第1期符甲鑫等:基于多尺度分组卷积R e s N e t34的岩石识别模型1.2 损失函数
R e s N e t分类网络采用交叉熵损失函数[11],用
于衡量模型学习到的分布和真实分布的差异.交叉
熵损失函数的曲线是凸曲线,曲线整体呈单调性,
l o s s越大,梯度越大,便于反向传播时的快速优化,
函数公式为:
L o s s=-∑j c i j l o g(a i j)(1)
式(1)中:c i j表示第i个样本属于类j的真实
概率,a i j表示第i个样本属于类j的预测概率.
1.3 学习率衰减
学习率衰减[12]是指在训练初期学习率大一
些,使得网络收敛迅速,在训练后期学习率小一些,
使得网络更好的收敛到最优解.本文采用固定步长
衰减,学习率每隔τ个步长(e p o c h)就减少为原来
的λ倍,其公式如下所示:
a←a㊃λ,m m o dτ=0(2)
式(2)中:a表示学习率,λ为衰减系数,位于区
间(0,1)内,m表示e p o c h,τ为固定步长.
1.4 评价指标
岩石识别为多分类识别任务,可认为多个二分
类任务的组合,因此本文采用混淆矩阵㊁精确率㊁召
回率㊁特异度㊁准确率以及F1-S c o r e作为结果评价
指标[13].以二分类任务为例,评价指标公式如下所
示:
T P:将正类样本预测为正类的个数;
F N:将正类样本预测为负类的个数;
F P:将负类样本预测为正类的个数;
T N:将负类样本预测为负类的个数;
精确率:
P=T P
T P+F P
(3)
召回率:
监控门禁R=T P
T P+F N
(4)
特异度:
s p e c i f i c i t y=T N
T N+F P
(5)
准确率:
a c c u r a y=T N+T P
F P+T N+T P+F N (6)
F1-S c o r e:
F=2P*R
P+R
(7) 2 改进R e s N e t34
焊割机由于不同通道的特征图具有其独特的表征信息,为学习更加丰富的岩石粒度特征,本文提出了一种多尺度分组卷积R e s N e t34网络结构,主要在残差模块做两方面的改进,一方面,借鉴I n c e p-t i o n[9]网络不同尺度卷积特征提取的思想,在残差模块引入多尺度分组卷积核进行特征提取,并对输出部分进行特征图拼接,构成多尺度特征提取模块,其可以在更细粒度级别上学习图像表征信息.另一方面,为扩大岩石图像感受野的检测范围,对拼接的特征图进行空洞卷积,在分辨率不变的情况下增加感受野,进而提升识别准确率.该方法显著提升了网络对粒度特征的提取效果和加快模型的收敛速度.
2.1 多尺度分组卷积
R e s N e t34的残差模块主要由两个3×3的卷积层和1个1×1的卷积分支构成,其中3×3的卷积用于提取特征图中的特征信息,1×1卷积分支用于避免网络深度带来的梯度消失问题,其结构图如图2(a)所示,输入特征图以直线分支和捷径分支同时进入残差模块[14],在直线分支中,经过两个卷积层产生输出特征矩阵,在捷径分支中,经过1×1卷积核的卷积层,增加通道数量和直线分支的通道数匹配,然后对两个分支的输出矩阵进行相加得到残差模块输出特征图,进而放入R e L u激活函数中.但由于岩石图像复杂多样,存在不同种类的岩石特征相似难以分辨,例如深灰粉砂质泥岩和深灰泥岩的颜㊁
纹理特征相似,但是粒度特征存在差别,灰泥质粉砂岩和浅灰细砂岩的颜相似,但是粒度特征分别是粉砂与细砂,肉眼难以辨别.
针对该问题,借鉴I n c e p t i o n网络中按图像通道方向设置多尺度卷积提取更加丰富表征信息的特性,本文在残差模块的直线分支中并行执行多个大小不同的卷积运算与池化,进行多尺度特征提取,最后按通道方向拼接,如图2(b)所示.通过对输入特征图按通道方向均等划分为四部分特征图,它们的通道数均为输入特征图的四分之一,为更加形象化表示划分过程,本文使用粉㊁绿㊁蓝和灰部分分别代表不同部分的特征图,不同部分特征图设置不同尺度的分组卷积运算.在第一部分特征图(粉)上采用1×1的卷积保持分支信息完整性避免梯度消失现象,在第二部分特征图(绿)上采用1×1和3×3的卷积,在第三部分特征图(蓝)上采用1×1和5×5的卷积,在第四部分特征图(灰)上采用3×3最大池化和1×1卷积,其中第二和第三部分特征图均采用了1×1卷积用于降低特征图通道数以减少参数量和3×3卷积用于还原通道数保持特征图通道数不变.对这四个分支的输出矩阵按通道方向进行拼接[9],得到多尺度的图像表征信息,其可以在更细粒度上提取岩石特征;
㊃961㊃
陕西科技大学学报
第40卷
同时在输入特征图划分和并行运算时,该方法减少了训练参数,加快了模型的收敛速度,假设输入特征图的通道为,原始残差模块和改进残差模块的
参数量如式(8)和式(9)所示.原始残差模块参数量:3×3×n ×  ____n 第一个3×
3卷积
+3×3×n ×  ____n 第二个3×
3卷积+1×1×n ×  ____n 1×
1卷积
=19n
2
(8
)改进残差模块参数量:
1×1×n 4×n    ______4第一部分1×
1卷积
+1×1×n 8×n 4+3×3×n 8×n
______________4第二部分1×
1卷积与3×
3卷积
+1×1×
n 8×n 4+5×5×n 8×n    ______________4第三部分1×
1卷积与5×
5卷积+1×1×n 4×n    ______4
第四部分1×
1卷积
+3×3×n ×  ____n 3×
3空洞卷积
+1×1×n ×  ____n 1×
1卷积分支
=
454
n 2
(9
)  式(9
)中:n 8表示第二㊁三部分特征图1×1卷积降低的通道数,n 4
表示部分特征图原始通道数
.(a
)
原残差模块(b
)改进的残差模块图2 原始与改进的残差模块
2.2 空洞卷积
在传统的图像识别和分割中通常使用池化层
增加感受野缩小特征图尺寸,然后通过上采样还原
到原尺寸,该过程会造成了一定的信息损失,对预
测结果的精度产生一定的影响.而空洞卷积[15]在增加感受野的同时维持特征图尺寸不变,不会造成
信息损失等问题.在改进的残差模块中,本文将原来的第二个3×3卷积变为3×3的空洞卷积,如图
3所示,
卷积核仍为3×3,空洞数为2,目的是在保持与原始残差模块第二个3×3卷积的参数一致的前提下,合理增加感受野范围,因为如若空洞数较大导致感受野内的特征失去一定的关联性㊂对多尺度提取后的特征图进行空洞卷积运算,在不添加参数的情况下,扩大感受野的检测范围,使得岩石识别更加精准.如果空洞卷积的卷积核大小为k ×k ,空洞数为d ,则空洞卷积的卷积核大小等效于k '×k ',公式如下所示.
k '=k +(k -1)×(
d -1)(10
)(a )卷积        (b
)空洞卷积图3 卷积与空洞卷积
3 实验结果与分析3.1 数据预处理
本文采用了70张4096×3000分辨率的
R G B 岩石图像,其来源于2021年第九届
泰迪杯”数据挖掘挑战赛,其中包括七类岩石(黑煤㊁灰黑泥岩㊁灰泥质粉砂岩㊁灰细砂岩㊁浅灰细砂岩㊁深灰粉砂质泥岩和深灰泥岩),如图4所示.由于不同类别的岩石图像样本数量不均匀,需
对原始数据集进行数据增强.首先采用上下采样将岩石图像分别转化为1024×1024㊁2048×2048㊁
3072×3072和4096×4096分辨率图像,进而采用裁剪的方式生成512×512的R G B 图像,构成实验数据集,最后按照4∶1的比例随机划分训练集和验证集,每一个数据集的数量如表1所示
.
(a )黑煤      (b
)灰黑泥岩㊃
071㊃
第1期符甲鑫等:基于多尺度分组卷积R e s N e t 34
的岩石识别模型
(c )灰细砂岩    (d
)
灰泥质粉砂岩 (e )浅灰细砂岩  (f
)
深灰粉砂质泥岩(g
)深灰泥岩图4 七类岩石图像示例
表1 数据集构成
原数据集
实验数据集
训练集验证集黑煤8595476119灰黑泥岩7595476119灰泥质粉砂岩9585468117灰细砂岩7剖布机
600480120浅灰细砂岩16559448111深灰粉砂质泥岩
9585468117深灰泥岩
14580464
116盐屋
3.2 实验设置
在W i n d o w s ㊁G e F o r c eR T X2080G P U 和P y -
t o r c h 框架环境下,
本文设计了多尺度分组卷积R e s N e t 34和R e s N e t 34的岩石识别对比实验,在实验训练阶段,两种模型均训练500e p o c h ;采用交叉熵损失函数和A d a m 优化器,
隐藏层激活函数为R e L u 函数,b a t c hs i z e 为16;采用学习率衰减的方式,初始学习率为0.0005,每隔50e p
o c h 学习率乘以衰减参数0.3.多尺度分组卷积R e s N e t 34和
R e s N e t 34岩石识别在对行训练期间,均保留模型最好的训练权重,以对验证集进行测试.
3.3 实验结果与分析
在训练阶段,将训练图像随机裁剪到448×448
输入到网络,目的是增加训练样本的随机性,弱化数据噪声使模型对缺失值不敏感,增强模型的稳定性.
在测试阶段,将图像中心裁剪到448×448输入到网络,提取中心区域的图像特征,准确刻化数据的特征分布.多尺度分组卷积R e s N e t 34和R e s N e t 34的损失值随着训练轮数变化曲线对比效果如图5所示,
在验证集上准确率变化曲线对比效果如图6所示
.
图5 训练过程损失变化曲线对比
图6 训练过程验证集准确率对比
图5表明,在同样的训练轮数下,多尺度分组卷
积R e s N e t 34的训练损失小于R e s N e t 34网络,并逐步收敛到相同水平;且在第450e p o c h 时,两者损失值近似,多尺度分组卷积R e s N e t 34累积耗时6.69
h ,每一轮数平均耗时53.535s ,而R e s N e t 34累积耗
时9.22h ,每一轮数平均耗时76.766s ,表明该方法在训练时加快了网络的收敛速度.图6表明,在训练阶段,虽然两种模型在验证集上的准确率均有波动,
但相较于R e s N e t 34,本文方法的准确率一直处于领先水平,表明该方法提升岩石识别精度.
基于模型最好的训练权重对验证集进行测试,
本文方法和R e s N e t 34在每类岩石上的识别精确
率㊁召回率㊁特异度以及总体准确率和F 1-S c o r e 评价指标对比结果,如表2所示,两种模型在验证集上的混淆矩阵如图7所示.
瓷管电阻器表2 岩石识别评价指标对比表
岩石类别多尺度分组卷积R e s N e t 34
精确率/%召回率
/%特异度
/%R e s N e t 34精确率
/%召回率
/%特异度
/%黑煤10010010010097.5100灰黑
泥岩96.797.599.495.210099.1灰泥质粉砂岩99.194.999.9196.388.799.4灰细砂岩10099.21001100100100浅灰细砂岩
96.4
95.5
99.4
196.2
91.9
99.4
171㊃

本文发布于:2024-09-24 06:28:37,感谢您对本站的认可!

本文链接:https://www.17tex.com/tex/2/143423.html

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

标签:特征   岩石   卷积   进行   识别   网络   图像   训练
留言与评论(共有 0 条评论)
   
验证码:
Copyright ©2019-2024 Comsenz Inc.Powered by © 易纺专利技术学习网 豫ICP备2022007602号 豫公网安备41160202000603 站长QQ:729038198 关于我们 投诉建议