基于多头注意力的多尺度融合沥青路面裂缝识别方法与流程

1.本发明涉及图像分类技术领域，更具体的说，涉及基于多头注意力的多尺度融合沥青路面裂缝识别方法。

背景技术：

2.目前的路面裂缝图像多分类工作中，通过cnn方法存在局部感受野局限的问题，过多的堆叠层数容易导致有用信息特征的丢失，同时cnn获取的特征主要关注了局部区域，难以从整体视野进行特征的捕获。通常，采集车采集的路面裂缝图像中的裂缝类别较多，需要考虑到图像的全局特征以及局部特征进行样本的特征学习，并实现基于全局空间特征的图像多类型裂缝识别，能够有效提升路面检测和维修的智能化水平。

技术实现要素：

3.在路面裂缝检测中，如何对路面裂缝图像进行智能化的准确检测，对于道路交通安全具有重要的价值。路面裂缝具有阴影、裂缝退化、纹理等特点，同时伴随有横向、纵向、斜向、交叉、网状裂缝等类型。多尺度的图像块可以自动获取高质量的特征，同时通过注意力机制可以获取裂缝的增强特征，基于多头注意力的多尺度特征能够获取图像的局部和全局信息，显著提升图像分类常识别的精准性。为此，本发明的目的在于提出了基于多头注意力的多尺度融合沥青路面裂缝识别方法，通过融合不同图像块的多尺度特征和图像块的位置编码，采用多头注意力机制在全局空间上学习重要的图像块特征，实现图像的多标签分类。本发明能够利用局部细粒度的多尺度图像块特征学习鲁棒性更好的图像整体分类模型，在解决沥青路面裂缝图像的多分类识别问题方面可以有重要的价值。
4.基于多头注意力的多尺度融合沥青路面裂缝识别方法，包括以下步骤：
5.s1，采用手机和检测车采集沥青路面的包含多类型裂缝的图像，分别包括“有裂缝”和“无裂缝”两种类别，并人工标注横向裂缝、纵向裂缝和网状裂缝标签；
6.s2，基于锐化、双边滤波和灰度变换中的至少一种进行裂缝图像的数据预处理和数据增强；
7.s3，将数据增强后的沥青路面裂缝图像数据集分为训练集、验证集和测试集；
8.s4，将训练集的输入图像分成多个图像块，设计多尺度融合的卷积网络在每个图像块上进行特征抽取；
9.s5，针对每个图像块，将多尺度融合后的图像块特征与位置编码向量进行拼接，输入transformer编码器，图像块采用多头注意力机制进行图像特征提取，利用多层感知器进行类别概率计算；
10.s6，在采集的沥青路面裂缝图像集上，为每个图像进行分类，计算交叉熵损失函数，并采用梯度反传优化方法，降低损失函数值，最终得到分类模型；
11.s7，对于新的图像，重复步骤s2-s5利用分类模型学习的参数进行裂缝识别。
12.进一步的，所述步骤s2中，基于锐化、双边滤波和灰度变换中的至少一种进行裂缝
图像的数据预处理和数据增强的方法如下：
13.s2.1，对沥青路面的图像进行亮度变化，高斯噪声模糊和椒盐噪声叠加中的至少一种图像操作；
14.s2.2，对图像进行翻转、平移和旋转中的至少一种实现数据增强变换。
15.进一步的，所述步骤s4中，将训练集的输入图像分成多个图像块，设计多尺度融合的卷积网络在每个图像块上进行特征抽取的方法如下：
16.s4.1，将输入图像分割成s个图像块，在第一块上进行卷积，获取第一块的特征f1；
17.s4.2，将第i块的输入与第i-1块的特征f
i-1
进行卷积融合，融合的函数表示为：
[0018][0019]
进一步的，所述步骤s5中，针对每个图像块，将多尺度融合后的图像块特征与位置编码向量进行拼接，输入transformer编码器，图像块采用多头注意力机制进行图像特征提取，利用多层感知器进行类别概率计算的方法如下：
[0020]
s5.1，将多尺度融合后的图像块特征fi与位置编码向量进行拼接；
[0021]
s5.2，对每一块的拼接图像特征进行transformer编码，获取每一块的特征向量为headi＝attention(qw
iq
,kw
ik
,vw
iv
)；
[0022]
s5.3，采用多头注意力机制进行图像特征提取表示为multihead(q,k,v)＝concat(headi,...,headh)wo[0023]
s5.4，通过多层感知器在多个类别上进行映射，输出特征向量
[0024]
进一步的，所述步骤s6中，在采集的沥青路面裂缝图像集上，为每个图像进行分类，计算交叉熵损失函数，并采用梯度反传优化方法，降低损失函数值，最终得到分类模型的方法如下：
[0025]
s6.1，计算输出特征向量与真实类别向量yj的交叉熵损失函数为：
[0026]
s6.2，设置批次大小batchsize和训练轮数，计算batchsize个样本的损失，并采用梯度反传优化方法，更新参数，在验证集上连续5个epoch准确率不再提高时，停止训练，得到分类模型。
[0027]
与现有技术相比本发明具有以下有益技术效果：
[0028]
本发明通过融合图像块的多尺度特征增大网络层的感受视野，捕获局部和全局的特征，通过transformer自注意力机制在全局视野上增强了图像特征，学习的特征可以用于下游的图像多分类任务。本发明从图像的全局特征以及局部特征进行了样本图像的特征学习，并实现了基于全局空间特征的多类型裂缝识别，在沥青路面图像的多类别裂缝检测问题中具有重要的应用价值。
附图说明
[0029]
图1为基于多头注意力的多尺度融合沥青路面裂缝识别方法的实施例示意图；
[0030]
图2为基于多头注意力的多尺度融合沥青路面裂缝识别方法的流程图。
具体实施方式
[0031]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。
[0032]
实施例1
[0033]
基于多头注意力的多尺度融合沥青路面裂缝识别方法，包括以下步骤：
[0034]
步骤s1，采用手机和检测车采集沥青路面的包含多类型裂缝的图像，分别包括“有”“无”裂缝两种类别，并人工标注横向裂缝、纵向裂缝和网状裂缝等标签。
[0035]
步骤s2，基于锐化、双边滤波、灰度变换等进行裂缝图像的数据预处理和数据增强；
[0036]
对沥青路面的图像进行亮度变化，高斯噪声模糊，椒盐噪声叠加等图像操作；
[0037]
对图像进行翻转、平移、旋转等数据增强变换。
[0038]
步骤s3，将数据增强后的沥青路面裂缝图像数据集分为训练集、验证集和测试集。
[0039]
步骤s4，将训练集的输入图像分成多个图像块，设计多尺度融合的卷积网络在每个图像块上进行特征抽取；
[0040]
将输入图像分割成s个图像块，在第一块上进行卷积，获取第一块的特征f1；
[0041]
将第i块的输入与第i-1块的特征f
i-1
进行卷积融合，融合的函数表示为
[0042][0043]
步骤s5，针对每个图像块，将多尺度融合后的图像块特征与位置编码向量进行拼接，输入transformer编码器，图像块采用多头注意力机制进行图像特征提取，利用多层感知器进行类别概率计算；
[0044]
将多尺度融合后的图像块特征fi与位置编码向量进行拼接；
[0045]
对每一块的拼接图像特征进行transformer编码，获取每一块的特征向量为headi＝attention(qw
iq
,kw
ik
,vw
iv
)；
[0046]
采用多头注意力机制进行图像特征提取表示为multihead(q,k,v)＝concat(headi,...,headh)wo[0047]
通过多层感知器在多个类别上进行映射，输出特征向量
[0048]
步骤s6，在采集的沥青路面裂缝图像集上，为每个图像进行分类，计算交叉熵损失函数，并采用梯度反传等优化方法，降低损失函数值，最终得到分类模型；
[0049]
计算输出特征向量与真实类别向量yj的交叉熵损失函数为：
[0050]
设置批次大小batchsize和训练轮数，计算batchsize个样本的损失，并采用梯度反传等优化方法，更新参数，在验证集上连续5个epoch准确率不再提高时，停止训练，得到分类模型。
[0051]
步骤s7，对于新的图像，重复步骤2-5利用分类模型学习的参数进行裂缝识别。
[0052]
本发明通过对输入图像进行预处理和数据增强并对输入图像进行分块；在图像块上进行多尺度的卷积运算，融合不同图像块的特征到相邻的图像块；结合图像块的位置编码，基于多头注意力机制学习全局空间上重要的图像块特征，实现图像的多分类概率计算；通过选取概率最大的几个类别标记图像的标签类型。本发明能够利用细粒度的多尺度图像
块特征学习鲁棒性更好的图像整体分类模型，在解决沥青路面裂缝图像的多分类识别问题方面可以有重要的价值。
[0053]
上面结合实施例对本发明的实例作了详细说明，但是本发明并不限于上述实例，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出的各种变化，也应视为本发明的保护范围。

技术特征：

1.基于多头注意力的多尺度融合沥青路面裂缝识别方法，其特征在于，包括以下步骤：s1，采用手机和检测车采集沥青路面的包含多类型裂缝的图像，分别包括“有裂缝”和“无裂缝”两种类别，并人工标注横向裂缝、纵向裂缝和网状裂缝标签；s2，基于锐化、双边滤波和灰度变换中的至少一种进行裂缝图像的数据预处理和数据增强；s3，将数据增强后的沥青路面裂缝图像数据集分为训练集、验证集和测试集；s4，将训练集的输入图像分成多个图像块，设计多尺度融合的卷积网络在每个图像块上进行特征抽取；s5，针对每个图像块，将多尺度融合后的图像块特征与位置编码向量进行拼接，输入transformer编码器，图像块采用多头注意力机制进行图像特征提取，利用多层感知器进行类别概率计算；s6，在采集的沥青路面裂缝图像集上，为每个图像进行分类，计算交叉熵损失函数，并采用梯度反传优化方法，降低损失函数值，最终得到分类模型；s7，对于新的图像，重复步骤s2-s5利用分类模型学习的参数进行裂缝识别。2.根据权利要求1所述的基于多头注意力的多尺度融合沥青路面裂缝识别方法，其特征在于，所述步骤s2中，基于锐化、双边滤波和灰度变换中的至少一种进行裂缝图像的数据预处理和数据增强的方法如下：s2.1，对沥青路面的图像进行亮度变化，高斯噪声模糊和椒盐噪声叠加中的至少一种图像操作；s2.2，对图像进行翻转、平移和旋转中的至少一种实现数据增强变换。3.根据权利要求2所述的基于多头注意力的多尺度融合沥青路面裂缝识别方法，其特征在于，所述步骤s4中，将训练集的输入图像分成多个图像块，设计多尺度融合的卷积网络在每个图像块上进行特征抽取的方法如下：s4.1，将输入图像分割成s个图像块，在第一块上进行卷积，获取第一块的特征f1；s4.2，将第i块的输入与第i-1块的特征f
i-1
进行卷积融合，融合的函数表示为：4.根据权利要求3所述的基于多头注意力的多尺度融合沥青路面裂缝识别方法，其特征在于，所述步骤s5中，针对每个图像块，将多尺度融合后的图像块特征与位置编码向量进行拼接，输入transformer编码器，图像块采用多头注意力机制进行图像特征提取，利用多层感知器进行类别概率计算的方法如下：s5.1，将多尺度融合后的图像块特征f
i
与位置编码向量进行拼接；s5.2，对每一块的拼接图像特征进行transformer编码，获取每一块的特征向量为head
i
＝attention(qw
iq
,kw
ik
,vw
iv
)；s5.3，采用多头注意力机制进行图像特征提取表示为multihead(q,k,v)＝concat(head
i
,...,head
h
)w
o
s5.4，通过多层感知器在多个类别上进行映射，输出特征向量5.根据权利要求4所述的基于多头注意力的多尺度融合沥青路面裂缝识别方法，其特
征在于，所述步骤s6中，在采集的沥青路面裂缝图像集上，为每个图像进行分类，计算交叉熵损失函数，并采用梯度反传优化方法，降低损失函数值，最终得到分类模型的方法如下：s6.1，计算输出特征向量与真实类别向量y
j
的交叉熵损失函数为：s6.2，设置批次大小batchsize和训练轮数，计算batchsize个样本的损失，并采用梯度反传优化方法，更新参数，在验证集上连续5个epoch准确率不再提高时，停止训练，得到分类模型。

技术总结

本发明涉及一种基于多头注意力的多尺度融合沥青路面裂缝识别方法，通过对输入图像进行预处理和数据增强并对输入图像进行分块；在图像块上进行多尺度的卷积运算，融合不同图像块的特征到相邻的图像块；结合图像块的位置编码，基于多头注意力机制学习全局空间上重要的图像块特征，实现图像的多分类概率计算；通过选取概率最大的几个类别标记图像的标签类型。本发明能够利用细粒度的多尺度图像块特征学习鲁棒性更好的图像整体分类模型，在解决沥青路面裂缝图像的多分类识别问题方面可以有重要的价值。要的价值。要的价值。