一种无人机场景的实时车道线检测方法

1.本发明涉及视频图像处理技术领域，尤其涉及一种无人机场景的实时车道线检测方法。

背景技术：

2.基础道路的建设迅速发展，给人们的出行带来了极大的便利，同时交通监管压力也随之增加。一般的道路摄像头监管区域局限、灵活性差，已无法满足当前智慧公路的需要。无人机凭借其优越的机动性、更广阔的视野，已经成为交通监管的重要选择。由于无人机采集的海量视频数据难以通过人力判定、处理，人工智能的引入很好地解决了这一难题。
3.通过把无人机巡航与人工智能识别算法相结合，交管部门不仅可以方便地获取道路的实时运行态势，也可以监管违规占用应急车道、违规越线等交通违法行为。而这一系列功能的基础是对于无人机场景的车道线的实时识别与检测。
4.与此同时无人机高空拍摄场景相较于固定的道路摄像头，其存在着背景不固定、场景复杂、画面易抖动等诸多技术难点，在高空无人机这一特定环境下，车道线检测是一个具有挑战的问题。目前一些方法通过人工提取特征的图像处理的方法来检测，也有采用语义分割的方法来检测车道线。但是，已有的车道线检测方法基本都是面向自动驾驶和固定监控摄像头视角运用的，对于无人机巡航、道路摄像头等鸟瞰场景几乎没有涉及；同时无人机的飞行高度、焦距会根据实际需求而改变、高处观测道路全貌时车道线占比很小，现有算法难以完成检测任务；现有的语义分割等传统算法计算量较大，在实际应用时多存在着准确率与实时性不可兼得的问题，面对海量监控视频，实用性不强。

技术实现要素：

5.本发明的目的是提供一种无人机场景的实时车道线检测方法，最大限度地保证检测实时性的同时，实现无人机高空场景的精细化车道线检测。
6.为解决以上技术问题，本发明的技术方案为：一种无人机场景的实时车道线检测方法，步骤包括：
7.步骤1：构建车道线检测模型；
8.步骤101：采集无人机对车道的监控视频，获取视频图片作为训练样本数据；
9.步骤102：对视频图片进行预处理；
10.步骤103：采用ca注意力机制优化后的ca-resnet18主干网络中，提取图片的若干特征信息，经过不同数量的卷积分别形成高层特征图、低层特征图和标准特征图；
11.步骤104：对不同分辨率不同深度的高层特征图、低层特征图和标准特征图进行双向三层特征融合；
12.步骤105：经过组分类确定每条车道线的位置信息，实现车道检测。
13.步骤2：读入无人机拍摄的实时道路画面，送入车道线检测模型中进行车道线检测。
14.进一步地，步骤101中，采集无人机监控视频后，读入视频画面，截取监控视频中包含车道线的图片；在采集无人机视角的高速公路监控视频时，监控画面中高速公路的画面占比超过50％，其中车道线像素范围不低于100*100。
15.进一步地，步骤102中，预处理方法为：对视频图片通过旋转、垂直和水平移动组成的方式对图片数据集进行增广；并将图片中的车道线延伸至图像的边界。
16.进一步地，步骤103具体为：
17.步骤1031：将图片输入至resnet18主干网络，首先图片输入resnet18主干网络的输入部分，输入部分用于卷积和最大池化，可缩小特征图的尺寸；然后进入中间卷积部分提取特征，最后数据分别经过relu激活函数、平均池化、全连接层得到特征图；其中，卷积部分包括残差结构，通过不同数量的残差结构形成不同分辨率的特征，仅通过一个残差结构，由于经过的卷积更少，将形成低层特征；通过三个残差结构，将获得高层特征；通过两个残差结构获得标准特征；
18.步骤1032：引入ca注意力机制，将resnet18网络提取的特征图沿着水平坐标和垂直坐标两个空间方向聚合特征，得到水平和垂直两组注意力特征块，将两组注意力特征块拼接并依次经过1x 1卷积和非线性激活处理，最终把注意力特征块与resnet18网络提取的特征图加权处理，得到拥有空间与通道注意力特性的特征图，拥有空间与通道注意力特性的特征图包括高层特征图、低层特征图和标准特征图。
19.进一步地，步骤1031中，中间卷积部分通过3*3卷积的堆叠来实现信息的提取，卷积核的重复堆叠次数为2；经过输入部分卷积和最大池化后的数据分成两条路，一条路经过两个3*3卷积，另一条路短接，二者相加构成了残差结构。最后数据分别经过relu激活函数、平均池化、全连接层得到特征图。
20.进一步地，步骤1032中，将resnet18网络提取的特征图沿着水平坐标和垂直坐标两个空间方向聚合特征得到注意力特征块，具体为：
21.输入单一通道特征图的尺寸为h
×
w，高度为h、宽度为w的第c通道输出表达式如下：
[0022][0023][0024]
其中，xc(h,i)表示输入特征图中第c个通道且高度为h的第i个中间特征张量；xc(j,w)表示输入特征图中第c个通道且宽度为w的第j个中间特征张量；zc(h)表示高度为h的第c个通道的特征输出，即获得第一组沿水平方向的注意力特征块；zc(w)表示宽度为w的第c个通道的特征输出，即获得第二组沿垂直方向的注意力特征块；
[0025]
将两组注意力特征块拼接后经过1*1卷积与非线性激活，与输入的特征图重新加权处理，得到注意力特征图。
[0026]
进一步地，步骤104具体为：
[0027]
将高层特征图通过上采样扩张为标准尺寸特征图；
[0028]
将低层特征图通过下采样缩小为标准尺寸特征图；
[0029]
将三张标准尺寸特征图通过concat方法进行融合。
[0030]
进一步地，高层特征图经过卷积上采样后，大小由h1*w1*c转变为h*w*c/2；低层特征图在经过卷积下采样后由h2*w2*c转变为h*w*c/2，三层特征图融合，最终大小为h*w*2c。
[0031]
进一步地，步骤105具体为：图像按照高度方向每隔若干像素点预定义一个行锚，每行继续按照宽度方向分割，可形成若干个栅格；对特征融合后的特征图进行组分类，可得到每个栅格是否为车道线及属于哪条车道线；结合预定义的行锚位置信息，可得到每条车道线对应的像素点坐标信息，进而实现车道线的检测。
[0032]
对于监控视频的序列，分辨率大小设置为1920*1080，表示所有视频监控画面的像素点的数量。
[0033]
本发明具有如下有益效果：
[0034]
一、本发明针对无人机高空场景车道线目标小、像素占比小等难点，使用ca注意力机制优化后的ca-resnet18主干网络，提取图片的若干特征信息，获得三层不同分辨率不同深度的特征图，引入的双向特征融合及ca注意力机制，在空间与通道两个维度提高模型对于车道线的检测能力。然后通过进一步融合高低层特征图增强其语义信息，运用多尺度的特征信息加强车道线检测的能力。最终，经过组分类可锁定每条车道线的具体位置信息。本发明通过轻量化的resnet18网路与特殊的特征融合方式以在可接受时间成本增加的范围内提升车道线检测能力，同时满足实时性要求；
[0035]
二、本发明利用无人机机载摄像头采集视频，可以自动实时检测高速公路的车道线目标，车道线的检测为违章检测、道路状况监控提供了基础，实现了高速交通中车道线检测的智能化。
附图说明
[0036]
图1为本发明车道线检测方法流程图；
[0037]
图2为本发明中步骤103的流程框图；
[0038]
图3为本发明中步骤104的流程框图；
[0039]
图4为本发明应用于真实无人机场景下的车道线检测实施例一的场景图；
[0040]
图5为本发明应用于真实无人机场景下的车道线检测实施例二的场景图。
具体实施方式
[0041]
为了使本发明的目的、技术方案及优点更加清楚明白，下面结合附图和具体实施例对本发明作进一步详细说明。
[0042]
请参考图1，本发明为一种无人机场景的实时车道线检测方法，其包括：
[0043]
步骤1：构建车道线检测模型；
[0044]
步骤101：采集无人机对车道的监控视频，获取视频图片作为训练样本数据；
[0045]
步骤102：对视频图片进行预处理；
[0046]
步骤103：采用ca注意力机制优化后的ca-resnet18主干网络中，提取图片的若干特征信息，经过不同数量的卷积分别形成高层特征图、低层特征图和标准特征图；；
[0047]
步骤104：对不同分辨率不同深度的高层特征图、低层特征图和标准特征图进行双向三层特征融合；
[0048]
步骤105：经过组分类确定每条车道线的位置信息，实现车道检测。
[0049]
步骤2：读入无人机拍摄的实时道路画面至车道线检测模型中进行车道线检测。
[0050]
步骤101中，采集无人机监控视频后，读入视频画面，截取监控视频中包含车道线的图片；在采集无人机视角的高速公路监控视频时，监控画面中高速公路的画面占比超过50％，其中车道线像素范围不低于100*100。对于监控视频的序列，分辨率大小设置为1920*1080，表示所有视频监控画面的像素点的数量。
[0051]
步骤102中，由于车道线是固有结构，基于分类的网络很容易过度拟合训练集，在验证集上表现不佳。为了防止这种现象，并获得泛化能力，本发明的预处理方法为：对视频图片通过旋转、垂直和水平移动组成的方式对图片数据集进行增广，比如，将图片旋转一个角度从而获得更多有识别难度的图片，防止模型只考虑简单视角的情况；此外，为了保持图片中的车道结构，将图片中的车道线延伸至图像的边界。同时，为了对样本不均衡数据进行增广，构建了高空小目标车道线数据集用以训练模型，增强其对于小目标识别能力。
[0052]
参阅图2，步骤103具体为：
[0053]
步骤1031：将图片输入至resnet18主干网络，首先图片输入resnet18主干网络的输入部分，输入部分用于卷积和最大池化，可缩小特征图的尺寸；然后输入中间卷积部分提取特征，最后数据分别经过relu激活函数、平均池化、全连接层得到特征图。
[0054]
resnet18主干网络的输入部分包含一个size＝7x7,stride＝2的大卷积核，以及一个size＝3x3,stride＝2的最大池化，通过输入部分这一步，一个输入图像就会变为原图像三分之一大小的特征图，极大减少了存储所需大小；
[0055]
中间卷积部分主要是通过3*3卷积的堆叠来实现信息的提取，卷积核的重复堆叠次数为2；经过输入部分卷积和最大池化后的数据分成两条路，一条路经过两个3*3卷积，另一条路短接，二者相加构成了残差结构。通过不同数量的残差结构会形成不同分辨率的特征，仅通过一个残差结构，由于经过的卷积更少，将形成低层特征，其分辨率更高，包含更多位置、细节信息，但语义性更低，噪声更多；通过三个残差结构，将会获得高层特征，其具有更强的语义信息，但是分辨率很低，对细节的感知能力较差；标准层的特征需要通过两个残差结构；最后卷积层抓取的不同分辨率的特征先后分别经过relu激活函数、平均池化、全连接层得到不同分辨率的特征图。
[0056]
步骤1032：引入ca注意力机制，输入resnet18网络提取的特征图，将其分别沿着水平坐标和垂直坐标两个空间方向聚合特征，得到注意力特征块，
[0057]
具体为：
[0058]
输入单一通道特征图的尺寸为h
×
w，高度为h、宽度为w的第c通道输出表达式如下：
[0059][0060][0061]
其中，xc(h,i)表示输入特征图中第c个通道且高度为h的第i个中间特征张量；xc(j,w)表示输入特征图中第c个通道且宽度为w的第j个中间特征张量；zc(h)表示高度为h的
第c个通道的特征输出，即获得第一组沿水平方向的注意力特征块；zc(w)表示宽度为w的第c个通道的特征输出，即获得第二组沿垂直方向的注意力特征块；
[0062]
上述公式使得注意力机制不仅可以沿着一个空间方向捕获长期依赖关系，还可以保存沿着另一个空间方向的精确位置信息，对于全局感知能力更强。
[0063]
为了方便统一处理和降低模型复杂度，将两组注意力特征块拼接合一并依次经过1x 1卷积和非线性激活处理，最终把注意力特征块与resnet18网络提取的特征图加权处理，得到拥有空间与通道注意力特性的特征图。
[0064]
本发明中，resnet18主干网络中的卷积部分包括不同数量的残差结构，预处理后的同一张图片经过图2所示包括一个残差结构的ca-resnet18主干网络得到低层特征图，这张图片经过图2所示包括两个残差结构的ca-resnet18主干网络得到标准特征图，经过包括三个残差结构的ca-resnet18主干网络得到高层特征图；
[0065]
参阅图3，对于同一张图片经过不同数量的卷积分别形成的三层不同尺寸的高层特征图、低层特征图、标准特征图；其中高层特征图通过上采样扩张为标准尺寸特征图，低层特征图通过下采样缩小为标准尺寸特征图，最终得到三份标准尺寸的特征图，再通过把三张特征图中的特征通道相加，即concat的方式，对三份特征图拼接融合。低层特征图通过下采样缩小，即多个点的值计算得到一个点的值，达到数据压缩的效果，上采样反之。高层特征图，经过卷积上采样特征图的大小由h1*w1*c转变为h*w*c/2；低层特征图在经过卷积下采样后由h2*w2*c转变为h*w*c/2，三层特征图融合，最终大小为h*w*2c。将高层特征图丰富的语义信息融合进低层特征图，同时结合低层特征图的纹理、位置等细节信息，运用多尺度的特征信息加强车道线检测的能力。
[0066]
步骤105中，图像按照高度方向每隔若干像素点预定义一个行锚，每行继续按照宽度方向分割，可形成若干个栅格；对特征融合后的特征图进行组分类，可得到每个栅格是否为车道线及属于哪条车道线；结合预定义的行锚位置信息，可得到每条车道线对应的像素点坐标信息，进而实现车道线的检测。
[0067]
本发明的优点为：
[0068]
本发明结合注意力机制、特征融合与机器学习的方法，可显著提高无人机场景下车道线的识别准确度与实时性。考虑到无人机场景下车道线目标小和拍摄视角不固定的干扰，以及利用语义分割识别的深度学习方法不适用于车道线的实时检测。本发明采用轻量化resnet18模型提取图片中的特征信息，采用基于ca注意力机制，可以较好的提取目标特征，对车辆灯光和阴影的干扰具有很好的鲁棒性，提高特征图识别效率，提升检测准确率；无人机视角下车道线目标较小，且场景发杂，本发明通过双向特征融合使模型适用于不同大小目标的检测，增强了模型对于小目标的检测能力，同时双向特征融合的计算方式也减少了计算的开销；在最终的车道线检测中，本发明利用组分类的高效性为车道线识别的实时性提供保障，提高了车道线位置确定的效率，在对高空场景车道线检测准确率有较大提升的同时依旧可以保持实时性，最终得到车道线目标位置信息，为道路交通智能化提供基础。
[0069]
图4和图5为本发明应用于真实无人机场景下的车道线检测实施例，可抵抗高空拍摄、目标像素少、镜头晃动等不利因素的干扰。尤其图5可见本发明方法通过resnet18网络、注意力机制、特征融合对道路区域的划分以及车道线的识别，可以作为道路交通违章行为
识别的基础，为道路交通智能化提供前提。
[0070]
本发明未涉及部分均与现有技术相同或采用现有技术加以实现。
[0071]
以上内容是结合具体的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

技术特征：

1.一种无人机场景的实时车道线检测方法，其特征在于：包括步骤1：构建车道线检测模型；步骤101：采集无人机对车道的监控视频，获取视频图片作为训练样本数据；步骤102：对视频图片进行预处理；步骤103：采用ca注意力机制优化后的ca-resnet18主干网络，提取图片的若干特征信息，经过不同数量的卷积分别形成高层特征图、低层特征图和标准特征图；步骤104：对不同分辨率不同深度的高层特征图、低层特征图和标准特征图进行双向三层特征融合；步骤105：经过组分类确定每条车道线的位置信息，实现车道检测。步骤2：读入无人机拍摄的实时道路画面，送入车道线检测模型中进行车道线检测。2.根据权利要求1所述的一种无人机场景的实时车道线检测方法，其特征在于：步骤101中，采集无人机高空监控视频后，读入视频画面，截取监控视频中包含车道线的图片；在采集无人机视角的高速公路监控视频时，监控画面中高速公路的画面占比超过50％，其中车道线像素范围不低于100*100。3.根据权利要求1所述的一种无人机场景的实时车道线检测方法，其特征在于：步骤102中，预处理方法为：对视频图片通过旋转、垂直和水平移动组成的方式对图片数据集进行增广；并将图片中的车道线延伸至图像的边界。4.根据权利要求1所述的一种无人机场景的实时车道线检测方法，其特征在于：步骤103具体为：步骤1031：将图片输入至resnet18主干网络，首先图片将通过resnet18主干网络的输入部分，输入部分包含卷积和最大池化两个部分；然后输入中间卷积部分提取特征，最后分别经过relu激活函数、平均池化、全连接层得到特征图；其中，卷积部分包括残差结构，通过不同数量的残差结构形成不同分辨率的特征，仅通过一个残差结构，由于经过的卷积更少，将形成低层特征；通过三个残差结构，将获得高层特征；通过两个残差结构获得标准特征；步骤1032：引入ca注意力机制，将resnet18网络提取的特征图沿着水平坐标和垂直坐标两个空间方向聚合特征，得到水平和垂直两组注意力特征块，将两组注意力特征块拼接并依次经过1x1卷积和非线性激活处理，最终把注意力特征块与resnet18网络提取的特征图加权处理，得到拥有空间与通道注意力特性的特征图，拥有空间与通道注意力特性的特征图包括高层特征图、低层特征图和标准特征图。5.根据权利要求4所述的一种无人机场景的实时车道线检测方法，其特征在于：步骤1031中，中间卷积部分通过3*3卷积的堆叠来实现信息的提取，卷积核的重复堆叠次数为2；经过输入部分卷积和最大池化后的数据分成两条路，一条路经过两个3*3卷积，另一条路短接，二者相加构成了残差结构。最后数据分别经过relu激活函数、平均池化、全连接层得到特征图。6.根据权利要求4所述的一种无人机场景的实时车道线检测方法，其特征在于：步骤1032中，将resnet18网络提取的特征图分别沿着水平坐标和垂直坐标两个空间方向聚合特征得到注意力特征块，具体为：输入单一通道特征图的尺寸为h
×
w，高度为h、宽度为w的第c通道输出表达式如下：
其中，x
c
(h,i)表示输入特征图中第c个通道且高度为h的第i个中间特征张量；x
c
(j,w)表示输入特征图中第c个通道且宽度为w的第j个中间特征张量；z
c
(h)表示高度为h的第c个通道的特征输出，即获得第一组沿水平方向的注意力特征块；z
c
(w)表示宽度为w的第c个通道的特征输出，即获得第二组沿垂直方向的注意力特征块；将两组注意力特征块拼接后经过1*1卷积与非线性激活，与输入的特征图重新加权处理，得到注意力特征图。7.根据权利要求4所述的一种无人机场景的实时车道线检测方法，其特征在于：步骤104具体为：将高层特征图通过上采样扩张为标准尺寸特征图；将低层特征图通过下采样缩小为标准尺寸特征图；将三张标准尺寸特征图通过concat方法进行融合。8.根据权利要求7所述的一种无人机场景的实时车道线检测方法，其特征在于：高层特征图经过卷积上采样后，大小由h1*w1*c转变为h*w*c/2；低层特征图在经过卷积下采样后由h2*w2*转变为h*w*c/2，三层特征图融合，最终大小为h*w*2c。9.根据权利要求1所述的一种无人机场景的实时车道线检测方法，其特征在于：步骤105具体为：图像按照高度方向每隔若干像素点预定义一个行锚，每行继续按照宽度方向分割，可形成若干个栅格；对特征融合后的特征图进行组分类，可得到每个栅格是否为车道线及属于哪条车道线；结合预定义的行锚位置信息，可得到每条车道线对应的像素点坐标信息，进而实现车道线的检测。10.根据权利要求1所述的一种无人机场景的实时车道线检测方法，其特征在于：对于监控视频的序列，分辨率大小设置为1920*1080，表示所有视频监控画面的像素点的数量。

技术总结

本发明涉及一种无人机场景的实时车道线检测方法，包括：构建车道线检测模型；读入无人机高空拍摄的实时道路画面至车道线检测模型中进行车道线检测；其中，构建车道线检测模型中，采集无人机高空对车道的监控视频，获取视频图片作为训练样本数据；对视频图片进行预处理；采用CA注意力机制优化后的CA-Resnet18主干网络中，提取图片的若干特征信息，获得三层不同分辨率不同深度的特征图；对不同分辨率不同深度的特征图的特征图进行双向三层特征融合；经过组分类确定每条车道线的位置信息，实现车道检测。本发明提高无人机场景下车道线的检测识别准确度与实时性。检测识别准确度与实时性。检测识别准确度与实时性。