一种基于卫星图像机场目标毁伤检测方法与流程



1.本发明涉及机场毁伤检测技术领域,尤其涉及一种基于卫星图像机场目标毁伤检测方法。


背景技术:



2.卫星系统提供的遥感信息支持已经成为至关重要的战场信息感知源,然而数据集有限、模型难以部署等问题却成为这一领域应用的瓶颈,尤其是对于机场中各类基础设施的目标识别,以及军事打击后目标是否毁伤的判定,是节约判读员时间、提高作战效率的关键。
3.在毁伤评估领域,现有的传统方法通常是采用变化检测的方式描述目标特征,对毁伤信息进行提取。通过建立目标特征向量“相似度”、几何和纹理特征“二次距离”制定评估规则。该方法尽管采用一定的仿真手段得到了比较好的效果,但对实际复杂目标的超大图像而言,当采集图像中各类目标占比明显较小时识别效果较差。同时,该类算法也面临图像难以配准、实现难度较大、难以部署等问题,尤其是在观测场景、应用环境等发生改变时,算法几近失效。
4.而基于深度学习的神经网络模型对目标毁伤的识别方法可有利于终端部署,同时也可以结合目标的具体模型以及更多的非图像信息对目标的毁伤进行更准确的判断,因此,开展基于神经网络模型的机场目标毁伤检测技术的研究十分必要。


技术实现要素:



5.针对现有算法的不足,本发明提供基于结构重参数化与8bit量化的深度学习网络结构、分步对高精度卫星遥感图像中机场各目标毁伤的检测方法;针对跑道毁伤是利用最小起降窗口与跑道分别从不同的角度进行逐点卷积,根据弹坑分布计算最小起降窗口的面积,从而判断跑道毁伤后飞机能否起飞。
6.本发明所采用的技术方案是:一种基于卫星图像机场目标毁伤检测方法包括以下步骤:步骤一、构建机场设施目标检测数据集,包括构建飞机、机堡、机堡弹坑及跑道弹坑的卫星图像数据集;步骤二、利用结构重参数化思想,结合单路模型以轻量化的yolov5网络为基础对cspnet进行改造,并采用解耦训练时和推理时架构;针对遥感类图像小目标的识别,并改进训练优化策略;进一步的,对cspnet进行改造,并采用解耦训练时和推理时架构,具体包括:将identity转换为1x1卷积,构造出一个以单位矩阵为卷积核的1x1卷积;将1x1卷积等价转换为3x3卷积并用0填充,其中,3x3卷积的参数是4个3x3矩阵,1x1卷积的参数是1个2x2矩阵;三个分支都有bn层,参数包括累积得到的均值及标准差、学习得到的缩放因子及bias,推理时的卷积层和bn层等价转换为一个带bias的卷积层;
将cspnet中的3
×
3卷积进行结构重参数化改造,重新嵌入到yolov5网络中,作为训练时的网络架构,而在推理时,将旁支融合到3
×
3卷积模块中。
7.进一步的,改进训练优化策略具体包括:对损失函数的优化和对激活函数的适应性改进。
8.进一步的,损失函数的优化包括:采用s-iou损失函数,分别计算角度成本、距离成本、形状成本和iou成本,得到iou损失函数。
9.进一步的,激活函数的适应性改进包括:将3*3卷积与relu函数合并为基本算子,将swish函数替换为relu函数。
10.步骤三、采用dorefa-net多值量化方法对yolov5网络进行优化,同时量化权重、特征值和梯度,反向传播时更新权重的全精度表示,推断时使用权重的量化表示;在权重的量化过程中利用直通估计方式规避0梯度;进一步的,dorefa-net多值量化的公式为:
ꢀꢀ
(12)对特征值的量化则直接采用截断的方式:
ꢀꢀꢀ
(13)其中,ri是范围为0到1之间的实数,ro是范围为0到1之间的k位量化数值,为激活函数。
11.步骤四、基于yolov5网络的超大图像推理部署;进一步的,具体包括:根据步骤三导出的模型实现单张图像的推理;采用opencv-python的方式进行图像读取并格式转换,再进行归一化;得到每个目标框的位置和置信度,进行非极大值抑制,通过opencv cv2.dnn.nmsboxes函数,根据置信度阈值和iou阈值进行筛选得到单张图像推理结果;采用步长切割的方式将超大图像切割成能小尺寸图像,选定合适的步长,计算每个小尺寸图像在超大图像中的位置。
12.步骤五、对油罐毁伤、机堡毁伤、飞机及跑道毁伤进行分类毁伤检测;进一步的,油罐毁伤、机堡毁伤的检测方法包括:将毁伤前的超大图像进行油罐和机堡目标的推理识别,获得油罐和机堡的实际地理坐标;将毁伤后的同一区域超大图像进行推理识别,根据实际地理坐标检查同一位置是否有预测框,从而判断油罐和机堡是否毁伤;对毁伤前后两张图像中的油罐和机堡预测框进行计数,得出区域油罐和机堡类目标的毁伤数目。
13.进一步的,飞机及跑道的毁伤检测方法,包括:根据机场跑道的四个角坐标对跑道定位,并将毁伤后的超大图像进行跑道区域内弹坑的推理识别,得出弹坑地理坐标;
利用最小起降窗口与跑道分别从不同的角度进行逐点卷积,当不存在弹坑时卷积结果为最小起降窗口的面积,记录起降窗口的位置。
14.进一步的,具体包括:输入最小起降窗口的宽、高,跑道四个角的坐标和弹坑的坐标,计算跑道的两条直角边的长度并根据长边求斜率;计算跑道中心坐标及跑道的高和宽,求跑道的倾斜角度以确定旋转矩阵,将跑道摆正,将原图中弹坑的坐标处理为只有跑道摆正后的矩形中的坐标,计算最小起降窗口;以跑道为中心进行扩展,穷举搜索最小起降窗口的角度范围和步进,扩展后的跑道逆时针旋转,保持扩展后的跑道矩阵大小不变;旋转后的矩阵与最小起降窗口卷积;在满足最小起降窗口的条件下,如果更宽的窗口依然没有弹坑,则增加窗口的宽度,记录起降窗口的横坐标、纵坐标、宽、高;在起降窗的宽度相同时,如果更高的窗口依然没有弹坑,则增加窗口的高度;最后根据原图中起降窗口四个角的位置输出坐标。
15.本发明的有益效果:1、基于结构重参数化与8bit量化的深度学习网络结构、分步对高精度卫星遥感图像中机场各目标毁伤的检测,相较于此前的判读员查及变化检测方法,本发明能够在保证精度的同时,大幅提升推理速度及其硬件亲和性;2、使用遥感地图进行机场设施目标的检测数据集构建,以结构重参数化思想及损失函数与激活函数角度改进yolov5网络结构,基于单张图像的推理过程实现基于yolov5模型的超大卫星图像推理部署,在超大图像中根据机场各类目标的毁伤效果不同分别进行毁伤检测;3、针对飞机及跑道的特点,利用最小起降窗口和跑道分别从不同的角度进行逐点卷积,准确最小起降窗口的面积,从而判断机场是否满足飞机起飞条件。
附图说明
16.图1是本发明的基于卫星图像机场目标毁伤检测方法流程图;图2是本发明的模型训练部署策略对比图;图3是本发明的repvgg结构与resnet结构对比示意图;图4是本发明的改进cspnet结构示意图;图5是本发明的角度成本计算示意图;图6是本发明的iou损失计算示意图;图7是本发明的超大图像推理部署流程图;图8是本发明的目标毁伤检测流程;图9是本发明模拟生成的跑道弹坑及最小起降窗口。
具体实施方式
17.下面结合附图和实施例对本发明作进一步说明,此图为简化的示意图,仅以示意方式说明本发明的基本结构,因此其仅显示与本发明有关的构成。
18.如图1所示,一种基于卫星图像机场目标毁伤检测方法包括以下步骤:步骤一、构建机场设施目标检测数据集;
由于遥感卫星为定轨卫星,因此卫星图像中的像素大小本身就是重要的特征信息,无需考虑其在尺度变换上的鲁棒性;在此基础上,将飞机根据尺寸分为了较小的战斗机与较大的特种运输机;对于机堡类考虑其排列方式、材质特点、外观颜等视觉特点,将其分为8类。
19.同时为了进行毁伤检测,对机堡弹坑及跑道弹坑也进行数据集构建,机堡上的弹坑形状颜相对统一为黑,在图像中直径为10像素的椭圆,可采用软件模拟的方式制作训练集,根据已知的弹坑的面积范围随机生成,并且在弹坑边缘与周围环境进行融合;模拟之后可以直接自动标注,保证精准度;对于飞机及跑道附近弹坑,其种类包括直径为20像素、40像素、80像素的不规则圆,根据对实际跑道弹坑的调研情况,只需对单个弹坑完成检测,弹坑的排列方式无需考虑,只需对单个弹坑的类型、形状、打在不同材质跑道上的颜进行丰富来生成数据集。
20.步骤二、基于yolov5网络的目标检测网络设计;构建轻量化的yolov5网络,在保证精度的前提下,提升推理速度,减少不必要的能源消耗,进一步提升其硬件亲和性,更加有利于终端部署;利用结构重参数化思想,结合单路模型速度快、多路模型精度高的特点,对yolov5网络的cspnet进行改造,首先转换传统的模型部署策略,采用解耦训练时和推理时架构;根据训练设备与推理设备的不同设计性能,分别利用形式不同的网络进行设计,再利用重参数化方式将其进行等价转换。传统的模型训练部署策略与本发明中采用的模型训练部署策略对比如图2所示;通过基于结构重参数化的模型训练部署策略,具有如下优势:(1)3x3卷积结构在现有的硬件架构与各种优化库的加持下运算速度非常快;(2)单路架构的速度本身远超带有复杂分支的多路结构;(3)单路架构节约内存资源;(4)单路架构更加灵活,容易改变各层的宽度。
21.如图3所示,训练完成后,通过对训练时的多分支模型进行等价转换得到部署的单路模型,根据卷积的可加性,设三个3x3卷积核分别是w1,w2,w3:
ꢀꢀ
(1)其中,x为输入图像中与模型卷积做运算的像素区域。
22.如图4,将整个转换过程分为两个步骤:(a)将identity转换为1x1卷积,构造出一个以单位矩阵为卷积核的1x1卷积;(b)将1x1卷积等价转换为3x3卷积并用0填充;由于输入和输出通道都是2,故3x3卷积的参数是4个3x3矩阵,1x1卷积的参数是1个2x2矩阵,且三个分支都有bn(batch normalization)层,其参数包括累积得到的均值及标准差和学习得到的缩放因子及bias,推理时的卷积层和其后的bn层可以等价转换为一个带bias的卷积层;利用此方法将cspnet中的3
×
3卷积进行结构重参数化改造,重新嵌入到yolov5网络中,作为训练时的网络架构,而在推理时,将旁支融合到3
×
3卷积模块中,模型又可以恢复为原有架构。
23.进一步,为了针对遥感类图像小目标的识别,训练优化策略包括两个方面:(a)对损失函数的优化改进;(b)对激活函数的适应性改进;损失函数是针对遥感图像的角度信息敏感需求,本发明引入s-iou损失函数,利用
边界框回归损失函数来监督网络的学习,s-iou损失函数通过引入所需回归之间的向量角度,重新定义距离损失,有效降低了回归的自由度,加快网络收敛,进一步提升了回归精度。
24.角度成本是s-iou最为重要的部分,首先在x或y轴做预测(以最接近者为准),然后沿着相关轴继续接近,如果α<π/4,收敛过程最小化α,否则最小化β=π/2-α;如图5所示,为角度成本计算过程;引入lf组件:
ꢀꢀꢀ
(2)设计权重以平衡距离因素与角度因素在不同情况的主导因素:
ꢀꢀ
(3)考虑形状因素来修正不正常回归现象: (4)针对iou损失进行简化改良:
ꢀꢀꢀ
(5)iou的具体几何量如图6所示:最终得到损失函数的表达式:
ꢀꢀꢀ
(6)激活函数方面,依托于结构重参数化思想,将3*3卷积与relu函数合并为基本的算子,将swish函数替换为relu函数;尽管会带来不可避免的精度损失,但是整体结构的一致性以及量化亲和性使得这种结构在速度方面的获益更多。
25.步骤三、基于轻量化模型的机场目标训练识别及模型导出;根据步骤一中构建的机场目标数据集,按照yolov5网络的输入需求转换数据格式,放置图像与标签,并调整相关路径;yolov5s网络是yolov5系列中深度最小、特征图的宽度最小的网络,速度最少,ap精度也最低,其他3种网络都是在此基础上不断加深、加宽。
26.根据数据集的规模与场景复杂度,本发明采用yolov5s进行训练,并采用步骤二中方式对yolov5s进行优化。
27.为了进一步实现模型的轻量化,本发明在训练中采用dorefa-net多值量化方法,同时量化权重、特征值和梯度,反向传播时更新权重的全精度表示,推断时使用权重的量化表示;在权重的量化过程中利用直通估计(straight through estimator,ste)的方式来规避0梯度的问题,用于量化的直通估计如下式所示:
ꢀꢀ
(7)其中,ri是范围为0到1之间的实数,ro是范围为0到1之间的k位量化数值。
28.实际权重量化过程可表示为下式所示:
ꢀꢀ
(8)三种约束量化输入范围的激活函数分别如下式所示:
ꢀꢀꢀ
(9)
ꢀꢀꢀ
(10)
ꢀꢀ
(11)在实际量化训练中,为了在计算/存储效率和准确率损失间进行折衷,对dorefa-net量化方法进行一定修改,更改了量化间距,约束了上下限避免取值为1,同时为了取值范围的对称性,去掉其对称值-1,最终量化算法如下式所示:
ꢀꢀ
(12)对特征值的量化则直接采用截断的方式:
ꢀꢀꢀ
(13)量化训练开始前将式(12)、(13)的量化操作加入到yolov5s网络的卷积操作之前,训练的前向推断过程中先将保存的全精度权重和上一层传来的特征图输入进行量化,再使用量化数据开始该层的卷积计算,为了降低计算复杂度,将标准化参数也截断到16位有符号定点数表示范围;为了避免准确率的损失,反向传播过程中使用全精度的梯度更新全精度的权重,网络训练结束后再提取出量化参数以供后续检测使用。
29.完成正确的模型训练及目标识别后可对模型进行导出,本发明中使用的模型导出框架为onnx runtime,选择与框架最为兼容的onnx(open neural network exchange, 开放神经网络交换)格式的模型文件onnx对yolov5网络训练权重进行导出,将上一步训练好的yolov5网络权重best.pt直接导出为onnx模型,用于下一步的超大图像推理部署。
30.步骤四、基于yolov5模型的超大图像推理部署;根据步骤三导出的模型实现单张图像的推理,其过程可以分为模型载入、图像读取与预处理、预测、后处理四部分。对已经导出的onnx格式的模型进行模型载入,并且对推理设备进行选择,本发明选择使用gpu推理的方式。
31.采用opencv-python的方式进行图像读取并格式转换,将图像原始数据格式转换为onnxruntime所能接受的输入数据格式,并且与导出的模型匹配,并对数据进行重新排列并且增加维度,最后再进行归一化;将转换好的输入数据格式输入进模型框架中进行推理,最后得到推理结果,所用的模型只有一个输入和一个输出。
32.对yolov5模型的输出结果进行处理,得到最终的预测结果,当得到了每个目标框的位置和置信度后,再进行nms(非极大值抑制),通过opencv cv2.dnn.nmsboxes函数,根据置信度阈值和iou阈值进行筛选得到单张图像推理结果。
33.基于上述的单张图像推理过程,可以实现对超大卫星图像的推理,其过程可以分
为图像切割、小尺寸图像推理、结果融合这3部分;如图7为超大图像推理部署流程图,采用步长切割的方式把6w
×
6w的超大图像切割成能输入网络的800
×
800小尺寸图像;根据目标的尺寸和小尺寸图像的尺寸选定合适的步长,确保每一个目标在切割后的小尺寸图像中至少完整的出现一次,进行预切割,计算每个小尺寸图像在超大图像中的位置。
34.根据上一步计算得到的小尺寸图像在超大图像中的位置进行切割,每切割一张进行一次推理(batch-size不为1时需要一次性切割多张再进行推理),并且删除靠近边缘的目标,然后将得到的目标结果还原到超大图像上并存储,重复直至切割完成。
35.上一步得到的结果中包含了因步长切割导致的重复目标,本发明中通过nms,类似于单张图像推理的后处理过程,对重复目标进行滤除,最终得到对超大卫星图像的推理结果。
36.步骤五、机场设施目标的分类毁伤检测方法;通过步骤四在超大图像中实现对机场各目标的正确推理之后,根据机场各目标的实际地理坐标进行毁伤前后识别结果对比,进而判断目标是否毁伤;如图8为目标毁伤检测流程,根据机场中个目标的毁伤效果明显不同,本发明将其分为油罐毁伤、机堡毁伤、飞机及跑道毁伤三种方式进行毁伤的检测。
37.对于油罐这类易燃易爆目标,毁伤后目标完全失去原来的特征,毁伤前能够识别目标,毁伤后完全无法识别;首先将毁伤前的超大图像通过步骤四进行所有油罐目标的推理识别,并获得所有油罐的实际地理坐标;然后,将毁伤后的同一区域超大图像以同样的方式进行推理识别,根据实际坐标检查该位置是否有预测框:若有,则认为该坐标处油罐未被毁伤;若无,则认为该坐标处油罐已经毁伤;同时,对毁伤前后两张图像中的油罐预测框进行计数,可得出该区域油罐类目标的毁伤数目。
38.对于机堡这类不易燃目标,毁伤后不会失去原来的特征,只会在目标上留下机堡弹坑;在步骤一中已经对这类目标进行制作,将毁伤后的超大图像通过步骤四进行所有机堡目标的推理识别,并获得所有机堡的实际地理坐标,根据实际坐标检查该坐标处机堡预测框内是否有机堡弹坑预测框:若有,则认为该坐标处机堡被毁伤;若无,则认为该坐标处机堡未被毁伤;同时,对毁伤后图像中处于机堡预测框内的机堡弹坑预测框进行计数,可得出该区域机堡类目标的毁伤数目。
39.对于飞机这类移动目标,需要根据跑道的毁伤情况判断其是否能够正常起飞,在步骤一中已经对跑道弹坑目标进行制作,首先根据机场跑道的四个角坐标对其进行定位,并将毁伤后的超大图像通过步骤四进行跑道区域内所有弹坑的推理识别,并得出所有弹坑的坐标。
40.根据识别后的弹坑设计了一种跑道毁伤的检测方法,主要思路为用最小起降窗口与跑道分别从不同的角度进行逐点卷积,当不存在弹坑时卷积结果为最小起降窗口的面积,记录起降窗口的位置;为了方便判断,使用旋转矩阵与平移矩阵将跑道斜的矩形放平。
41.首先,输入最小起降窗口的宽、高,跑道四个角的坐标(1*8矩阵,四个角坐标须为顺时针输入或者逆时针输入)以及所有弹坑的坐标(n*2矩阵),计算得出跑道的两条直角边的长度并根据长边求斜率;计算跑道中心坐标及跑道的高和宽,求跑道的倾斜角度以确定旋转矩阵,将跑道摆正,将原图中弹坑的坐标处理为只有跑道的摆正后的矩形中的坐标,只
取横、纵坐标并四舍五入,计算最小起降窗口。
42.以跑道为中心进行扩展,穷举搜索最小起降窗口的角度范围以及步进,扩展后的跑道逆时针旋转,保持扩展后的跑道矩阵大小不变;旋转后的矩阵与最小起降窗口卷积,只考虑有效部分,不补0;在满足最小起降窗口的条件下,如果更宽的窗口依然没有弹坑,则增加窗口的宽度,记录起降窗口的横坐标、纵坐标、宽、高;在起降窗的宽度相同时,如果更高的窗口依然没有弹坑,则增加窗口的高度,即窗的高度+1,最后根据原图中起降窗口四个角的位置输出坐标。
43.图9为模拟生成的跑道弹坑及最小起降窗口,可利用此算法在超大图像中进行跑道毁伤的检测进而判断毁伤后飞机能否起飞。
44.以上述依据本发明的理想实施例为启示,通过上述的说明内容,相关工作人员完全可以在不偏离本项发明技术思想的范围内,进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容,必须要根据权利要求范围来确定其技术性范围。

技术特征:


1.一种基于卫星图像机场目标毁伤检测方法,其特征在于,包括以下步骤:步骤一、构建机场设施目标检测数据集,包括构建飞机、机堡、机堡弹坑及跑道弹坑的卫星图像数据集;步骤二、利用结构重参数化思想,结合单路模型以轻量化的yolov5网络为基础对cspnet进行改造,并采用解耦训练时和推理时架构;针对卫星图像小目标的识别,改进训练优化策略;步骤三、采用dorefa-net多值量化方法对yolov5网络进行优化,同时量化权重、特征值和梯度,反向传播时更新权重的全精度表示,推断时使用权重的量化表示;在权重的量化过程中利用直通估计方式规避0梯度;步骤四、基于yolov5网络的超大图像推理部署;步骤五、对油罐毁伤、机堡毁伤、飞机及跑道毁伤进行分类毁伤检测。2.根据权利要求1所述的基于卫星图像机场目标毁伤检测方法,其特征在于,对cspnet进行改造,并采用解耦训练时和推理时架构,具体包括:将identity转换为1x1卷积,构造出一个以单位矩阵为卷积核的1x1卷积;将1x1卷积等价转换为3x3卷积并用0填充,将1x1卷积等价转换为3x3卷积并用0填充,其中,3x3卷积的参数是4个3x3矩阵,1x1卷积的参数是1个2x2矩阵;三个分支都有bn层,参数包括累积得到的均值及标准差、学习得到的缩放因子及bias,推理时的卷积层和bn层等价转换为一个带bias的卷积层;将cspnet中的3
×
3卷积进行结构重参数化改造,重新嵌入到yolov5网络中,作为训练时的网络架构,而在推理时,将旁支融合到3
×
3卷积模块中。3.根据权利要求1所述的基于卫星图像机场目标毁伤检测方法,其特征在于,改进训练优化策略,具体包括:对损失函数的优化和对激活函数的适应性改进。4.根据权利要求3所述的基于卫星图像机场目标毁伤检测方法,其特征在于,损失函数的优化包括:采用s-iou损失函数,分别计算角度成本、距离成本、形状成本和iou成本,得到iou损失函数。5.根据权利要求3所述的基于卫星图像机场目标毁伤检测方法,其特征在于,激活函数的适应性改进包括:将3*3卷积与relu函数合并为基本算子,将swish函数替换为relu函数。6.根据权利要求1所述的基于卫星图像机场目标毁伤检测方法,其特征在于,dorefa-net多值量化的公式为:
ꢀꢀ
(12)对特征值的量化采用截断的方式:
ꢀꢀꢀ
(13)其中,r
i
是范围为0到1之间的实数,r
o
是范围为0到1之间的k位量化数值,为激活函数。7.根据权利要求1所述的基于卫星图像机场目标毁伤检测方法,其特征在于,步骤四具体包括:
采用opencv-python的方式进行图像读取并格式转换,再进行归一化;得到每个目标框的位置和置信度,进行非极大值抑制,通过opencv cv2.dnn.nmsboxes函数,根据置信度阈值和iou阈值进行筛选得到单张图像推理结果;采用步长切割的方式将超大图像切割成能小尺寸图像,选定步长,计算每个小尺寸图像在超大图像中的位置。8.根据权利要求1所述的基于卫星图像机场目标毁伤检测方法,其特征在于,油罐毁伤、机堡毁伤的检测方法包括:将毁伤前的超大图像进行油罐和机堡目标的推理识别,获得油罐和机堡的实际地理坐标;将毁伤后的同一区域超大图像进行推理识别,根据实际地理坐标检查同一位置是否有预测框,从而判断油罐和机堡是否毁伤;对毁伤前后两张图像中的油罐和机堡预测框进行计数,得出区域油罐和机堡类目标的毁伤数目。9.根据权利要求1所述的基于卫星图像机场目标毁伤检测方法,其特征在于,飞机及跑道毁伤的检测方法,包括:根据机场跑道的四个角坐标对跑道定位,并将毁伤后的超大图像进行跑道区域内弹坑的推理识别,得出弹坑地理坐标;利用最小起降窗口与跑道分别从不同的角度进行逐点卷积,当不存在弹坑时卷积结果为最小起降窗口的面积,记录起降窗口的位置。10.根据权利要求9所述的基于卫星图像机场目标毁伤检测方法,其特征在于,飞机及跑道的毁伤检测方法具体包括:输入最小起降窗口的宽、高,跑道四个角的坐标和弹坑的坐标,计算跑道的两条直角边的长度并根据长边求斜率;计算跑道中心坐标及跑道的高和宽,求跑道的倾斜角度以确定旋转矩阵,将跑道摆正,将原图中弹坑的坐标处理为只有跑道摆正后的矩形中的坐标,计算最小起降窗口;以跑道为中心进行扩展,穷举搜索最小起降窗口的角度范围和步进,扩展后的跑道逆时针旋转,保持扩展后的跑道矩阵大小不变;旋转后的矩阵与最小起降窗口卷积;在满足最小起降窗口的条件下,如果更宽的窗口依然没有弹坑,则增加窗口的宽度,记录起降窗口的横坐标、纵坐标、宽、高;在起降窗的宽度相同时,如果更高的窗口依然没有弹坑,则增加窗口的高度;最后根据原图中起降窗口四个角的位置输出坐标。

技术总结


本发明涉及机场毁伤检测技术领域,尤其涉及一种基于卫星图像机场目标毁伤检测方法,包括构建机场设施目标检测数据集;对CSPNet进行改造;改进训练优化策略;采用DoReFa-Net多值量化方法对YOLOv5网络进行优化,同时量化权重、特征值和梯度;基于YOLOv5网络的超大图像推理部署;对油罐毁伤、机堡毁伤、飞机及跑道毁伤进行分类毁伤检测。本发明提供基于结构重参数化与8bit量化的深度学习网络结构、分步对高精度卫星遥感图像中机场各目标毁伤的检测;针对跑道毁伤是利用最小起降窗口与跑道分别从不同的角度进行逐点卷积,根据弹坑分布计算最小起降窗口的面积,从而判断跑道毁伤后飞机能否起飞。否起飞。否起飞。


技术研发人员:

于淼 孙莉 宋政伟 张元淳 侯俊 郑培清 张国和

受保护的技术使用者:

江苏思远集成电路与智能技术研究院有限公司

技术研发日:

2022.10.17

技术公布日:

2022/12/29

本文发布于:2024-09-22 01:54:34,感谢您对本站的认可!

本文链接:https://www.17tex.com/tex/3/49501.html

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

标签:卷积   跑道   图像   弹坑
留言与评论(共有 0 条评论)
   
验证码:
Copyright ©2019-2024 Comsenz Inc.Powered by © 易纺专利技术学习网 豫ICP备2022007602号 豫公网安备41160202000603 站长QQ:729038198 关于我们 投诉建议