一种基于SAR图像方位角特性的模型融合识别方法

一种基于sar图像方位角特性的模型融合识别方法
技术领域
1.本发明属于雷达技术领域，涉及一种sar图像目标分类方法，具体为一种基于sar图像方位角特性的模型融合识别方法。

背景技术：

2.sar即合成孔径雷达，英文全称为synthetic aperture radar，是利用合成孔径原理，实现高分辨的微波成像，具备全天时、全天候、高分辨、大幅宽等多种特点，其众多优点使其被广泛应用于民事和军事领域。sar图像的识别作为sar应用的重要一环，一直是研究热点。而sar图像的成像特点使其不能像光学图像那样通过简单的人工轻易判断，因此怎么样提取到sar图像里的有效特征信息从而快速精准的做出判断是sar领域发展和研究的问题之一。2012年，alexnet凭借其15.3％的top5错误率在imagenet竞赛中夺得冠军，从而掀起了基于深度学习进行目标识别和检测的热潮。此后，作为深度学习中最热门之一的卷积神经网络在图像识别中继续大放异彩。2014年，szegedy等人凭借其google inception网络，在以6.67％的top5错误率获得冠军，而且大大减少了参数量和计算量。在2015年，resnet的横空出世，将错误率直接降低到了3.57％，证明了卷积神经网络的优越性。
3.目前基于深度学习的图像识别也被广泛应用到了对sar图像的识别上，而且一直有着很高的识别正确率，即probability of correct cognition，pcc，深度卷积神经网络已经被用于sar图像目标的识别，并且已经取得了较好的结果。但是，与自然光学图像不同，sar图像由于对成像的方位角极其敏感，同一目标在不同方位角下的sar图像存在一定差异，即目标特性随着方位角变化会发生较为剧烈的改变，以往的研究方法只是在整体数据集进行测试，并没有考虑到sar图像在特定方位角识别的敏感性，对所有方位角的sar图像一起进行训练测试，难免具有局限性，所以本发明针对sar图像的方位角特点，提出了一种基于sar图像方位角特性的模型融合识别方法。

技术实现要素：

4.本发明的目的在于提供一种针对sar图像方位角特点，并基于sar图像方位角特性的模型融合识别方法，解决了单一模型下对sar图像方位角特性考虑不周等缺点，具有全面性并且可以在一定程度上提高目标识别准确率。
5.为实现上述目的，本发明提供如下技术方案：一种基于sar图像方位角特性的模型融合识别方法，包括以下步骤：
6.步骤一、分析sar图像的方位角特性并按照方位角特性划分数据集，首先获取训练集和测试集，所得到的样本数据集包含多类目标，每类目标下含有方位角为0到360
°
下的多张sar图像，按照分析的方位角特性即敏感性与图像方位角180
°
对称相似性将数据集划分为两子数据集s1s2，未划分方位角的整体数据集为总数据集g；
7.步骤二、对各数据集进行训练得到各卷积神经网络模型，将子数据集s1s2通过卷积神经网络进行预训练得到子模型s1s2，总数据集g通过卷积神经网络进行预训练得到总模型
g，将训练好的三个模型保存下来以便后面调用；
8.步骤三、对子数据集s1s2中的训练集所有图片像素相加并平均得到平均图p
1 p2，视为该两个平均图包含两个对应子数据集的大致方位角信息；
9.步骤四、对待测图片进行方位角估计，将待分类图像与p
1 p2计算欧式距离c
1 c2，并将二者求差，由于平均图包含了所对应子数据集的方位角信息，其中待分类图像与p
1 p2欧式距离较小的那个视为该图像的方位角与其平均图对应的整体数据集相近，从而该数据集对应的模型在后续的模型结果加权时拥有更多的权重；
10.步骤五、将待测图片输入到步骤二中已经训练好的模型中，得到在softmax层输出结果，根据步骤四中c
1 c2不同关系来决定三个结果的加权系数，根据加权系数对各模型结果进行加权，得到最终的分类结果。
11.进一步地，所述步骤一中，利用一张已知实际方位角的sar图像计算其与同类和不同类的包含各方位角的样本图像的欧式距离来表现图像之间相似度，欧式距离即n维空间中两个点之间的实际距离，已知两个点a＝(a1，a2，...，an)，点b＝(b1，b2，...，bn)则ab间的距离为：
[0012][0013]
其中，欧式距离越小则表面相似度越大；通过关系曲线观察sar图像的方位角特点；第一、sar图像的方位角敏感性，即在具有相近方位角的sar图像呈现较高的相关性以及第二、sar图像的方位角180
°
对称性，即0到90
°
方位角的图像与180
°
到270
°
方位角图像较高相关；90
°
到180
°
方位角的图像与270
°
到360
°
方位角图像较高相关性。所以将相关性较高的图像分别放在一起，构成子数据集s1和s2，总数据集为g。
[0014]
进一步地，所述步骤二中，所述网络模型包括输入层、卷积层、最大池化层、全连接层以及最终经过softmax的输出层。
[0015]
进一步地，所述步骤二中，由于将整体g数据集按方位角划分为了s1和s2子数据集，所以后两者数据集在数量少更加不足，为了弥补这种不足，将s1和s2数据集通过数据增强人为扩充数量至原来的两倍，以达到和原本整体数据集接近的数量。
[0016]
进一步地，所述步骤四中，考虑到待测图片的方位角在临界角也即90
°
，180
°
，270
°
这些角度附近时，与p
1 p2计算欧式距离时会比较接近也即c1与c2会比较接近，对所属模型判断权重时会比较模糊，所以设置阈值，即当c1和c2之间的距离小于此阈值时，视为这些图片的方位角属于临界角，当c
1-c2大于此阈值或者c
2-c1大于此阈值时，视为该待测图片的方位角与c
1 c2之间较小的那个对应的子数据集所包含的方位角比较接近，所以综上，所述方位角包括三种情况。
[0017]
进一步地，所述步骤五中，求待测图片在每个模型中的softmax层输出，所述softmax层，即会对神经网络的输出结果进行了一次换算，将输出结果用概率的形式表现出来，当神经网络的输出到全连接层，获得了k个类别(-∞，+∞)范围内的分数zj，为了得到属于每个类别的概率，先通过e
zj
将分数映射到(0，+∞)，然后再归一化到(0，1)，即称为softmax的思想：
[0018][0019]
得到十类概率后，根据步骤四得到的方位角估计结果从而对模型的输出每一类的
概率进行不同的加权融合，最后得到概率最大的类也即融合模型的最终预测结果。
[0020]
与现有技术相比，本发明的有益效果：基于mstar数据集对整个方法进行了多方面的测试，实验结果表明，由于sar图像方位角的独特特性，将方位角作为对sar目标识别的一个因素，考虑到了sar图像的方位角敏感性，即在具有相近方位角的sar图像呈现较高的相关性以及sar图像的方位角180
°
对称性，所以在后续对子数据集进行子模型训练时，模型对这些对应特定方位角范围的图像更加敏感，即正确率更高。通过对待测图像的方位角估计，将其放进各模型得到结果，通过对不同模型结果加权值的设置，得到最终的预测结果，其相对于单一的总数据集训练总模型得到的预测结果正确率更高，相比其它sar图像识别方法，正确率也有很好的提高。
附图说明
[0021]
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
[0022]
在附图中：
[0023]
图1是本发明表现sar图像方位角特性的图：其中图1(a)表示实际图像与bmp2欧式距离曲线，图1(b)表示实际图像与btr70欧式距离曲线；
[0024]
图2是本发明基于sar图像方位角特性的模型融合识别方法的流程图：其中图2(a)表示各模型的训练过程，图2(b)表示融合模型的测试过程；
[0025]
图3是本发明中用到的卷积神经网络模型图；
[0026]
图4是本发明本发明中展示数据增强示意图；
[0027]
图5是本发明中各模型训练时相关参数变化过程图：其中图5(a)模型g训练过程正确率变化图，图5(b)表示模型g训练过程学习率变化图，图5(c)模型s1训练过程正确率变化图，图5(d)模型s2训练过程正确率变化图；
[0028]
图6是本发明中用于方位角估计时的平均图：其中图6(a)为子数据集s1中训练集平均图p1，图6(b)为子数据集s2中训练集平均图p2；
[0029]
图7是本发明中用于比较单模型和融合模型分类结果的混淆矩阵图。
具体实施方式
[0030]
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
[0031]
实施例：一种基于sar图像方位角特性的模型融合识别方法，包含各模型的训练过程以及融合模型的测试过程两个阶段，其具体步骤如下：
[0032]
步骤一、分析sar图像的方位角特性并按照方位角特性划分数据集，首先获取训练集和测试集。
[0033]
本次实验采用美国公开的运动和静止目标获取与识别(moving and stationary target acquisition and recognition,mstar)数据集，选用标准工作条件(standard operating conditions,soc)下十类车辆目标的sar图像作为实验数据，这些车辆目标是：2s1、bmp2、brdm2、btr60、btr70、d7、t62、t72、zil131、zsu_23_4。各类sar数据均包含0
°
～360
°
方位角的目标，本次实验选用17
°
俯仰角下拍摄的sar图像作为训练集，15
°
俯仰角下拍
摄的sar图像作为测试集。总数据集如下表所示，下表表示实验中所使用的数据集，这样选择可以验证特征提取方法的泛化能力。
[0034][0035]
按照分析的方位角特性即敏感性与图像方位角180
°
对称性将数据集划分为两子数据集s1s2，未划分方位角的整体数据集为总数据集g。
[0036]
如图1所示，以一幅实际方位角为81
°
的bmp2_sn_9563sar图像为例，计算其与bmp2_sn_9563和btr70两类目标训练集样本上所有图片的欧氏距离，其中欧式距离与图像方位角关系曲线，可以发现，一副图像与不论是同类目标还是异类目标都具有1、sar图像只有和与其具有特别相近方位角的样本保持较低的欧氏距离即敏感性2、sar图像与其处于方位角180度对称的样本具有相近的欧式距离，即对称性。
[0037]
所以为了让sar图像相似度较高的图像放在一起，考虑到所用的数据集包含0
°
到360
°
方位角的所有图片，即整体分布是0
°
到360
°
，中间缺少一部分角度，后面介绍其它角度分布也是这个含义，将数据集按照方位角90
°
间隔即0
°
到90
°
，90
°
到180
°
，180
°
到270
°
，270
°
到360
°
划为四部分，考虑到图像的180
°
对称相似性，再将角度为0到90
°
与180
°
到270
°
的两部分数据集合并为子数据集s1，90
°
到180
°
与270
°
到360
°
的两部分数据集合并为子数据集s2，总体未划分的数据集称之为数据集g。
[0038]
步骤二、对各数据集进行训练得到各卷积神经网络模型。网络模型包括输入层、卷积层、最大池化层、全连接层以及最终经过softmax的输出层。将子数据集s1和s2，通过卷积神经网络进行预训练得到子模型s1和s2，总数据集g通过卷积神经网络进行预训练得到总模型g，将训练好的三个模型保存下来以便后面调用。其中卷积神经网络结构如图2所示，具体参数设置为：
[0039]
输入层：输入100
×
100的sar图像，数据集为灰度图像，可以当作rgb图像当做100
×
100
×
3的图片处理；
[0040]
卷积层1，拥有96个卷积核，卷积核大小为11
×
11，步长为4，激活函数是relu函数；
[0041]
池化层1，窗口大小为2，步长为4；
[0042]
卷积层2，拥有256个卷积核，卷积核大小为5
×
5，激活函数是relu函数；
[0043]
池化层2，窗口大小为3，步长为1；
[0044]
卷积层3，包括384个卷积核，卷积核大小为3
×
3，激活函数是relu函数；
[0045]
卷积层4，包括384个卷积核，卷积核大小为3
×
3，激活函数是relu函数；
[0046]
卷积层5，包括256个卷积核，卷积核大小为3
×
3，激活函数是relu函数；
[0047]
池化层3，窗口大小为3
×
3，步长为1；
[0048]
全连接层1，拥有1024个神经元节点；
[0049]
dropout层，0.5；
[0050]
全连接层2，拥有1024个神经元节点；
[0051]
dropout层，0.5；
[0052]
输出层，使用softmax激活函数对sar图像进行分类，包括10个神经元节点。
[0053]
在训练时两处用到了数据增强，数据增强就是让让有限的数据产生更多的数据，增加训练样本的数量以及多样性，提升模型鲁棒性，一般用于训练集。本发明中在两处用到了数据增强，1、由于将整体g数据集按方位角划分为了s1和s2数据集，所以后两者数据集在数量少更加不足，为了弥补这种不足，将s1和s2数据集通过数据增强人为扩充数量至原来的两倍，以达到和原本整体数据集接近的数量；2、在模型训练过程中，在网络里用到数据增强，虽然在表面上并没有增加三者数据集的数量，但是实质上增加了数据的多样性。本发明采用的数据增强方法主要有1、随机剪切；2、随机缩放；3、随机旋转角度；4、随机水平翻转。如图3所示。
[0054]
将三个数据集分别训练三个模型，其中g数据集训练为总模型g，子数据集s
1 s2分别训练为子模型s
1 s2，如图2所示。三个模型训练时的超参数设置如下表：
[0055]
超参数模型g模型s1模型s2epoch600600600学习率初始8e-3
，每100轮下降一半1
×
e-31×
e-3
优化器sgdsgdsgdmomentum0.90.90.9batchsize161616激活函数relu/softmaxrelu/softmaxrelu/softmax正则化系数5
×
10-45×
10-45×
10-4
[0056]
在训练策略上，对于原整体数据集g，在训练时，学习率初始设置为8e-3
，每训练100轮学习率降低为原来的一半。为了抑制过拟合，在训练时所有网络中加入了dropout，并在每个卷积层中添加了l2正则化。优化器采用采用随机梯度下降法(stochastic gradient decent，sgd)对整个网络进行训练，并使用参数为0.9的动量(momentum)来保持梯度下降的惯性方向，以增强网络训练的稳定性。
[0057]
再将三个模型训练好的最终结果模型保存下来，后面再采用本发明的方法进行进一步的调用。训练过程及结果相关图如图5所示。
[0058]
步骤三、获取平均图p1和p2。对子数据集s1和s2中的训练集所有图片像素相加并平均得到平均图p1和p2，如图6所示。可以视为该平均图包含此对应子数据集的方位角信息。
[0059]
步骤四、对待测图片进行方位角估计。将待分类图像与p1p2计算欧式距离c
1 c2，并将二者求差。由于平均图包含了所对应子数据集的方位角信息，其中待分类图像与p
1 p2欧式距离较小的那个可以视为该图像的方位角与其平均图对应的整体数据集相近，从而该数据集对应的模型在后续的模型结果加权时拥有更多的权重。
[0060]
步骤五、对各模型结果进行加权融合得到最终分类结果。将待测图片输入到步骤二中已经训练好的模型中，得到在softmax层输出结果，根据步骤四中c
1 c2不同关系来决定
三个结果的加权系数，根据加权系数对各模型结果进行加权，得到最终的分类结果。即由于当c2＞c1时，说明待测图片与p1欧式距离更小，说明待测图片的方位角与子数据集s1包含的方位角更接近，也即可以判定为待测图片在对应的子模型s1里结果更好，又总模型g训练时包含所有方位角的数据集，所以待测图片在总模型里的预测结果也可作为加权考虑的一部分，所以当c2＞c1时，一般情况下将待测图在c1模型和g模型的结果加权。同理在c1＞c2时，一般情况下将待测图在c2模型和g模型中的结果加权。但是考虑到待测图片的方位角在临界角也即90
°
，180
°
，270
°
这些角度附近时，p
1 p2计算欧式距离时会比较接近，也即c1与c2差值较小，对我们所属模型判断时会比较模糊，所以设置阈值为1，即
[0061]
1、当|c
1-c2|＜1，视为这些图片的方位角属于临界角，将这部分图片直接放进总模型g里去取分类结果，也即总模型结果加权系数为1，两子模型加权系数为0。
[0062]
对于不在临界角的图片，根据模型训练结果正确率曲线，发现子模型s1在方位角分类上比子模型s2正确率稍高，即对方位角分类更敏感，所以在预测结果中，稍微调整下权值即
[0063]
2、当c
2-c1＞1时，对于待测图在子模型s1结果和总模型g结果加权，加权系数分别取0.6和0.4；s2结果加权系数是0。
[0064]
3、当c
1-c2＞1时，对于待测图在子模型s2结果和总模型g结果加权，加权系数分别取0.4和0.6，s1加权系数是0。
[0065]
以上加权均在softmax层实现，softmax会把分类结果映射为10个数，代表了模型对待测图片预测所属类的概率，加权融合以后，概率最大的类也即本融合模型预测的类。举个例子，假如一张待测图片为第二类，这张图片经过我们的融合模型以后，在欧式距离进行方位角估计判断时，发现c
2-c1＞1，将该图放进总模型g中，假如在softmax层输出结果为a＝[0.5,0.4,
……
，0.0125]，此时模型g的预测结果为第一类，将该图放进子模型s1里，假如在softmax层输出结果为b＝[0.3,0.5,
……
，0.02]，将两结果进行加权融合，得到最终结果为c＝[0.38,0.46,
……
,0.017],融合后的预测结果为第二类，这样就避免了单一模型预测的不准确性，体现了在特定方位角下模型预测的敏感性。
[0066]
对所有待测图片实现以上所有步骤，得到最终的预测结果。其中最终只用单一总模型和用本发明的融合模型的各分类结果混淆矩阵如图7所示，其中加粗部分为本文所用的融合模型；如图4所示，所用到的原始sar图像与经过数据增强以后的图像，可以看出，采用了数据增强、学习率衰减、dropout、l2正则化等训练策略以后的g模型，正确率已经很高，可以达到了99.13％，但是用了基于方位角特性的融合模型以后的sar图像分类中，对每一类目标识别的正确率都很高，而且有几类目标识别率达到100％，相比于单一模型，正确率也提高到了99.34％，充分证明了利用sar图像对方位角的敏感性的特点进行数据集划分以及进行子模型训练的可行性，也说明了本发明中针对方位角特性进行模型融合的方法相较于单一的总模型的更加全面性。
[0067]
最后应说明的是：以上所述仅为本发明的优选实例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：

1.一种基于sar图像方位角特性的模型融合识别方法，其特征在于，包括以下步骤：步骤一、分析sar图像的方位角特性并按照方位角特性划分数据集，首先获取训练集和测试集，所得到的样本数据集包含多类目标，每类目标下含有方位角为0到360
°
下的多张sar图像，按照分析的方位角特性即敏感性与图像方位角180
°
对称相似性将数据集划分为两子数据集s1s2，未划分方位角的整体数据集为总数据集g；步骤二、对各数据集进行训练得到各卷积神经网络模型，将子数据集s1s2通过卷积神经网络进行预训练得到子模型s1s2，总数据集g通过卷积神经网络进行预训练得到总模型g，将训练好的三个模型保存下来以便后面调用；步骤三、对子数据集s1s2中的训练集所有图片像素相加并平均得到平均图p
1 p2，视为该两个平均图包含两个对应子数据集的大致方位角信息；步骤四、对待测图片进行方位角估计，将待分类图像与p
1 p2计算欧式距离c
1 c2，并将二者求差，由于平均图包含了所对应子数据集的方位角信息，其中待分类图像与p
1 p2欧式距离较小的那个视为该图像的方位角与其平均图对应的整体数据集相近，从而该数据集对应的模型在后续的模型结果加权时拥有更多的权重；步骤五、将待测图片输入到步骤二中已经训练好的模型中，得到在softmax层输出结果，根据步骤四中c
1 c2不同关系来决定三个结果的加权系数，根据加权系数对各模型结果进行加权，得到最终的分类结果。2.根据权利要求1所述的一种基于sar图像方位角特性的模型融合识别方法，其特征在于：所述步骤一中，利用一张已知实际方位角的sar图像计算其与同类和不同类的包含各方位角的样本图像的欧式距离来表现图像之间相似度。3.根据权利要求1所述的一种基于sar图像方位角特性的模型融合识别方法，其特征在于：所述步骤二中，所述网络模型包括输入层、卷积层、最大池化层、全连接层以及最终经过softmax的输出层。4.根据权利要求1所述的一种基于sar图像方位角特性的模型融合识别方法，其特征在于：所述步骤二中，由于将整体g数据集按方位角划分为了s1和s2子数据集，所以后两者数据集在数量少更加不足，为了弥补这种不足，将s1和s2数据集通过数据增强人为扩充数量至原来的两倍，以达到和原本整体数据集接近的数量。5.根据权利要求1所述的一种基于sar图像方位角特性的模型融合识别方法，其特征在于：所述步骤四中，考虑到待测图片的方位角在临界角，即90
°
，180
°
，270
°
这些角度附近时，与p
1 p2计算欧式距离时会比较接近，即c1与c2会比较接近，对所属模型判断权重时会比较模糊，所以设置阈值，即当c1和c2之间的距离小于此阈值时，视为这些图片的方位角属于临界角，当c1－c2大于此阈值或者c2－c1大于此阈值时，视为该待测图片的方位角与c
1 c2之间较小的那个对应的子数据集所包含的方位角比较接近，所以综上，方位角估计一共会出现三种情况。6.根据权利要求1所述的一种基于sar图像方位角特性的模型融合识别方法，其特征在于：所述步骤五中，求待测图片在每个模型中的softmax层输出，所述softmax层，即会对神经网络的输出结果进行了一次换算，将输出结果用概率的形式表现出来，当神经网络的输出到全连接层，获得了k个类别(-∞，+∞)范围内的分数z
j
，为了得到属于每个类别的概率，先通过e
zj
将分数映射到(0，+∞)，然后再归一化到(0,1)，即称为softmax的思想：
得到十类概率后，根据步骤四得到的方位角估计结果从而对模型的输出每一类的概率进行不同的加权融合，最后得到概率最大的类也即融合模型的最终预测结果。

技术总结

本发明公开了一种基于SAR图像方位角特性的模型融合识别方法，包括以下步骤，根据SAR图像的方位角特性，即方位角敏感性和方位角180

技术研发人员：

王琼 王志远 洪志杰 柏业超 唐岚 张兴敢

受保护的技术使用者：

南京大学

技术研发日：

2022.09.05

技术公布日：

2022/12/16