一种利用姿态估计和数据增强的车辆重识别方法及系统

1.本发明涉及计算机视觉领域和深度学习领域，具体涉及一种利用姿态估计和数据增强的车辆重识别方法及系统。

背景技术：

2.车辆再识别是指在一个特定范围的真实监控场景下，根据目标图像在跨相机间检索指定车辆的细粒度识别问题。随着人们对智能安防和智能交通的广泛关注，车辆重识别逐渐成为了学术界和工业界的关注热点，由于深度学习在计算机视觉领域的快速发展，使得基于深度学习的车辆重识别成为了研究者们探索的主流方向。高准确率的车辆重识别可以有效缓解观察员的负担，帮助提高刑侦稽查的效率或优化公共交通的管理。
3.然而随着神经网络的加深，需要学习的参数也会随之增加，这样在数据集不够的情况下就会更容易产生过拟合。而增加数据标注虽然是一条有效的改善途径，但势必会增加大量的人力和资金成本，且如果与原数据集融合不当，则无法发挥数据集对参数更新的影响作用。因此，数据增强技术应用而生，以原始数据为依托，利用图像处理等手段拓展新数据，从而实现训练集的扩充。传统的数据增强以剪裁、镜像、旋转、滤波为主要处理方式，在保持样本内容不变的前提下对图像进行物理变换或几何变换。
4.近年来，随着生成对抗网络(generative adversarial network,gan)的产生与发展，开始出现了大量基于gan的数据增强方法。具有代表性的有：条件生成对抗网络，即将一个one-hot向量y连接到随机噪声矢量z的方式，使得同一生成器可以产生多类图像；在此基础上，又延衍生出了深度条件生成对抗网络，即通过反卷积操作提高样本的质量和收敛的速度；随后循环一致性被引入，cycleg络改变从变量到图像的生成模式为图像到图像的模式，并可以通过循环映射降低关联的高维特征空间，实现有目的的图像风格迁移。这些方法为视觉中的数据增强，提供了新的方式。相比传统的数据增强，拓展的数据更加丰富多样，有利于提高网络的泛化能力。
5.具体到车辆重识别的领域中，改变车辆颜、局部遮挡等数据增强方式层出不穷。但它们都忽略了一个关键问题，就是导致车辆重识别困难的一个原因在于，作为刚体的车辆发生朝向变化时，呈现的表观会发生改变。即使网络提取的特征具有很高的区分度，也无法将不同的特征进行正确检索。如何利用朝向先验信息提高指定车辆的检索精度成为一个亟待解决的问题。

技术实现要素：

6.为了解决上述技术问题，本发明提供一种利用姿态估计和数据增强的车辆重识别方法及系统。
7.本发明技术解决方案为：一种利用姿态估计和数据增强的车辆重识别方法，包括：
8.步骤s1：对原始车辆重识别数据集中的部分车辆图像中表示车辆位姿和局部位置的关节点进行标注；使用标注好的数据集训练双分支多分辨率车辆姿态估计网络，并估计
未标注的数据集中样本的关键点坐标；对所述关键点坐标进行对称性筛选和置信度过滤，将保留的关键点按三层骨架模型有序连接，得到该样本的车辆姿态图，构建车辆姿态图数据集po；
9.步骤s2：获取所述原始车辆重识别数据集中任一样本作为原姿态图s、以及相同车辆但是具有和s不同姿态的样本作为目标图s
t
，并从po中获取与s
t
对应的车辆姿态图po构建训练样本组(s,po,s
t
)；将(s,po,s
t
)输入基于姿态引导的数据增强网络，得到与s表观相同但具有po姿态的生成图像；
10.步骤s3：将所述生成图像与所述原始车辆重识别数据集一起构建联合训练集s
+
，其中样本组为(rgi,rpj,fj)，rgi表示图像集gallery中第i个图像，rpj表示待检索图像集probe中第j个待检索图像，fj表示由步骤s2生成的与rpj具有相同表观，且与rgi具有相同姿态的生成图；将(rgi,rpj,fj)输入基于自监督和知识蒸馏的三分支表观特征提取网络进行训练，实现可提取高区分度车辆表征的车辆重识别；
11.步骤s4：在实际应用中，输入目标集probe'和图像集gallery'，利用s3中训练好的所述基于自监督和知识蒸馏的三分支表观特征提取网络，得到probe'和gallery'中图像的表观特征，根据所述表观特征可得到probe'中任意pi在gallery'的初始检索结果rei；基于rei利用步骤s1和s2逐一进行姿态迁移，生成与pi车辆图像朝向一致的增强图像集合aui，根据pi和aui相似性距离对初始检索结果rei进行顺序调优，得到最终的检索结果。
12.本发明与现有技术相比，具有以下优点：
13.1、本发明公开了一种利用姿态估计和数据增强的车辆重识别方法，将姿态估计引入到车辆重识别中，设计了基于20个关键点的三层骨架连接模型，提出了利用多模式多分辨率特征融合的热力度估计方法，并在此基础上通过对称后处理进行过滤优化，从而提高姿态估计精度，为数据增强和车辆重识别提供强有效的姿态线索。
14.2、本发明利用车辆姿态信息对已有训练数据实现数据增强，给定任意车辆的图片和任意姿态作为输入，基于姿态引导的数据增强网络将输出具有相同身份、不同姿态的合成车辆图像。在生成器的编解码器之间设计了跨分辨率注意力跳连和全新的四元组损失函数，通过多分辨率特征融合增强生成图像细节和姿态迁移质量。同时，在判别器中利用自注意力和transformer进行强化对抗，从而为后续联合训练提供具有丰富姿态线索的增强数据，缓解姿态变化对重识别的干扰。
15.3、本发明设计了基于自监督和知识蒸馏的三分支表观特征提取网络，可将数据增强图与原有训练真图混合训练，其中面向真图样本对的两个分支参数共享，面向增强图的分支则通过知识蒸馏方式与真图分支保持同步学习。此外，增强图分支与两个真图分支之间构建姿态和表观自监督约束，实现有标签数据的监督分类和无标签数据的近似划分的同时，还将强化姿态和身份的互相关性，促使网络提取对姿态变化有抵抗能力的表观特征，提高重识别网络模型泛化能力。
16.4、本发明在获得初始检索结果后，将再次利用基于姿态引导的数据增强网络，改变原始结果中靠前的相似图像对朝向，促使其在相同朝向下进行第二次相似性度量，从而纠正因朝向差异或朝向过度近似所导致的错误分类。通过两次条件检索，可有效缩小检索范围，方便跟踪追逃、异常预警等应用场。
附图说明
17.图1为本发明实施例中一种利用姿态估计和数据增强的车辆重识别方法的流程图；
18.图2为本发明实施例中车辆三层骨架连接示意图；
19.图3为本发明实施例中双分支多分辨率车辆姿态估计网络结构示意图；
20.图4为本发明实施例中基于姿态引导的数据增强网络的结构示意图；
21.图5为本发明实施例中基于自监督和知识蒸馏的三分支表观特征提取网络的结构示意图；
22.图6为本发明实施例中两次检索结果的可视化示意图；
23.图7为本发明实施例中一种利用姿态估计和数据增强的车辆重识别系统的结构框图。
具体实施方式
24.本发明提供了一种利用姿态估计和数据增强的车辆重识别方法，通过姿态估计和数据增强生成具有真实感、身份保持和姿态可控的多姿态车辆图像进行数据扩充。针对扩充集s
+
进行自监督蒸馏联合训练，提取对姿态变化有抵抗力的高辨识度表观特征，并在此基础上，再次利用姿态估计和数据增强调整检索图像与备选图像姿态，从而对初始重识别结果进行姿态纠正优化排序，在提高模型泛化能力的同时，有效缓解姿态变化对车辆重识别的干扰。
25.为了使本发明的目的、技术方案及优点更加清楚，以下通过具体实施，并结合附图，对本发明进一步详细说明。
26.实施例一
27.如图1所示，本发明实施例提供的一种利用姿态估计和数据增强的车辆重识别方法，包括下述步骤：
28.步骤s1：对原始车辆重识别数据集中的部分车辆图像中表示车辆位姿和局部位置的关节点进行标注；使用标注好的数据集训练双分支多分辨率车辆姿态估计网络，并估计未标注的数据集中样本的关键点坐标；对样本的关键点坐标进行对称性筛选和置信度过滤，将保留的关键点按三层骨架模型有序连接，得到该样本的车辆姿态图，构建车辆姿态图数据集po；
29.步骤s2：获取原始车辆重识别数据集中任一样本作为原姿态图s、以及相同车辆但是具有和s不同姿态的样本作为目标图s
t
，并从po中获取与s
t
对应的车辆姿态图po构建训练样本组(s,po,s
t
)；将(s,po,s
t
)输入基于姿态引导的数据增强网络，得到与s表观相同但具有po姿态的生成图像；
30.步骤s3：将生成图像与原始车辆重识别数据集一起构建联合训练集s
+
，其中样本组为(rgi,rpj,fj)，rgi表示图像集gallery中第i个图像，rpj表示待检索图像集probe中第j个待检索图像，fj表示由步骤s2生成的与rpj具有相同表观，且与rgi具有相同姿态的生成图；将(rgi,rpj,fj)输入基于自监督和知识蒸馏的三分支表观特征提取网络进行训练，实现可提取高区分度车辆表征的车辆重识别；
31.步骤s4：在实际应用中，输入目标集probe'和图像集gallery'，利用s3中训练好的
基于自监督和知识蒸馏的三分支表观特征提取网络，得到probe'和gallery'中图像的表观特征，根据表观特征可得到probe'中任意pi在gallery'的初始检索结果rei；基于rei利用步骤s1和s2逐一进行姿态迁移，生成与pi车辆图像朝向一致的增强图像集合aui，根据pi和aui中相似性距离对初始检索结果rei进行顺序调优，得到最终的检索结果。
32.在一个实施例中，上述步骤s1：对原始车辆重识别数据集中的部分车辆图像中表示车辆位姿和局部位置的关节点进行标注；使用标注好的数据集训练双分支多分辨率车辆姿态估计网络，并估计剩余车辆重识别数据集中样本的关键点坐标；对样本的关键点坐标进行对称性筛选和置信度过滤，将保留的关键点按三层骨架模型有序连接，得到该样本的车辆姿态图，构建车辆姿态图数据集po，具体包括：
33.步骤s11：为部分车辆图像标注多个代表形状和位置的关节点，并按三层骨架模型进行连接后，得到可训练姿态估计网络的车辆姿态标注；
34.如图2所示，为部分车辆图像标注20个表示车辆位姿和局部位置的关节点，并按照图中设计的三层骨架模型进行连接，用于后续的姿态估计训练；
35.步骤s12：将车辆姿态标注与原始车辆图像输入双分支多分辨率车辆姿态估计网络，训练网络参数；其中，双分支多分辨率车辆姿态估计网络包括上分支和下分支，上分支提取高、中两种分辨率特征进行注意力融合估计，下分支提取中、低两种分辨率特征进行注意力融合估计，同时构建注意力互监督损失函数l
attenmap
如公式(1)所示，用于网络训练；
36.l
attenmap
＝|attenmap(x
top
,x
middle
)-attenmap(x
middle
,x
low
)|
ꢀꢀꢀꢀꢀ
(1)
37.其中，attenmap(
·
)表示注意力图计算，x
top
、x
middle
、x
low
分别代表高、中、低分辨率特征图像；
38.如图3展示了双分支多分辨率车辆姿态估计网络结构示意图，该网络使用两个分支分别对同一辆车进行姿态估计，上分支提取高、中两分辨率进行特征融合估计，下分支提取中、低两分辨率进行特征融合估计，并在新设计的注意力互监督损失l
attenmap
基础上进行双分支特征融合汇聚，该网络通过监督两分支的预测结果差异对遮挡或细节处进行优化，从而提高车辆姿态估计的精度；
39.在训练阶段，本实施例采用无偏热图生成方法代替传统的热图生成，避免由于量化误差而产生热图生成不准确的问题；在应用阶段，采用基于泰勒展开的高效坐标解码，将模型估计出的关键点热图解码为关键点坐标；
40.步骤s13：测试时，使用训练好的双分支多分辨率车辆姿态估计网络对未标注数据集中每个样本进行关键点坐标的估计，并对估计样本的关键点坐标使用对称筛选及置信度过滤，剔除不可靠的关键点坐标，将保留关键点按序连接构成该样本的车辆姿态图；
41.由步骤s12估计出的关键点数据p
est
中依然存在错误的估计结果p
error
，本发明采用对称后处理进行优化过滤，即通过最值点来确定车辆关键点所属区域并计算中轴，边界框与中轴将所有关键点划分在四个矩形区域内。以较为准确的四个车辆顶部的关键点{v
14
,v
15
,v
13
,v
16
}作为参考点，把其余关键点分为四个子集v
14
,v
15
,v
13
,v
16
，对于偏移至与参考点不相同区域的关键点，将其置信度置0。之后将余下关键点p
after
按照三层骨架模型进行依序连接，并去除置信度为0的点和与其相连的边，得到训练集合中所有训练样本所对应的车辆姿态图。
42.本发明将姿态估计引入到车辆重识别中，设计了基于20个关键点的三层骨架连接
模型，提出了利用多模式多分辨率特征融合的热力度估计方法，并在此基础上通过对称后处理进行过滤优化，从而提高姿态估计精度，为数据增强和车辆重识别提供强有效的姿态线索。
43.在一个实施例中，上述步骤s2：获取原始车辆重识别数据集中任一样本作为原姿态图s、以及相同车辆但是具有和s不同姿态的样本作为目标图s
t
，并从po中获取与s
t
对应的车辆姿态图po构建训练样本组(s,po,s
t
)；将(s,po,s
t
)输入基于姿态引导的数据增强网络，得到与s表观相同但具有po姿态的生成图像，具体包括：
44.步骤s21：令原图像集为s＝{s1,s2,s3…
,sn}、目标图像集为s
t
＝{t1,t2,t3…
,tm}，以及s
t
对应的目标姿态集为po＝{po1，po2，po3…
,pom}，组成训练样本组(si,poj,tj)；其中si为第i个原图，tj为第j个目标图，poj为tj的车辆姿态；
45.步骤s22：基于产生式对抗博弈方式构建基于姿态引导的数据增强网络，以样本组(si,poj,tj)作为生成器输入，经过编码器和解码器生成与si具有相同表观特征，但具有poj姿态朝向的生成图像，其中，在生成器的编、解码器之间使用跨分辨率注意力跳连，将编码器中高分辨率特征经分支下采样后，与临近的低分辨率特征进行注意力融合，然后与同分辨率的解码器特征进行连接，如公式(2)所示，同时，构建了四元组损失函数失l
quadruple
如公式(3)～公式(5)所示，用于对生成器进行约束：
[0046][0047]
其中，att()表示自注意计算，res()表示调整步长的残差卷积，f
di
表示编码器中第i个下采样block的特征输出，f
ui
表示解码器中第i个上采样block的特征输出，f
fui
则为在上采样第i个block与对应跳连下采样的特征融合，将作为输入传入解码器第i-1个上采样block；
[0048]
以第i个下采样block为例，如使用传统unet则会将第i个下采样block的输出f
di
与对应尺寸的上采样特征输出f
ui
进行concat堆叠连接。但本发明设计了基于残差卷积的注意力模块，将第i-1个下采样block的输出进行权重化处理，在与f
di
进行加权，最后推送到上采样端叠加，以保证f
fui
在上采样过程中依然可以逐层传递不同分辨率的表观、姿态相关性，从而提高合成图像的质量；
[0049][0050]
l
btw
(a,b,c)＝exp(d(a,b)-d(b,c)+α)
ꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0051][0052]
其中，公式(3)中||*||表示欧氏距离，表示的是a与b之间的欧式距离度量；
[0053]
公式(4)中l
btw
(a,b,c)表示样本a和b之间的距离应小于样本b和c，α表示样本a与b之间距离与样本b与c之间距离的间隔阈值；
[0054]
公式(5)中[
·
]
+
表示中括号内的值大于零的时候，取该值为l
quadruple
损失函数值，小于零的时候，l
quadruple
损失函数值为零；
[0055]
本发明实施例为生成器构建了四元组损失l
quadruple
，用于计算四元组d＝(si,tj,h
ij
,n)的相似性差距，对于样本si来说，tj代表与si身份相同、朝向不同图像；g
ij
表示与si身份相同，与tj姿态相同的生成图；n代表与si不同身份、但朝向姿态相同的负样本。该损失要
求样本对之间的距离满足(tj,g
ij
)《(si,g
ij
)《(si,n)《(tj,n)，进而约束生成图像g
ij
更接近si的表观身份，却拥有tj的姿态朝向，起到丰富样本数据的增强作用；
[0056]
步骤s23：将生成图像与原图si一起输入判别器，通过构建真假判别的二分类损失函数l2、多分类重识别损失函数lm、朝向相似性损失函数l
pc
、身份一致性损失联合监督函数l
ic
，实现利用自注意力transformer结构判别器与生成器之间的博弈。
[0057]
本发明实施例的判别器采用cnn进行初始编码，然后对接基于自注意力的transformer结构进行真假图判别，利用不同强度特征空间的博弈学习帮助生成器提高生成图片可信度和实用性；
[0058]
如图4所示，展示了基于姿态引导的数据增强网络的结构示意图。
[0059]
本发明利用车辆姿态信息对已有训练数据实现数据增强，给定的车辆图片和车辆姿态作为输入，基于姿态引导的数据增强网络将输出具有相同身份、不同姿态的合成车辆图像。在生成器的编解码器之间设计了跨分辨率注意力跳连和全新的四元组损失函数，通过多分辨率特征融合增强生成图像细节和姿态迁移质量。同时，在判别器中利用自注意力和transformer进行强化对抗，从而为后续联合训练提供具有丰富姿态线索的增强数据，缓解姿态变化对重识别的干扰。
[0060]
在一个实施例中，上述步骤s3：将生成图像与原始车辆重识别数据集一起构建联合训练集s
+
，其中样本组为(rgi,rpj,fj)，rhi表示图像集gallery中第i个图像，rpj表示待检索图像集probe中第j个待检索图像，fj表示由步骤s2生成的与rpj具有相同表观，且与rgi具有相同姿态的生成图；将(rgi,rpj,fj)输入基于自监督和知识蒸馏的三分支表观特征提取网络进行训练，实现高区分度车辆表征的车辆重识别，具体包括：
[0061]
步骤s31：将生成图像与原始车辆数据集一起构建联合训练集s
+
，构建样本组为(rgi,rpj,fj)，rgi表示图像集gallery中第i个图像，rpj表示待检索图像集probe中第j个待检索图像，fj表示由步骤s2生成的与rpj具有相同表观，且与rgi具有相同姿态的生成图；
[0062]
步骤s32：将rgi,rpj,fj分别输入3个对应的特征提取网络提取表观特征，其中，rgi,rpj分支使用参数共享的残差结构；fj则使用参数不共享的残差结构，共享残差结构与非共享残差结构之间将进行知识蒸馏；同时，在rgi和fj分支之间利用l
pose
构建姿态自监督，在rpj和fj分支之间利用l
app
构建表观自监督，分别如公式(6)～(7)所示；
[0063][0064][0065]
其中，表示向量拼接，ya表示样本的类别一致性标签，yp表示样本的姿态一致性标签，f
share
(*)表示共享特征提取器，f
monopoly
(*)表示非共享特征提取器。
[0066]
在本步骤中，利用面向特征可视化的kl散度来度量非共享残差与共享残差之间的知识蒸馏误差，rgi和rpj之间使用softmax作为身份损失函数，fj使用前k平滑模式的动态损失函数，并对rpj进行基于三元组的难样例挖掘。同时，由于样本rgi和fj之间具有相同的车辆姿态，样本rpj与fj之间具有相同的表观特征，fj对于样本rgi和rpj均有一定程度的相同表征，因此对提取后的图像特征进行表观自监督l
app
和姿态自监督l
pose
。
[0067]
如图5所示，展示了基于自监督和知识蒸馏的三分支表观特征提取网络的结构示意图。
[0068]
本发明实施例构建的基于自监督和知识蒸馏的三分支表观特征提取网络，实现rgi和fj之间的姿态自监督，以及rpj与fj之间的表观自监督，与共享分支采用的重识别损失和难样例挖掘损失，知识蒸馏分支使用的标签动态平衡损失联合训练拓展训练集s
+
。实现有标签数据的监督分类和无标签数据的近似划分的同时，强化姿态和身份的互相关性，促使提取的表观特征对姿态变化有抵抗能力，从而提高重识别网络泛化能力。
[0069]
在实际的应用场景中，虽然根据步骤s3中训练好的基于自监督和知识蒸馏的三分支表观特征提取网络可以直接进行车辆重识别，并得到初始检索结果，但由于车辆属于刚体目标，同一辆车出现姿态差异，或者不同车辆姿态近似时经常会产生错误分类。为了进一步解决该问题，本发明会利用下述步骤s4对初始检索结果进行顺序调优，得到优化后的检索结果。
[0070]
在一个实施例中，上述步骤s4：在实际应用中，输入目标集probe'和图像集gallery'，利用s3中训练好的基于自监督和知识蒸馏的三分支表观特征提取网络，得到probe'和gallery'中图像的表观特征，根据表观特征可得到probe'中任意pi在gallery'的初始检索结果rei；基于rei利用步骤s1和s2逐一进行姿态迁移，生成与pi车辆图像朝向一致的增强图像集合aui，根据pi和aui相似性距离对初始检索结果rei进行顺序调优，得到最终的检索结果，具体包括：：
[0071]
步骤s41：在实际应用中，输入目标图像集probe'和待搜索图像集gallery'；利用s3中训练好的基于自监督和知识蒸馏的三分支表观特征提取网络，提取probe'和gallery'中图像的表观特征，根据表观特征计算probe'和gallery'之间的距离矩阵d1，如公式(8)所示，对probe'中任意图像pi，对d1中i行元素值排序，取前k个结果可作为pi初始检索结果rei[0072][0073]
其中，为d1中元素，表示pi与gj初始相似性距离，pi为probe'中第i个图像，gj为gallery'中第j个图像；eu()表示欧式距离；
[0074]
步骤s42：利用步骤s1中的训练好的双分支多分辨率车辆姿态估计网络，得到probe'对应的姿态数据集pose，任意图像pi对应的姿态记为其中pi∈probe'；
[0075]
步骤s43：针对probe'中的所有图像依次构建利用训练好的基于姿态引导的数据增强网络，将rei中图像均调整到pi与朝向一致，即将属于rei的gj图像输入步骤s2中数据增强模型，得到保留gj表观且与pi朝向一致的生成图像集aui，其中组成元素表示对于图像pi来说，属于初始检索结果集rei的gj图像生成图；
[0076]
步骤s44：利用公式(9)～(10),重新计算probe'和gallery'集合中图像的相似性距离矩阵m：
[0077][0078][0079]
其中，表示probe'中第i张图像pi与gallery'中第j张图像gj的优化后相似性距
离，τ代表经验加权系数，表示pi与初始结果集rei中图像所生成的一系列图像的相似性距离，max()表示取括号内所有元素值的最大值；
[0080]
步骤s45：对于任意图像pi，根据m矩阵中第i行元素，对属于rei的图像gj与pi的相似性距离进行再次排序，得到最终的检索结果rfi。
[0081]
此外，本发明实施例可根据步骤s41中计算的d1，进行初始可视化，在此基础上针对前k个检索结果进行数据增强并计算d2，可进行重识别结果调优，并同步展示更新后的检索结果，如图6所示，方便用户在锁定检索范围和精确检索两种需求下进行自由切换。此外，本发明还可以将优化后的排序反馈给s3中基于自监督和知识蒸馏的三分支表观特征提取网络，用于定期的网络模型更新学习。
[0082]
本发明在获得初始检索结果后，将再次利用基于姿态引导的数据增强网络，改变原始结果中靠前的相似图像对朝向，促使其在相同朝向下进行第二次相似性度量，从而纠正因朝向差异或朝向过度近似所导致的错误分类。通过两次条件检索，可有效缩小检索范围，方便跟踪追逃、异常预警等应用场。
[0083]
实施例二
[0084]
如图7所示，本发明实施例提供了一种利用姿态估计和数据增强的车辆重识别系统，包括下述模块：
[0085]
双分支多分辨率车辆姿态估计网络模块51，用于对原始车辆重识别数据集中的部分车辆图像中表示车辆位姿和局部位置的关节点进行标注；使用标注好的数据集训练双分支多分辨率车辆姿态估计网络，并估计未标注的数据集中样本的关键点坐标；对关键点坐标进行对称性筛选和置信度过滤，将保留的关键点按三层骨架模型有序连接，得到该样本的车辆姿态图，构建车辆姿态图数据集po；
[0086]
基于姿态引导的数据增强网络模块52，用于获取原始车辆重识别数据集中任一样本作为原姿态图s、以及相同车辆但是具有和s不同姿态的样本作为目标图s
t
，并从po中获取与s
t
对应的车辆姿态图po构建训练样本组(s,po,s
t
)；将(s,po,s
t
)输入基于姿态引导的数据增强网络，得到与s表观相同但具有po姿态的生成图像；
[0087]
基于自监督和知识蒸馏的三分支表观特征提取网络模块53，用于将生成图像与原始车辆重识别数据集一起构建联合训练集s
+
，其中样本组为(rgi,rpj,fj)，rgi表示图像集gallery中第i个图像，rpj表示待检索图像集probe中第j个待检索图像，fj表示由步骤s2生成的与rpj具有相同表观，且与rgi具有相同姿态的生成图；将(rgi,rpj,fj)输入基于自监督和知识蒸馏的三分支表观特征提取网络进行训练，实现可提取高区分度车辆表征的车辆重识别；
[0088]
姿态重排序的车辆检索优化模块54，用于在实际应用中，输入目标集probe'和图像集gallery'，利用s3中训练好的基于自监督和知识蒸馏的三分支表观特征提取网络，得到probe'和gallery'中图像的表观特征，根据表观特征可得到probe'中任意pi在gallery'的初始检索结果rei；基于rei利用步骤s1和s2逐一进行姿态迁移，生成与pi车辆图像朝向一致的增强图像集合aui，根据pi和aui的相似性距离对初始检索结果rei进行顺序调优，得到最终的检索结果。
[0089]
提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修
改，均应涵盖在本发明的范围之内。

技术特征：

1.一种利用姿态估计和数据增强的车辆重识别方法，其特征在于，包括：步骤s1：对原始车辆重识别数据集中的部分车辆图像中表示车辆位姿和局部位置的关节点进行标注；使用标注好的数据集训练双分支多分辨率车辆姿态估计网络，并估计未标注的数据集中样本的关键点坐标；对所述关键点坐标进行对称性筛选和置信度过滤，将保留的关键点按三层骨架模型有序连接，得到该样本的车辆姿态图，构建车辆姿态图数据集po；步骤s2：获取所述原始车辆重识别数据集中任一样本作为原姿态图s、以及相同车辆但是具有和s不同姿态的样本作为目标图s
t
，并从po中获取与s
t
对应的车辆姿态图po构建训练样本组(s，po，s
t
)；将(s，po，s
t
)输入基于姿态引导的数据增强网络，得到与s表观相同但具有po姿态的生成图像；步骤s3：将所述生成图像与所述原始车辆重识别数据集一起构建联合训练集s
+
，其中样本组为(rg
i
，rp
j
，f
j
)，rg
i
表示图像集gallery中第i个图像，rp
j
表示待检索图像集probe中第j个待检索图像，f
j
表示由步骤s2生成的与rp
j
具有相同表观，且与rg
i
具有相同姿态的生成图；将(rg
i
，rp
j
，f
j
)输入基于自监督和知识蒸馏的三分支表观特征提取网络进行训练，实现可提取高区分度车辆表征的车辆重识别；步骤s4：在实际应用中，输入目标集probe
′
和图像集gallery
′
，利用s3中训练好的所述基于自监督和知识蒸馏的三分支表观特征提取网络，得到probe
′
和gallery
′
中图像的表观特征，根据所述表观特征可得到probe
′
中任意p
i
在gallery
′
的初始检索结果re
i
；基于re
i
利用步骤s1和s2逐一进行姿态迁移，生成与p
i
车辆图像朝向一致的增强图像集合au
i
，根据p
i
和au
i
相似性距离对所述初始检索结果re
i
进行顺序调优，得到最终的检索结果。2.根据权利要求1所述的利用姿态估计和数据增强的车辆重识别方法，其特征在于，所述步骤s1：对原始车辆重识别数据集中的部分车辆图像中表示车辆位姿和局部位置的关节点进行标注；使用标注好的数据集训练双分支多分辨率车辆姿态估计网络，并估计未标注数据集中每个样本的关键点坐标；对所述关键点坐标进行对称性筛选和置信度过滤，将保留的关键点按三层骨架模型有序连接，得到该样本的车辆姿态图，构建车辆姿态图数据集po，具体包括：步骤s11：为部分车辆图像标注多个代表形状和位置的关节点，并按三层骨架模型进行连接后，得到可训练姿态估计网络的车辆姿态标注；步骤s12：将所述车辆姿态标注与原始车辆图像输入所述双分支多分辨率车辆姿态估计网络，训练网络参数；其中，所述双分支多分辨率车辆姿态估计网络包括上分支和下分支，所述上分支提取高、中两种分辨率特征进行注意力融合估计，所述下分支提取中、低两种分辨率特征进行注意力融合估计，同时构建注意力互监督损失函数l
attenmap
如公式(1)所示，用于网络训练；l
attenmap
＝|attenmap(x
top
，x
middle
)-attenmap(x
middle
，x
low
)|
ꢀꢀ
(1)其中，attenmap(
·
)表示注意力图计算，x
top
、x
middle
、x
low
分别代表高、中、低分辨率特征图像；步骤s13：测试时，对估计样本使用对称筛选及置信度过滤，剔除不可靠的所述关键点坐标，将保留关键点按序连接构成该样本的车辆姿态图。3.根据权利要求2所述的利用姿态估计和数据增强的车辆重识别方法，其特征在于，所
述步骤s2：获取所述原始车辆重识别数据集中任一样本作为原姿态图s、以及相同车辆但是具有和s不同姿态的样本作为目标图s
t
，并从po中获取与s
t
对应的车辆姿态图po构建训练样本组(s，po，s
t
)；将(s，po，s
t
)输入基于姿态引导的数据增强网络，得到与s表观相同但具有po姿态的生成图像，具体包括：步骤s21：令原图像集为s＝{s1，s2，s3…
，s
n
}、目标图像集为s
t
＝{t1，t2，t3…
，t
m
}，以及s
t
对应的目标姿态集为po＝{po1，po2，po3…
，po
m
}，组成训练样本组(s
i
，po
j
，t
j
)；其中s
i
为第i个原图，t
j
为第j个目标图，po
j
为t
j
的车辆姿态；步骤s22：基于产生式对抗博弈方式构建基于姿态引导的数据增强网络，以样本组(s
i
，po
j
，t
j
)作为生成器输入，经过编码器和解码器生成与s
i
具有相同表观特征，但具有po
j
姿态朝向的生成图像，其中，在所述生成器的编、解码器之间使用跨分辨率注意力跳连，将编码器中高分辨率特征经分支下采样后，与临近的低分辨率特征进行注意力融合，然后与同分辨率的解码器特征进行连接，如公式(2)所示，同时，构建了四元组损失函数失l
quadruple
如公式(3)～公式(5)所示，用于对所述生成器进行约束：其中，att()表示自注意计算，res()表示调整步长的残差卷积，f
di
表示编码器中第i个下采样block的特征输出，f
ui
表示解码器中第i个上采样block的特征输出，f
fui
则为在上采样第i个block与对应跳连下采样的特征融合，将作为输入传入解码器第i-1个上采样block；l
btw
(a，b，c)＝exp(d(a，b)-d(b，c)+α)
ꢀꢀꢀꢀꢀꢀꢀꢀ
(4)其中，公式(3)中||*||表示欧氏距离，表示的是a与b之间的欧式距离度量；公式(4)中l
btw
(a，b，c)表示样本a和b之间的距离应小于样本b和c，α表示样本a与b之间距离与样本b与c之间距离的间隔阈值；公式(5)中[
·
]
+
表示中括号内的值大于零的时候，取该值为l
quadruple
损失函数值，小于零的时候，l
quadruple
损失函数值为零；步骤s23：将所述生成图像与原图s
i
一起输入判别器，通过构建真假判别的二分类损失函数l2、多分类重识别损失函数l
m
、朝向相似性损失函数l
pc
、身份一致性损失联合监督函数l
ic
，实现利用自注意力transformer结构判别器与所述生成器之间的博弈。4.根据权利要求3所述的利用姿态估计和数据增强的车辆重识别方法，其特征在于，所述步骤s3：将所述生成图像与所述原始车辆重识别数据集一起构建联合训练集s
+
，其中样本组为(rg
i
，rp
j
，f
j
)，rg
i
表示图像集gallery中第i个图像，rp
j
表示待检索图像集probe中第j个待检索图像，f
j
表示由步骤s2生成的与rp
j
具有相同表观，且与rg
i
具有相同姿态的生成图；将(rg
i
，rp
j
，f
j
)输入基于自监督和知识蒸馏的三分支表观特征提取网络进行训练，实现高区分度车辆表征的车辆重识别，具体包括：步骤s31：将所述生成图像与所述原始车辆数据集一起构建联合训练集s
+
，构建样本组为(rg
i
，rp
j
，f
j
)，rg
i
表示图像集gallery中第i个图像，rp
j
表示待检索图像集probe中第j个待检索图像，f
j
表示由步骤s2生成的与rp
j
具有相同表观，且与rg
i
具有相同姿态的生成图；
步骤s32：将rg
i
，rp
j
，f
j
分别输入3个对应的特征提取网络提取表观特征，其中，rg
i
，rp
j
分支使用参数共享的残差结构；f
j
则使用参数不共享的残差结构，所述共享残差结构与所述非共享残差结构之间将进行知识蒸馏；同时，在rg
i
和f
j
分支之间利用l
pose
构建姿态自监督，在rp
j
和f
j
分支之间利用l
app
构建表观自监督，分别如公式(6)～(7)所示；构建表观自监督，分别如公式(6)～(7)所示；其中，表示向量拼接，ya表示样本的类别一致性标签，yp表示样本的姿态一致性标签，f
share
(*)表示共享特征提取器，f
monopoly
(*)表示非共享特征提取器。5.根据权利要求4所述的利用姿态估计和数据增强的车辆重识别方法，其特征在于，所述步骤s4：在实际应用中，输入目标集probe
′
和图像集gallery
′
，利用s3中训练好的所述基于自监督和知识蒸馏的三分支表观特征提取网络，得到probe
′
和gallery
′
中图像的表观特征，根据所述表观特征可得到probe
′
中任意p
i
在gallery
′
的初始检索结果re
i
；基于re
i
利用步骤s1和s2逐一进行姿态迁移，生成与p
i
车辆图像朝向一致的增强图像集合au
i
，根据p
i
和au
i
相似性距离对所述初始检索结果re
i
进行顺序调优，得到最终的检索结果，具体包括：步骤s41：在实际应用中，输入目标图像集probe
′
和待搜索图像集gallery
′
；利用s3中训练好的所述基于自监督和知识蒸馏的三分支表观特征提取网络，提取probe
′
和gallery
′
中图像的表观特征，根据所述表观特征计算probe
′
和gallery
′
之间的距离矩阵d1，如公式(8)所示，对probe
′
中任意图像p
i
，对d1中i行元素值排序，取前k个结果可作为p
i
初始检索结果re
i
；其中，为d1中元素，表示p
i
与g
j
初始相似性距离，p
i
为probe
′
中第i个图像，g
j
为gallery
′
中第j个图像；eu()表示欧式距离；步骤s42：利用步骤s1中的训练好的双分支多分辨率车辆姿态估计网络，得到probe
′
对应的姿态数据集pose，任意图像p
i
对应的姿态记为其中p
i
∈probe
′
；步骤s43：针对probe
′
中的所有图像依次构建利用训练好的基于姿态引导的数据增强网络，将re
i
中图像均调整到p
i
与朝向一致，即将属于re
i
的g
j
图像输入步骤s2中所述数据增强模型，得到保留g
j
表观且与p
i
朝向一致的生成图像集au
i
，其中组成元素表示对于图像p
i
来说，属于初始检索结果集re
i
的g
j
图像生成图；步骤s44：利用公式(9)～(10)，重新计算probe
′
和gallery
′
集合中图像的相似性距离矩阵m：矩阵m：其中，表示probe
′
中第i张图像p
i
与gallery
′
中第j张图像g
j
的优化后相似性距离，τ代表经验加权系数，表示p
i
与初始结果集re
i
中图像所生成的一系列图像的相似性距离，max()表示取括号内所有元素值的最大值；
步骤s45：对于任意图像p
i
，根据m矩阵中第i行元素，对属于re
i
的图像g
j
与p
i
的相似性距离进行再次排序，得到最终的检索结果rf
i
。6.一种利用姿态估计和数据增强的车辆重识别系统，其特征在于，包括下述模块：双分支多分辨率车辆姿态估计网络模块，用于对原始车辆重识别数据集中的部分车辆图像中表示车辆位姿和局部位置的关节点进行标注；使用标注好的数据集训练双分支多分辨率车辆姿态估计网络，并估计未标注的据集中每个样本的关键点坐标；对所述关键点坐标进行对称性筛选和置信度过滤，将保留的关键点按三层骨架模型有序连接，得到该样本的车辆姿态图，构建车辆姿态图数据集po；基于姿态引导的数据增强网络模块，用于获取所述原始车辆重识别数据集中任一样本作为原姿态图s、以及相同车辆但是具有和s不同姿态的样本作为目标图s
t
，并从po中获取与s
t
对应的车辆姿态图po构建训练样本组(s，po，s
t
)；将(s，po，s
t
)输入基于姿态引导的数据增强网络，得到与s表观相同但具有po姿态的生成图像；基于自监督和知识蒸馏的三分支表观特征提取网络模块，用于将所述生成图像与所述原始车辆重识别数据集一起构建联合训练集s
+
，其中样本组为(rg
i
，rp
j
，f
j
)，rg
i
表示图像集gallery中第i个图像，rp
j
表示待检索图像集probe中第j个待检索图像，f
j
表示由步骤s2生成的与rp
j
具有相同表观，且与rg
i
具有相同姿态的生成图；将(rg
i
，rp
j
，f
j
)输入基于自监督和知识蒸馏的三分支表观特征提取网络进行训练，实现可提取高区分度车辆表征的车辆重识别；姿态重排序的车辆检索优化模块，用于在实际应用中，输入目标集probe
′
和图像集gallery
′
，利用s3中训练好的所述基于自监督和知识蒸馏的三分支表观特征提取网络，得到probe
′
和gallery
′
中图像的表观特征，根据所述表观特征可得到probe
′
中任意p
i
在gallery
′
的初始检索结果re
i
；基于re
i
利用步骤s1和s2逐一进行姿态迁移，生成与p
i
车辆图像朝向一致的增强图像集合au
i
，根据p
i
和au
i
的相似性距离对初始检索结果re
i
进行顺序调优，得到最终的检索结果。

技术总结

本发明涉及一种利用姿态估计和数据增强的车辆重识别方法及系统，其方法包括：步骤S1：构建双分支多分辨率车辆姿态估计网络，得到车辆关键点坐标；将关键点进行过滤后按三层骨架模型有序连接，得到车辆姿态图；S2：构建训练样本组(S,po,S

技术研发人员：

姜那 王兆发 许鹏 李俊 施智平

受保护的技术使用者：

首都师范大学

技术研发日：

2022.09.21

技术公布日：

2022/12/12