行人再识别网络模型数据增广及训练方法、训练装置

1.本发明涉及人工智能技术领域，具体为行人再识别网络模型数据增广及训练方法、训练装置。

背景技术：

2.行人再识别是一项非常具有挑战性的图像检索任务，其目标是匹配在不同摄像头中同一个人的图像，在智能视频监控，自动驾驶，无人机自动驾驶，赛事转播等方面具有很大的应用价值。
3.行人再识别网络模型通常使用深度神经网络来实现，它需要大量训练数据训练来确保模型的泛化能力。但现有的行人重识别数据集的数据量不够大而且收集和标注数据需要耗费大量人力，所以通常会使用数据增广方法来增加训练数据量。
4.数据增广方法cutmix通过组合两个图像来生成一个新的混合图像，其基本操作是截取另外一张图片一样大小的区域填充本图片的相同位置区域，常用于深度神经网络的数据增广。
5.但是，cutmix在行人重识别任务中未被使用，其原因在于：
6.1)cutmix生成的混合图像质量较差，严重影响了后续深度神经网络训练的精度和性能。
7.2)cutmix混合两张图象产生新的混合图像包含多个非整数标签，而行人重识别任务中所使用的triplet-loss无法处理小数相似度标签。
8.为此，我们提出了行人再识别网络模型数据增广及训练方法、训练装置。

技术实现要素：

9.本发明的目的在于提供了行人再识别网络模型数据增广及训练方法、训练装置，解决了上述背景技术中所提出的问题。
10.为实现上述目的，本发明提供如下技术方案：行人再识别网络模型数据增广及训练方法，包括以下步骤：
11.s101：获取m个训练图像和该m个训练图像的标注数据，m个训练图像包括行人，每个训练图像的标注数据包括每个训练图像中的行人所在的包围框和行人身份标识信息；
12.s102：应用设定的采样策略，选取m个训练图像中的一批训练图像作为一个批次训练样本，应用水平条带分割-混洗方法，对该批次训练样本对进行数据增广，获得数据增广批次训练样本；
13.s103：将数据增广批次训练样本，按照设定的采样策略，输入到行人再识别网络模型进行特征提取，得到该批次样本对的特征向量；
14.s104：应用扩展三重损失函数，计算该批次样本的特征向量所对应的损失函数的函数值；
15.s105：根据损失函数的函数值对行人再识别网络模型的网络参数进行更新；
16.s106：重复上述s102、s103、s104和s105步骤，对每个批次训练样本进行训练，直到扩展三重损失函数的函数值满足预设条件，从而完成行人再识别网络模型的训练，得到满足预设条件的行人再识别网络模型，预设条件为满足下列条件中的至少一种：行人再识别网络的训练次数大于或等于预设次数，扩展三重损失函数的函数值小于或等于预设阈值。
17.优选的，s102步骤中的水平条带分割-混洗方法的具体步骤为：
18.1)从一个批次内的原有训练样本中，应用所述设定的采样策略，选取部分图像，对选取的部分图像，在相同的位置进行水平条带切割，把切割下来的图像块进行混洗，再贴回原图像中，生成合成图像，其中：每张合成图像都由部分原图像块和一个贴上去的图像块组成；
19.2)一个批次内的原有训练样本与上述合成图像共同构成数据增广批次训练样本；
20.3)计算数据增广批次训练样本中每张图像的两种标签：一种标签是类相似度标签s
dass
，标签值等于每个身份的图像块的面积占比；另一种标签是样本对相似度标签s
pair
，用于比较两张图像中相同位置图像块的身份标签，标签值等于两者相同身份标签图像块的占比。
21.优选的，s102步骤中设定的采样策略具体步骤为：
22.a)在权利要求2所述的数据增广批次训练样本中，包括两类图像：原始样本图像和合成图像,任意两张图像构成一个样本对；
23.b)所述样本对分为4组类型：第一组是clean-clean类型，包含 clean-clean：正样本-正样本，clean-clean：负样本-负样本两种类型样本对；第二组是clean-mixed：负样本对类型，包含clean-mixed：负样本-负样本，mixed-clean：负样本-负样本两种类型样本对；第三组是clean-mixed：正样本对类型，包含clean-mixed：正样本-正样本,mixed-clean：正样本
‑ꢀ
正样本两种类型；第四组是mixed-mixed类型，包含mixed-mixed：正样本
‑ꢀ
正样本，mixed-mixed：负样本-负样本两类；
24.c)在一个批次内的原有训练样本中，使用pk概率采样策略，其中：p表示每个批次中行人身份的数量，k表示每个行人有多少张图片；
25.d)从数据增广批次训练样本中选择全部p和一半k参与迭代训练，选取策略为：每次迭代的样本对类型包含25％的clean-clean类型、25％的 mixed-mixed类型和50％的clean-mixed：负样本对+clean-mixed：正样本对类型组合。
26.优选的，s104步骤中的扩展三重损失函数具体为：给定锚点图片a，与锚点相同身份的正样本集合p(a)，与锚点不同身份的负样本集合n(a)，m为宽松项：
27.s
p
＝s(a,p) p∈p(a)；
28.sn＝s(a,n) n∈n(a)；
29.其中s(a,p)表示正样本对相似度，s(a,n)表示负样本对相似度，sn越小， sp越大，损失就越小；
30.标准triplet loss表示为：l
triplet
＝s
n-s
p
+m，其包含一个放松条件，只要s
n-s
p
＞m，即正样本相似度比负样本相似度于一个宽松项m，就不再继续优化这组sn和s
p
；
31.从让网络训练输出的相似度接近相似度标签的角度出发，扩展三重损失函数(extend-triplet-loss)如下：
32.a1)动态确定样本对相似度的优化方向，如果网络训练输出的相似度小于相似度
标签，则需增加相似度，要向正方向优化，如果大于标签相似度，则需减少相似度，要向负方向优化，因为优化方向是根据正负样本对来确定的，所以通过动态划分正负样本对方式，来实现动态确定优化方向，正负样本对的动态划分如下：
33.p(a)＝{i＝1，2，...，m|s(a,i)≤y(a,i)and y(a,i)≠0}；
34.n(a)＝{i＝1，2，...，m|s(a,i)＞y(a,i)or y(a,i)＝0}；
35.如果网络输出得到的样本对相似度s(a,i)大于样本对相似度标签 y(a,i)，那么该样本对就是负样本对，相似度s(a,i)要向着负方向优化来减少相似度，如果s(a,i)小于或等于样本对相似度标签y(a,i)，那么该样本对就是正样本对，相似度s(a,i)要向正方向优化来提高相似度；
36.a2)扩展放松条件，扩展标准triplet loss，使其函数值分布在所述样本对相似度标签周围：
[0037][0038][0039][0040][0041]
当和时，就不再优化这个三元组；
[0042]
其中：yn为负样本对相似度标签，y
p
为正样本对相似度标签，是宽松项，令这样当yn＝0和y
p
＝1时，和标准tripletloss兼容。
[0043]
行人再识别网络模型数据增广训练装置，包括：
[0044]
获取模块：用于获取m个训练图像和该m个训练图像的标注数据；m个训练图像包括行人，每个训练图像的标注数据包括所述每个训练图像中的行人所在的包围框和行人身份标识信息；
[0045]
数据增广模块：用于根据设定的采样策略，选取m个训练图像中的一批训练图像作为一个批次训练样本，应用水平条带分割-混洗方法，对该批次训练样本对进行数据增广，获得数据增广批次训练样本；
[0046]
采样模块：用于按照设定的采样策略，对所述数据增广批次训练样本进行采样，获取批次训练数据；
[0047]
训练模块：用于执行下述步骤一至步骤四，包括：
[0048]
步骤一：将批次训练样本对，输入到行人再识别网络模型进行特征提取，得到该批次样本对的特征向量；
[0049]
步骤二：应用扩展三重损失函数，计算该批次样本对的特征向量所对应的损失函数的函数值；
[0050]
步骤三：根据所述损失函数的函数值对所述行人再识别网络模型的网络参数进行更新；
[0051]
步骤四：重复所述步骤一、步骤二和步骤三，对每个批次训练样本对进行训练，直到扩展三重损失函数的函数值满足所述预设条件，从而完成行人再识别网络模型的训练，
得到满足预设条件的行人再识别网络模型。
[0052]
本发明提供了行人再识别网络模型数据增广及训练方法、训练装置。该行人再识别网络模型数据增广及训练方法、训练装置具备以下有益效果：
[0053]
(1)、本发明针对行人再识别特性设计的数据增广strip-cutmix方法，提升了训练数据数量和质量，可以在行人再识别网络模型训练数据集的数据量有限条件下，让网络模型训练更长时间同时避免了过拟合现象，提高网络模型的泛化能力，从而获得性能更好的行人再识别网络模型。
[0054]
(2)、本发明针对行人再识别网络模型设计的扩展三重损失函数，可以处理小数相似度标签，从而可以与所述数据增广strip-cutmix方法共同应用于行人再识别网络模型的训练。
附图说明
[0055]
图1为本发明实施例公开的行人再识别网络模型的数据增广及训练方法的总体流程示意图结构示意图；
[0056]
图2为本发明实施例公开的行人再识别网络模型架构图；
[0057]
图3为本实施例公开的数据增广批次训练样本中每张图像的两种标签的计算示意图；
[0058]
图4为本发明实施例公开的行人再识别训练装置的示意性框图。
具体实施方式
[0059]
为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明；应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明；
[0060]
图1为本发明一示例性实施例示出的一种行人再识别网络模型的数据增广及训练方法的实施例流程图，图2为本发明一示例性实施例示出的行人再识别网络模型架构图；下面结合图1和图2对本实施例进行详细阐述；
[0061]
如图1所示，本实施例提供了行人再识别网络模型的数据增广及训练方法，包括如下步骤：
[0062]
s101：获取m个训练图像和该m个训练图像的标注数据，所述m个训练图像包括行人，所述每个训练图像的标注数据包括所述每个训练图像中的行人所在的包围框和行人身份标识信息；
[0063]
s102：应用设定的采样策略，选取m个训练图像中的一批训练图像作为一个批次训练样本，应用水平条带分割-混洗方法(strip-cutmix)，对该批次训练样本对进行数据增广，获得数据增广批次训练样本；
[0064]
s103.将所述数据增广批次训练样本，按照设定的采样策略，输入到行人再识别网络模型进行特征提取，得到该批次样本对的特征向量；
[0065]
s104：应用扩展三重损失函数(extend-triplet-loss)，计算该批次样本的特征向量所对应的损失函数的函数值；
[0066]
s105：根据所述损失函数的函数值对所述行人再识别网络模型的网络参数进行更
新；
[0067]
s106：重复上述s102、s103、s104和s105步骤，对每个批次训练样本进行训练，直到扩展三重损失函数(extend-triplet-loss)的函数值满足预设条件，从而完成行人再识别网络模型的训练，得到满足预设条件的行人再识别网络模型；所述预设条件为满足下列条件中的至少一种：所述行人再识别网络的训练次数大于或等于预设次数，所述扩展三重损失函数(extend-triplet-loss)的函数值小于或等于预设阈值；
[0068]
结合图2的行人再识别网络模型架构图：a10执行步骤s102的strip-cutmix数据增广方法，用来进行数据增广增加训练数据量；a20执行步骤s103的特征提取，用来提取图像的特征；a30用于执行步骤s104的扩展三重损失函数计算，用来计算损失函数的函数值；
[0069]
具体的，本实施例采用resnet50或resnest50作为backbone进行特征提取，提取的特征经过pool(池化层)、bn(归一化曾)和fc(全连接层)的处理后，作为输入进行扩展三重损失函数计算；
[0070]
resnet50：经典的残差网络(deepresiduallearningforimagerecognition)，被广泛运用于各种特征提取应用中，该方法是2016年在cvpr发表的；
[0071]
resnest50：基于resnet的通用改进网络(resnest:split-attentionnetworks)，通过引入注意力和多路分支等机制，能够在多个任务上实现最优性能，该方法是2020年发表的；
[0072]
结合图2，所述水平条带分割-混洗方法(strip-cutmix)为：
[0073]
1)从一个批次内的原有训练样本中，应用所述设定的采样策略，选取部分图像，对选取的部分图像，在相同的位置进行水平条带切割，把切割下来的图像块进行混洗(shuffle)，再贴回原图像中，生成合成图像；其中：每张合成图像都由部分原图像块和一个贴上去的图像块组成；
[0074]
2)一个批次内的原有训练样本与上述合成图像共同构成数据增广批次训练样本；
[0075]
3)计算数据增广批次训练样本中每张图像的两种标签：一种标签是类相似度标签s
class
，标签值等于每个身份的图像块的面积占比；另一种标签是样本对相似度标签s
pair
，用于比较两张图像中相同位置图像块的身份标签，标签值等于两者相同身份标签图像块的占比；
[0076]
图3所示为类相似度标签s
class
和样本对相似度标签s
pair
的计算示例：
[0077]
原图像a和b的类相似度标签s
class
采用one-hot编码分别为s
class-a
＝[1,0]和s
class-b
＝[0,1]；图像a和b分别经55％的水平条带分割(strip-cut)和混洗(mix)后，得到合成图像c和d，则合成图像c和d的类相似度标签s
class
采用one-hot编码分别为s
class-c
＝[0.55,0.45]和s
class-d
＝[0.45,0.55]；再计算样本对相似度标签s
pair
，则原图像a与原图像b的样本对相似度标签s
pair-a-b
＝[0]，原图像a与合成图像c的样本对相似度标签s
pair-a-c
＝[0.55]，原图像a与合成图像d的样本对相似度标签s
pair-a-d
＝[0.45]，合成图像c与合成图像d的样本对相似度标签s
pair-c-d
＝[0]；
[0078]
结合图2，所述设定的采样策略为：
[0079]
a)在所述的数据增广批次训练样本中，包括两类图像：原始样本图像(clean)和合成图像(mixed)，任意两张图像构成一个样本对；
[0080]
b)所述样本对分为4组类型：第一组是clean-clean类型，包含clean-clean(正样
本-正样本),clean-clean(负样本-负样本)两种类型样本对；第二组是clean-mixed(负样本对)类型，包含clean-mixed(负样本-负样本),mixed-clean(负样本-负样本)两种类型样本对；第三组是 clean-mixed(正样本对)类型，包含clean-mixed(正样本-正样本), mixed-clean(正样本-正样本)两种类型；第四组是mixed-mixed类型，包含 mixed-mixed(正样本-正样本),mixed-mixed(负样本-负样本)两类；
[0081]
c)在一个批次内的原有训练样本中，使用pk概率采样策略(其中：p表示每个批次中行人身份的数量，k表示每个行人有多少张图片)：以概率ρ(例如ρ＝0.8)执行权利要求2中所述的水平条带分割-混洗方法，获得所述数据增广批次训练样本；所述数据增广批次训练样本中包含20％的原始样本图像 (clean)和80％的混合图像(mixed)；
[0082]
d)从所述数据增广批次训练样本中选择全部p和一半k参与迭代训练，选取策略为：每次迭代的样本对类型包含25％的clean-clean类型、25％的mixed-mixed类型和50％的clean-mixed(负样本对)+clean-mixed(正样本对) 类型组合；
[0083]
结合图2，所述扩展三重损失函数(extend-triplet-loss)为：
[0084]
给定锚点图片a，与锚点相同身份的正样本集合p(a)，与锚点不同身份的负样本集合n(a)，m为宽松项：
[0085]sp
＝s(a,p) p∈p(a)；
[0086]
sn＝s(a,n) n∈n(a)；
[0087]
其中s(a,p)表示正样本对相似度，s(a,n)表示负样本对相似度；sn越小， sp越大，损失就越小；
[0088]
标准triplet loss表示为：l
triplet
＝s
n-s
p
+m，其包含一个放松条件，只要s
n-s
p
＞m，即正样本相似度比负样本相似度于一个宽松项m，就不再继续优化这组sn和s
p
；
[0089]
从让网络训练输出的相似度接近相似度标签的角度出发，扩展三重损失函数(extend-triplet-loss)如下：
[0090]
a1)动态确定样本对相似度的优化方向,如果网络训练输出的相似度小于相似度标签，则需增加相似度，要向正方向优化,如果大于标签相似度，则需减少相似度，要向负方向优化,因为优化方向是根据正负样本对来确定的，所以通过动态划分正负样本对方式，来实现动态确定优化方向,正负样本对的动态划分如下：
[0091]
p(a)＝{i＝1，2，...，m|s(a,i)≤y(a,i)and y(a,i)≠0}；
[0092]
n(a)＝{i＝1，2，...，m|s(a,i)＞y(a,i)or y(a,i)＝0}；
[0093]
如果网络输出得到的样本对相似度s(a,i)大于样本对相似度标签y(a,i)，那么该样本对就是负样本对，相似度s(a,i)要向着负方向优化来减少相似度，如果s(a,i)小于或等于样本对相似度标签y(a,i)，那么该样本对就是正样本对，相似度s(a,i)要向正方向优化来提高相似度；
[0094]
扩展放松条件；扩展标准triplet loss，使其函数值分布在所述样本对相似度标签周围：
[0095][0096][0097]
[0098][0099]
当和时，就不再优化这个三元组；
[0100]
其中：yn为负样本对相似度标签，y
p
为正样本对相似度标签，是宽松项，令这样当yn＝0和y
p
＝1时，和标准tripletloss兼容；
[0101]
本技术中，采用本技术实施例的行人再识别网络模型的数据增广和训练方法得到的行人再识别网络模型能够更好的训练和得到更优的性能，因此，采用该行人再识别网络模型对待识别图像进行处理，能够取得更好的行人识别结果；
[0102]
下面结合具体的测试结果对本技术实施例的行人再识别网络模型的行人识别的效果进行说明；
[0103]
表1：
[0104][0105]
表1示出了不同的方案在不同的数据集进行测试的结果，其中，测试结果包括平均精度均值(meanaverageprecision,map)和rank-1，其中，rank-1表示已有图像中特征向量与待识别图像的特征向量距离最近的图像与待识别图像属于同一个行人的概率；
[0106]
在上述表1中，数据集分别为dukemtmc,market1501,msmt17；
[0107]
其中，dukemtmc共包含由1812行人身份的36411张图像，训练集包含702个行人身份共16522张图片，测试集由702个身份的2228张查询图像和1110身份的17661张图库图像构成；market-1501由六个不重叠的摄像头捕获获得，它包含32668张图像共1501个人，这些图像被划分为训练集和测试集，其中训练集包含751个人共12936张图像，测试集包含750个人共19732张图像；msmt17由1041个身份的32621张训练集图片和11659张查询图片与82161张图库图片组成；
[0108]
现有方案1：行人重识别算法优化技巧和主干网络(bagoftricksandastrongbaselinefordeeppersonre-identification)，该方法是2019年在cvpr发表的；
[0109]
现有方案2：行人重识别算法的非局部注意力机制、加权归一化三元组损失和主干网络(deeplearningforpersonre-identification:asurveyandoutlook)，该方法是2021年在ieeetransactionsonpatternanalysisandmachineintelligence发表的；
[0110]
现有方案3：在bot基础上又结合了其他的许多优化技巧，提升了行人再识别的精度(fastreid:apytorchtoolboxforreal-worldpersonre-identification)，该方法是2020年由京东ai研究院发表；
[0111]
由表1可知，经本技术方案训练后得到的行人再识别网络模型在数据集dukemtmc,market1501,msmt17上的map和rank-1性能均优于现有方案，具有较好的识别效果；
[0112]
图4是本技术实施例的行人再识别训练装置的示意性框图；图4所示的行人再识别训练装置10包括获取模块110、数据增广模块120、采样模块130和训练模块140；
[0113]
行人再识别训练装置10可以用于执行本技术实施例的行人再识别网络模型的数据增广及训练方法；
[0114]
具体的，获取模块110用于获取m个训练图像和该m个训练图像的标注数据；所述m个训练图像包括行人，所述每个训练图像的标注数据包括所述每个训练图像中的行人所在的包围框和行人身份标识信息；
[0115]
具体的，数据增广模块120用于根据设定的采样策略，选取m个训练图像中的一批训练图像作为一个批次训练样本，应用所述的水平条带分割-混洗方法(strip-cutmix)，对该批次训练样本对进行数据增广，获得数据增广批次训练样本；
[0116]
可选的，本实施例设定的采样策略为：在一个批次内的原有训练样本中，使用pk概率采样策略(其中：p表示每个批次中行人身份的数量，k表示每个行人有多少张图片)：以概率ρ(例如ρ＝0.8)执行权利要求2中所述的水平条带分割-混洗方法，获得所述数据增广批次训练样本；所述数据增广批次训练样本中包含20％的原始样本图像(clean)和80％的混合图像(mixed)；
[0117]
具体的，采样模块130用于按照设定的采样策略，对所述数据增广批次训练样本进行采样，获取批次训练数据；
[0118]
可选的，本实施例可以设定采样策略为：从所述数据增广批次训练样本中选择全部p和一半k参与迭代训练，选取策略为：每次迭代的样本对类型包含25％的clean-clean类型、25％的mixed-mixed类型和50％的clean-mixed(负样本对)+clean-mixed(正样本对)类型组合；
[0119]
具体的，训练模块140用于执行下述步骤一至步骤四，包括：
[0120]
步骤一：将批次训练样本对，输入到行人再识别网络模型进行特征提取，得到该批次样本对的特征向量；
[0121]
步骤二：应用扩展三重损失函数(extend-triplet-loss)，计算该批次样本对的特征向量所对应的损失函数的函数值；
[0122]
步骤三：根据所述损失函数的函数值对所述行人再识别网络模型的网络参数进行更新；
[0123]
步骤四：重复所述步骤一、步骤二和步骤三，对每个批次训练样本对进行训练，直
到扩展三重损失函数(extend-triplet-loss)的函数值满足所述预设条件，从而完成行人再识别网络模型的训练，得到满足预设条件的行人再识别网络模型；
[0124]
可选的，所述预设条件为满足下列条件中的至少一种：所述行人再识别网络的训练次数大于或等于预设次数，所述扩展三重损失函数 (extend-triplet-loss)的函数值小于或等于预设阈值；
[0125]
应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

技术特征：

1.行人再识别网络模型数据增广及训练方法，其特征在于，包括以下步骤：s101：获取m个训练图像和该m个训练图像的标注数据，m个训练图像包括行人，每个训练图像的标注数据包括每个训练图像中的行人所在的包围框和行人身份标识信息；s102：应用设定的采样策略，选取m个训练图像中的一批训练图像作为一个批次训练样本，应用水平条带分割-混洗方法，对该批次训练样本对进行数据增广，获得数据增广批次训练样本；s103：将数据增广批次训练样本，按照设定的采样策略，输入到行人再识别网络模型进行特征提取，得到该批次样本对的特征向量；s104：应用扩展三重损失函数，计算该批次样本的特征向量所对应的损失函数的函数值；s105：根据损失函数的函数值对行人再识别网络模型的网络参数进行更新；s106：重复上述s102、s103、s104和s105步骤，对每个批次训练样本进行训练，直到扩展三重损失函数的函数值满足预设条件，从而完成行人再识别网络模型的训练，得到满足预设条件的行人再识别网络模型，预设条件为满足下列条件中的至少一种：行人再识别网络的训练次数大于或等于预设次数，扩展三重损失函数的函数值小于或等于预设阈值。2.根据权利要求1所述的行人再识别网络模型数据增广及训练方法，其特征在于：s102步骤中的水平条带分割-混洗方法的具体步骤为：1)从一个批次内的原有训练样本中，应用所述设定的采样策略，选取部分图像，对选取的部分图像，在相同的位置进行水平条带切割，把切割下来的图像块进行混洗，再贴回原图像中，生成合成图像，其中：每张合成图像都由部分原图像块和一个贴上去的图像块组成；2)一个批次内的原有训练样本与上述合成图像共同构成数据增广批次训练样本；3)计算数据增广批次训练样本中每张图像的两种标签：一种标签是类相似度标签s
dass
，标签值等于每个身份的图像块的面积占比；另一种标签是样本对相似度标签s
pair
，用于比较两张图像中相同位置图像块的身份标签，标签值等于两者相同身份标签图像块的占比。3.根据权利要求1所述的行人再识别网络模型数据增广及训练方法，其特征在于：s102步骤中设定的采样策略具体步骤为：a)在权利要求2所述的数据增广批次训练样本中，包括两类图像：原始样本图像和合成图像,任意两张图像构成一个样本对；b)所述样本对分为4组类型：第一组是clean-clean类型，包含clean-clean：正样本-正样本，clean-clean：负样本-负样本两种类型样本对；第二组是clean-mixed：负样本对类型，包含clean-mixed：负样本-负样本，mixed-clean：负样本-负样本两种类型样本对；第三组是clean-mixed：正样本对类型，包含clean-mixed：正样本-正样本,mixed-clean：正样本-正样本两种类型；第四组是mixed-mixed类型，包含mixed-mixed：正样本-正样本，mixed-mixed：负样本-负样本两类；c)在一个批次内的原有训练样本中，使用pk概率采样策略，其中：p表示每个批次中行人身份的数量，k表示每个行人有多少张图片；d)从数据增广批次训练样本中选择全部p和一半k参与迭代训练，选取策略为：每次迭代的样本对类型包含25％的clean-clean类型、25％的mixed-mixed类型和50％的clean-mixed：负样本对+clean-mixed：正样本对类型组合。
4.根据权利要求1所述的行人再识别网络模型数据增广及训练方法，其特征在于：s104步骤中的扩展三重损失函数具体为：给定锚点图片a，与锚点相同身份的正样本集合p(a)，与锚点不同身份的负样本集合n(a)，m为宽松项：s
p
＝s(a,p)p∈p(a)；s
n
＝s(a,n)n∈n(a)；其中s(a,p)表示正样本对相似度，s(a,n)表示负样本对相似度，sn越小，sp越大，损失就越小；标准triplet loss表示为：l
triplet
＝s
n-s
p
+m，其包含一个放松条件，只要s
n-s
p
＞m，即正样本相似度比负样本相似度于一个宽松项m，就不再继续优化这组s
n
和s
p
；从让网络训练输出的相似度接近相似度标签的角度出发，扩展三重损失函数(extend-triplet-loss)如下：a1)动态确定样本对相似度的优化方向，如果网络训练输出的相似度小于相似度标签，则需增加相似度，要向正方向优化，如果大于标签相似度，则需减少相似度，要向负方向优化，因为优化方向是根据正负样本对来确定的，所以通过动态划分正负样本对方式，来实现动态确定优化方向，正负样本对的动态划分如下：p(a)＝{i＝1，2，...，m|s(a,i)≤y(a,i)and y(a,i)≠0}；n(a)＝{i＝1，2，...，m|s(a,i)＞y(a,i)or y(a,i)＝0}；如果网络输出得到的样本对相似度s(a,i)大于样本对相似度标签y(a,i)，那么该样本对就是负样本对，相似度s(a,i)要向着负方向优化来减少相似度，如果s(a,i)小于或等于样本对相似度标签y(a,i)，那么该样本对就是正样本对，相似度s(a,i)要向正方向优化来提高相似度；a2)扩展放松条件，扩展标准triplet loss，使其函数值分布在所述样本对相似度标签周围：周围：周围：周围：当和时，就不再优化这个三元组；其中：y
n
为负样本对相似度标签，y
p
为正样本对相似度标签，是宽松项，令这样当y
n
＝0和y
p
＝1时，和标准triplet loss兼容。行人再识别网络模型数据增广训练装置，其特征在于，包括：获取模块：用于获取m个训练图像和该m个训练图像的标注数据；m个训练图像包括行人，每个训练图像的标注数据包括所述每个训练图像中的行人所在的包围框和行人身份标识信息；数据增广模块：用于根据设定的采样策略，选取m个训练图像中的一批训练图像作为一个批次训练样本，应用水平条带分割-混洗方法，对该批次训练样本对进行数据增广，获得
数据增广批次训练样本；采样模块：用于按照设定的采样策略，对所述数据增广批次训练样本进行采样，获取批次训练数据；训练模块：用于执行下述步骤一至步骤四，包括：步骤一：将批次训练样本对，输入到行人再识别网络模型进行特征提取，得到该批次样本对的特征向量；步骤二：应用扩展三重损失函数，计算该批次样本对的特征向量所对应的损失函数的函数值；步骤三：根据所述损失函数的函数值对所述行人再识别网络模型的网络参数进行更新；步骤四：重复所述步骤一、步骤二和步骤三，对每个批次训练样本对进行训练，直到扩展三重损失函数的函数值满足所述预设条件，从而完成行人再识别网络模型的训练，得到满足预设条件的行人再识别网络模型。

技术总结

本发明涉及人工智能技术领域，且公开了行人再识别网络模型数据增广及训练方法，包括以下步骤：S101：获取M个训练图像和该M个训练图像的标注数据，M个训练图像包括行人，每个训练图像的标注数据包括每个训练图像中的行人所在的包围框和行人身份标识信息；S102：应用设定的采样策略，选取M个训练图像中的一批训练图像作为一个批次训练样本，应用水平条带分割-混洗方法，对该批次训练样本对进行数据增广，获得数据增广批次训练样本。本发明针对行人再识别网络模型设计的扩展三重损失函数，可以处理小数相似度标签，从而可以与所述数据增广Strip-Cutmix方法共同应用于行人再识别网络模型的训练。络模型的训练。络模型的训练。