(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 201911056585.8
(22)申请日 2019.10.31
(71)申请人 浙江省北大信息技术高等研究院
地址 311200 浙江省杭州市萧山区宁围镇
市心北路857号288-1室
申请人 杭州未名信科科技有限公司
(72)发明人 谌檀越 张尉东 黄晓峰 殷海兵
贾惠柱
(74)专利代理机构 北京辰权知识产权代理有限
公司 11619
代理人 刘广达
(51)Int.Cl.
G06K 9/00(2006.01)
G06K 9/46(2006.01)
G06K 9/62(2006.01)
(54)发明名称
(57)摘要
本申请公开了一种步态识别方法及系统，包
合特征和局部聚合特征；对全局聚合特征和局部
聚合特征进行水平、垂直金字塔分片和池化，得
到多个分片特征，计算多种损失；使用多种损失
反向传播训练模型，得到训练好的识别模型；对
待识别图像序列进行预处理后输入识别模型，得
到待识别步态特征向量；使用相似度度量进行匹
配，识别行人。通过减少降采样次数，从而保留了
行人轮廓图更完整的信息，联合水平金字塔分片
和垂直金字塔分片的方法，同时采用多种损失函
数，对于视角敏感问题和行人姿态变化问题具有更强的鲁棒性，
能够达到更高的识别精度。权利要求书2页 说明书7页 附图3页CN 110969087 A 2020.04.07
C N 110969087
A
1.一种步态识别方法，其特征在于，包括：
对训练集中的图像序列进行预处理后，输入至待训练模型进行降采样和特征提取，得到全局聚合特征和局部聚合特征；
分别对全局聚合特征和局部聚合特征进行水平金字塔分片、垂直金字塔分片和池化，得到多个分片特征；
使用多个所述分片特征计算多种损失；
使用多种所述损失进行反向传播训练模型，得到训练好的识别模型；
对待识别图像序列进行预处理后，输入识别模型，得到待识别步态特征向量；
使用相似度度量对所述待识别步态特征向量与数据库中的行人步态特征向量进行匹配，识别行人。
2.根据权利要求1所述的步态识别方法，其特征在于，所述对训练集中的图像序列进行预处理和所述对待识别图像序列进行预处理，均包括：
从所述图像序列中每个帧中，获取行人轮廓区域的顶部、底部、左边和右边坐标；
根据上述四个坐标，从与坐标对应的帧中裁剪出第一行人轮廓图像；
对所述第一行人轮廓图像的大小进行归一化，得到第二行人轮廓图像；
在保持所述第二行人轮廓图像的纵横比的同时调整第二行人轮廓图像的尺寸；
得到轮廓序列，该序列包括调整尺寸后的第二行人轮廓图像。
3.根据权利要求1所述的步态识别方法，其特征在于，所述输入至待训练模型进行降采样和特征提取，得到全局聚合特征和局部聚合特征，包括：
输入轮廓序列至待训练模型，使用卷积和激活层以及池化层对所述轮廓序列中的每个轮廓图像进行处理，得到每个轮廓图像的降采样特征；
将多个所述降采样特征合并，得到全局降采样特征；
将所述全局降采样特征和每个轮廓图像的降采样特征分别输入至卷积和激活层提取特征，得到全局特征和多个轮廓图像特征；
对多个所述轮廓图像特征进行池化，得到局部聚合特征；
合并所述局部聚合特征与所述全局特征，得到全局聚合特征。
4.根据权利要求1所述的步态识别方法，其特征在于，所述分别对全局聚合特征和局部聚合特征进行水平金字塔分片、垂直金字塔分片和池化，得到多个扩充分片特征，包括：分别对全局聚合特征和局部聚合特征进行水平金字塔分片、垂直金字塔分片，得到多个全局水平分片特征、多个全局垂直分片特征、多个局部水平分片特征和多个局部垂直分片特征；
将所述多个全局水平分片特征、多个全局垂直分片特征、多个局部水平分片特征和多个局部垂直分片特征输入分离式全连接层，进行最大池化和平均池化，得到多个分片输出特征；
对多个所述分片输出特征进行通道扩充，得到多个分片特征。
5.如权利要求1所述的步态识别方法，其特征在于，所述使用多个所述分片特征计算多种损失，包括：
分别计算所述多个分片特征的第一损失；
将所述多个分片特征输入第一全连接层和批量规范化层进行降维和归一化处理，得到
步态特征向量；
将步态特征向量输入第二全连接层，得到步态输出特征；
使用所述步态输出特征计算第二损失。
6.如权利要求5所述的步态识别方法，其特征在于，所述对待识别图像序列进行预处理后，输入识别模型，得到待识别步态特征向量，包括：
对待识别图像序列进行预处理，得到待识别轮廓序列；
将所述待识别轮廓序列输入训练好的识别模型，得到待识别步态特征向量。
7.如权利要求1所述的步态识别方法，其特征在于，所述多种损失包括：三方损失、中心损失、交叉熵损失。
8.如权利要求5所述的步态识别方法，其特征在于，所述第一损失和所述第二损失分别包括一种或多种损
失。
9.如权利要求1所述的步态识别方法，其特征在于，所述相似度度量包括：欧式距离、余弦距离、标准化欧式距离、马氏距离。
10.一种步态识别系统，其特征在于，包括：
预处理模块，用于对训练集中的图像序列进行预处理，对待识别图像序列进行预处理；
模型训练模块，用于对预处理后的训练集中的图像序列进行降采样和特征提取，得到全局聚合特征和局部聚合特征；分别对全局聚合特征和局部聚合特征进行水平金字塔分片、垂直金字塔分片和池化，得到多个分片特征；使用多个所述分片特征计算多种损失；使用多种所述损失进行反向传播训练模型，得到训练好的识别模型；
步态识别模块，用于使用训练好的识别模型，根据预处理后的待识别图像序列得到待识别步态特征向量；使用相似度度量对所述待识别步态特征向量与数据库中的行人步态特征向量进行匹配，识别行人。
一种步态识别方法及系统
技术领域
[0001]本申请涉及模式识别领域，尤其涉及一种步态识别方法及系统。
背景技术
[0002]生物识别技术衡量人们独特的身体和行为特征，以识别个人的身份。步态是个体的行走模式，是最重要的生物识别方式之一。步态识别的优点是它可以在没有用户合作的情况下进行远距离操作，并且难以掩饰。因此步态识别适用于许多应用，例如人员识别，刑事调查和医疗保健。
[0003]在步态识别领域中，常见的方法是首先从视频所有序列中得到一个人的轮廓序列，然后输入神经网络再得到特征向量，最后计算特征向量之间的欧式距离来进行匹配。但是，以往的方法在遇到较严重的跨视角问题和同一个人换装或者背包等行人姿态改变的情景难以达到可实用的精度。
[0004]综上所述，需要提供一种能够对跨视角问题和行人姿态改变的情景具有较强鲁棒性和较高精度的步态识别方法及系统。
发明内容
[0005]为解决以上问题，本申请提出了一种步态识别方法及系统。
[0006]一方面，本申请提出一种步态识别方法，包括：
[0007]对训练集中的图像序列进行预处理后，输入至待训练模型进行降采样和特征提取，得到全局聚合特征和局部聚合特征；
[0008]分别对全局聚合特征和局部聚合特征进行水平金字塔分片、垂直金字塔分片和池化，得到多个分片特征；
[0009]使用多个所述分片特征计算多种损失；
[0010]使用多种所述损失进行反向传播训练模型，得到训练好的识别模型；
[0011]对待识别图像序列进行预处理后，输入识别模型，得到待识别步态特征向量；[0012]使用相似度度量对所述待识别步态特征向量与数据库中的行人步态特征向量进行匹配，识别行人。
[0013]优选地，所述对训练集中的图像序列进行预处理和所述对待识别图像序列进行预处理，均包括：
[0014]从所述图像序列中每个帧中，获取行人轮廓区域的顶部、底部、左边和右边坐标；[0015]根据上述四个坐标，从与坐标对应的帧中裁剪出第一行人轮廓图像；
[0016]对所述第一行人轮廓图像的大小进行归一化，得到第二行人轮廓图像；[0017]在保持所述第二行人轮廓图像的纵横比的同时调整第二行人轮廓图像的尺寸；[0018]得到轮廓序列，该序列包括调整尺寸后的第二行人轮廓图像。
[0019]优选地，所述输入至待训练模型进行降采样和特征提取，得到全局聚合特征和局部聚合特征，包括：
[0020]输入轮廓序列至待训练模型，使用卷积和激活层以及池化层对所述轮廓序列中的每个轮廓图像进行处理，得到每个轮廓图像的降采样特征；
[0021]将多个所述降采样特征合并，得到全局降采样特征；
[0022]将所述全局降采样特征和每个轮廓图像的降采样特征分别输入至卷积和激活层提取特征，得到全局特征和多个轮廓图像特征；
[0023]对多个所述轮廓图像特征进行池化，得到局部聚合特征；
[0024]合并所述局部聚合特征与所述全局特征，得到全局聚合特征。
[0025]优选地，所述分别对全局聚合特征和局部聚合特征进行水平金字塔分片、垂直金字塔分片和池化，得到多个扩充分片特征，包括：
[0026]分别对全局聚合特征和局部聚合特征进行水平金字塔分片、垂直金字塔分片，得到多个全局水平分片特征、多个全局垂直分片特征、多个局部水平分片特征和多个局部垂直分片特征；
[0027]将所述多个全局水平分片特征、多个全局垂直分片特征、多个局部水平分片特征和多个局部垂直分片特征输入分离式全连接层，进行最大池化和平均池化，得到多个分片输出特征；
[0028]对多个所述分片输出特征进行通道扩充，得到多个分片特征。
[0029]优选地，所述使用多个所述分片特征计算多种损失，包括：
[0030]分别计算所述多个分片特征的第一损失；
[0031]将所述多个分片特征输入第一全连接层和批量规范化层进行降维和归一化处理，得到步态特征向量；
[0032]将步态特征向量输入第二全连接层，得到步态输出特征；
[0033]使用所述步态输出特征计算第二损失。
[0034]优选地，所述对待识别图像序列进行预处理后，输入识别模型，得到待识别步态特征向量，包括：
[0035]对待识别图像序列进行预处理，得到待识别轮廓序列；
[0036]将所述待识别轮廓序列输入训练好的识别模型，得到待识别步态特征向量。[0037]优选地，所述多种损失包括：三方损失、中心损失、交叉熵损失。
[0038]优选地，所述第一损失和所述第二损失分别包括一种或多种损失。
[0039]优选地，所述相似度度量包括：欧式距离、余弦距离、标准化欧式距离、马氏距离。[0040]第二方面，本申请提出一种步态识别系统，包括：
[0041]预处理模块，用于对训练集中的图像序列进行预处理，对待识别图像序列进行预处理；
[0042]模型训练模块，用于对预处理后的训练集中的图像序列进行降采样和特征提取，得到全局聚合特征和局部聚合特征；分别对全局聚合特征和局部聚合特征进行水平金字塔分片、垂直金字塔分片和池化，得到多个分片特征；使用多个所述分片特征计算多种损失；使用多种所述损失进行反向传播训练模型，得到训练好的识别模型；
[0043]步态识别模块，用于使用训练好的识别模型，根据预处理后的待识别图像序列得到待识别步态特征向量；使用相似度度量对所述待识别步态特征向量与数据库中的行人步态特征向量进行匹配，识别行人。
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议