(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 202110007355.3
(22)申请日 2021.01.05
(71)申请人 重庆大学
地址 400044 重庆市沙坪坝区沙坪坝正街
174号
(72)发明人 程森林 赵志威 钟源 王桢桢
尧小华 杨卓锐 杨皓
(74)专利代理机构 北京同恒源知识产权代理有
限公司 11275
代理人 杨柳岸
(51)Int.Cl.
G06K 9/00(2006.01)
G06K 9/32(2006.01)
G06K 9/62(2006.01)
G06N 3/04(2006.01)
G06N 5/04(2006.01)
(54)发明名称一种基于动作识别的运动姿态矫正方法(57)摘要本发明涉及一种基于动作识别的运动姿态矫正方法，属于计算机及运动识别技术领域。该方法包括：动作识别：通过摄像头采集用户运动视频，基于深度学习算法构建动作识别算法，并利用该算法对锻炼者视频中的动作进行类别整理；骨架提取：首先从标准健身数据库中提取对应锻炼者的标准动作，然后从标准动作视频同时进行骨架提取；同时利用采集到的锻炼者视频，从中提取锻炼者运动骨架模型；姿态比对：首先将锻炼者的骨架进行模板标准化；然后将标准化后锻炼者的骨架与标准动作视频进行相似度计算，提取动作相似度最高的一帧模板动作；最后所有动作测试完成，选取出相似度低于阈值的几帧动作，并将模板动作展示出来。本发明提高了 计算速度和对比精度。权利要求书2页 说明书6页 附图3页CN 112668531 A 2021.04.16
C N 112668531
A
1.一种基于动作识别的运动姿态矫正方法，其特征在于，该方法具体包括以下步骤：
S1：动作识别阶段：
通过摄像头采集用户运动视频，基于深度学习算法构建动作识别算法，并利用该算法对锻炼者视频中的动作进行类别整理；
S2：骨架提取阶段：
首先，从标准健身数据库中提取对应锻炼者的标准动作，然后从标准动作视频同时进行骨架提取；同时，利用采集到的锻炼者视频，从中提取锻炼者运动的骨架模型；
S3：姿态比对阶段：
首先将锻炼者的骨架进行模板标准化；然后，将标准化后锻炼者的骨架与标准动作视频进行相似度计算，提取出动作相似度最高的一帧模板动作；最后，锻炼者所有动作测试完成，选取出相似度低于阈值的几帧动作，并将模板动作展示出来。
2.根据权利要求1所述的运动姿态矫正方法，其特征在于，步骤S1中，所述动作识别阶段中，具体采用C3D网络进行动作识别。
3.根据权利要求2所述的运动姿态矫正方法，其特征在于，步骤S1中，所述C3D网络包括：8次卷积操作，5次池化操作，最终经过2次全连接层和softmax输出得到结果。
4.根据权利要求1所述的运动姿态矫正方法，其特征在于，步骤S2中，所述骨架提取具体包括：首先利用Faster R‑CNN网络和特征金字塔网络(Feature Pyramid Networks，FPN)进行检测，根据检测结果，提取在图像中占据面积最大的目标，将其默认为锻炼者；然后利用高分辨率网络(High resolution network，HRNet)对人体姿势进行估计。
5.根据权利要求4所述的运动姿态矫正方法，其特征在于，步骤S2中，所述Faster R‑CNN网络(Full convolution depth network)包括：全卷积深度网络(RegionProposal Network,RPN)和Fast R‑CNN检测器；具体算法为：通过卷积神经网络得到特征映射，将特征映射输入到RPN网络中得到候选区域，并将候选区域和特征映射输入至全卷积层进行卷积分类，最后输出结果。
6.根据权利要求4所述的运动姿态矫正方法，其特征在于，步骤S2中，所述FPN网络包括：1)自底向上的网络前向传播过程；2)自顶向下的过程是将顶层特征通过上采样和底层特征做融合，每个层级独立预测。
7.根据权利要求4所述的运动姿态矫正方法，其特征在于，步骤S2中，Faster R‑CNN和FPN的融合，是在RPN部分进行自底向上和自顶向下的融合，得到更加合适的ROI区域。
8.根据权利要求4所述的运动姿态矫正方法，其特征在于，步骤S2中，HR网络内部结构为：以高分辨率子网开始作为第一阶段，逐个添加从高到低分辨率子网以形成更多阶段，并且并行连接多分辨率子网；在整个过程中反复交换并行多分辨率子网络中的信息进行重复的多尺度融合。
9.根据权利要求1所述的运动姿态矫正方法，其特征在于，步骤S3中，模板标准化具体包括：舍弃姿势估计得到的眼睛、耳朵4个位置，保留13关节点的位置，将关节点记为J，表示
为J＝(j
0、j
1
、j
2
、...、j
12
)，每一个关节点包含二维的x，y两个维度；模板动作信息记为
待计算动作信息记为
根据关节点算出模板动作t和待计算动作a的各骨架长度，然后将a骨架长度变换到t的
对应骨架长度；a骨架长度变换后，选取t和a的基准点，以基准点重合的方式将a平移到目标位置；
具体按照人体结构的关系，手上的关节位置手腕、手肘、肩膀，脚上的关键位置脚腕、膝盖、臀部，并以鼻子为定点，考虑鼻子和肩膀的位置，肩膀与臀部的位置；记起点为s，终点为e；
计算两两关节位置的距离为：
然后计算关节点与点之间需要变换的长度：
记变换长度为M；
再以鼻子为定点，即关键点0不动，以左手腕为例，变换后的坐标为
最后以模板鼻子为基准点，平移估计图。
10.根据权利要求9所述的运动姿态矫正方法，其特征在于，步骤S3中，计算相似度具体包括：将模板的关节点与测试视频的关节点一一对应，计算二者之间的距离，并将各个点之间的距离求和为D；仿照Sigmoid函数，ε为预设的误差因子，距离与相似度S的关系为：
一种基于动作识别的运动姿态矫正方法
技术领域
[0001]本发明属于计算机及运动识别技术领域，涉及一种基于动作识别的运动姿态矫正方法。
背景技术
[0002]健身APP是一类可以为普通人提供专业的健身计划、标准动作视频等健身资源。但是健身APP只能提供参考的标准动作，无法像健身教练一样对用户进行动作实施和细节的指导。所以在实际运动过程的很多情况下，用户都会存在因只能对照标准动作简单模仿导致的动作不标准，而产生了受伤的情况。
[0003]目前，常用人体行为检测方法包括有肌电检测，气囊传感器信息获取，视觉图像方法等。
[0004]基于肌电检测的方法利用人体运动产生的生物肌电信号来识别人体的动作，但是在使用的时候需要用户佩戴传感器，其多用于特定场景下的科学研究，并不符合平常健身的需求。
[0005]基于气囊的方法与肌电检测法类似，同样需要在用户运动过程中佩戴相关传感器才能获取其运动信息。因此不管是肌电检测法还是气囊这一类基于使用佩戴传感器的方法需要用户佩戴传感器，并不适用于用户在日常健身锻炼中的姿态矫正。
[0006]基于视觉图像的方法，此类方法需使用用户设备所拍摄的图像实现包括用户轮廓估计、用户骨架图估计等来估计用户的姿势和动作。主要应用是Openpose，其利用大量人类活动数据以及标签来训练一个图神经网络，进而对人体的姿势进行识别。但是其缺点是对于设备的性能较高，而在一般的设备之中这种算法那的实时性较差，一般用于单帧图片在实验中的姿态识别应用，无法完成对用户姿态的实施估计和对比。
[0007]因此，亟需一种更加方便、更精准的健身辅助系统来自行模仿比对的进行健身。
发明内容
[0008]有鉴于此，本发明的目的在于提供一种基于动作识别的运动姿态矫正方法，解决日常单独运动中缺乏专业指导，或者专业设备过于复杂、算法过大等问题，首先对锻炼者的动作视频进行了动作识别分类与骨架提取，得到了锻炼者自身动作视频与对应标准动作视频的骨架素材，然后设计了基于视频关键帧定位的姿态比对算法，以实现用户、标准动作间的高精度比对，为锻炼者提供碎片时间锻炼中难以获得的专业指导。最后根据人运动情况，制作了相应的运动姿态辨识数据集。
[0009]为达到上述目的，本发明提供如下技术方案：
[0010]一种基于动作识别的运动姿态矫正方法，具体包括以下步骤：
[0011]S1：动作识别阶段：
[0012]通过用户PC端或移动端的摄像头采集用户运动视频，基于深度学习算法构建有足够精度的动作识别算法，并利用该算法对锻炼者视频中的动作进行类别整理；
[0013]S2：骨架提取阶段：
[0014]首先，从标准健身数据库中提取对应锻炼者的标准动作，然后从标准动作视频同时进行骨架提取；同时，利用采集到的锻炼者视频，从中提取锻炼者运动的骨架模型；[0015]S3：姿态比对阶段：
[0016]首先将锻炼者的骨架进行模板标准化；然后，将标准化后锻炼者的骨架与标准动作视频进行相似度计算，提取出动作相似度最高的一帧模板动作；最后，锻炼者所有动作测试完成，选取出相似度低于阈值的几帧动作，并将模板动作展示出来。
[0017]进一步，步骤S1中，所述动作识别阶段中，具体采用C3D网络进行动作识别。[0018]进一步，步骤S1中，所述C3D网络包括：8次卷积操作，5次池化操作，最终经过2次全连接层和softmax输出得到结果。
[0019]进一步，步骤S2中，所述骨架提取具体包括：首先利用Faster R‑CNN网络和特征金字塔网络(Feature Pyramid Networks，FPN)进行检测，根据检测结果，提取在图像中占据面积最大的目标，将其默认为锻炼者；然后利用高分辨率网络(High resolution network，HRNet)对人体姿势进行估计。
[0020]进一步，步骤S2中，所述Faster R‑CNN网络(Full convolution depth network)包括：全卷积深度网络(RegionProposal Network,RPN)和Fast R‑CNN检测器；具体算法为：通过卷积神经网络得到特征映射，将特征映射输入到RPN网络中得到候选区域，并将候选区域和特征映射输入至全卷积层进行卷积分类，最后输出结果。
[0021]进一步，步骤S2中，所述FPN网络包括：1)自底向上的网络前向传播过程；2)自顶向下的过程是将顶层特征通过上采样和底层特征做融合，每个层级独立预测。
[0022]进一步，步骤S2中，Faster R‑CNN和FPN的融合，主要是在RPN部分进行自底向上和自顶向下的融合，得到更加合适的ROI区域。
[0023]进一步，步骤S2中，所述HR网络内部结构包括：以高分辨率子网开始作为第一阶段，逐个添加从高到低分辨率子网以形成更多阶段，并且并行连接多分辨率子网。在整个过程中反复交换并行多分辨率子网络中的信息进行重复的多尺度融合。
[0024]进一步，步骤S3中，模板标准化具体包括：舍弃姿势估计得到的眼睛、耳朵4个位
置，保留鼻子、肩膀、手肘等13关节点的位置，将关节点记为J，表示为J＝(j
0、j
1
、j
2
、...、
j
12
)，每一个关节点包含二维的x，y两个维度；模板动作信息记为待
计算动作信息记为
[0025]根据关节点算出模板动作t和待计算动作a的各骨架长度，然后将a骨架长度变换到t的对应骨架长度；a骨架长度变换后，选取t和a的基准点，以基准点重合的方式将a平移到目标位置；
[0026]具体按照人体结构的关系，手上的关节位置手腕、手肘、肩膀，脚上的关键位置脚腕、膝盖、臀部，并以鼻子为定点，考虑鼻子和肩膀的位置，肩膀与臀部的位置；记起点为s，终点为e；
[0027]计算两两关节位置的距离为：
[0028]
[0029]然后计算关节点与点之间需要变换的长度：
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议