(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 202111265277.3
(22)申请日 2021.10.28
(71)申请人 杭州电子科技大学
地址 310018 浙江省杭州市下沙高教园区2
号大街
(72)发明人 颜成钢 黄培武 许成浩 孙垚棋
张继勇 李宗鹏
(74)专利代理机构 杭州君度专利代理事务所
(特殊普通合伙) 33240
代理人 朱月芬
(51)Int.Cl.
A63B 71/06(2006.01)
A63B 5/20(2006.01)
H04M 1/72403(2021.01)
G06V 40/20(2022.01)
(54)发明名称
及方法
(57)摘要
本发明公开了一种基于关键点识别的跳绳
绳运动的视频图像；通过图像识别模块识别图像
帧；设定判定阈值并初始化；通过动作检测模块
进行状态判定；通过数据处理模块，处理数据，生
成可视化数据；通过数据显示模块，在手机app中
显示当前跳绳信息；本发明可实时检测，也可输
入保存的视频进行检测。可用于单人检测，也可
用于多人检测。测试误差小，且检测过程中无需
专用的可穿戴设备或者专用的可计数跳绳，仅需
普通的智能手机即可完成检测，成本低。对跳绳
运动的推广和发展起到了一定的贡献。权利要求书2页 说明书5页 附图3页CN 114100103 A 2022.03.01
C N 114100103
A
1.一种基于关键点识别的跳绳计数检测系统，其特征在于，包括图像采集模块、图像识别模块、动作检测模块、数据处理模块和数据显示模块；
图像采集模块：采用外置摄像头或者智能手机摄像头，用于采集跳绳运动的视频图像；以20HZ的速率，即每50毫秒提取一帧图像，作为图像识别模块的输入；
图像识别模块：使用Alphapose框架，将图像采集模块中获得的图像作为输入，提取图像中跳绳者的人体框和人体骨骼的关键点；
动作检测模块：用于检测图像识别模块中提取的跳绳者人体骨骼关键点中，胯部关键点和脚踝关键点之间的相对距离和离地高度，判断跳绳者处于站立状态、屈膝状态、跃起状态或是落地状态；判断是否完成一次跳绳动作；结束一帧图像的检测后，如图2所示，回到图像采集模块，循环上述流程；若完成一次跳绳动作，或者发生断绳，则转入数据处理模块；
数据处理模块：用于记录当前跳绳次数、断绳次数和断绳时刻，并计算实时跳绳速率；当结束跳绳时，计算平均跳绳速率；
数据显示模块：通过手机app在智能手机屏幕上显示当前跳绳次数和图表；其中图表包括实时跳绳速率信息，平均速率信息和跳绳中断信息。
2.一种基于关键点识别的跳绳计数检测方法，其特征在于，步骤如下：
步骤1，通过图像采集模块采集跳绳运动的视频图像；
步骤2，通过图像识别模块识别图像帧；
通过图像识别模块的Alphapose框架识别跳绳者骨骼关键点，读取胯部关键点到脚踝关键点的距离L、识别脚踝关键点距离地面的距离H；
步骤3，设定判定阈值并初始化；
步骤4，通过动作检测模块进行状态判定；
步骤5，通过数据处理模块，处理数据，生成可视化数据；
步骤6，通过数据显示模块，在手机app中显示当前跳绳信息；
步骤7，记录状态为“站立”，并回到步骤2进行下一帧图像的检测。
3.根据权利要求2所述的一种基于关键点识别的跳绳计数检测方法，其特征在于，步骤1具体方法如下：
通过图像采集模块采集跳绳运动的视频图像，拍摄跳绳者正面，要求跳绳者整个人体完全入镜，并保证跳绳时，也不会跳出相机视野；每50毫秒截取视频中的一帧，作为图像帧，输入Aplhapose框架。
4.根据权利要求3所述的一种基于关键点识别的跳绳计数检测方法，其特征在于，步骤3具体方法如下：
判断阈值包括lmax、lmin、h、t；
所述阈值lmax为跳绳者被判定为跃起状态时，胯部关键点到脚踝关键点的距离L的最大值，即正常站立时的距离；所述阈值lmin为跳绳者被判定为跃起状态时，胯部关键点到脚踝关键点的距离L的最小值；
所述阈值h为跳绳者被判定为跃起状态时，脚踝关键点距离地面H的最小值；
所述阈值t为跳绳者完成一次跳绳后再次跃起时间T的最大值，大于阈值t，则视为断绳；
当未初始化时，则进行初始化操作；跳绳者正常站立，检测到胯部关键点到脚踝关键点
距离，设为lmax，lmin设置为lmax的90％；阈值h设定为站立时脚踝关键点到地面距离的1.5倍；t根据跳绳者自身或者训练要求进行调节，此处设置为0.5秒；
将状态设置为“站立”；
初始化仅进行一次。
5.根据权利要求4所述的一种基于关键点识别的跳绳计数检测方法，其特征在于，步骤4具体方法如下；
当判定状态为“站立”情况下，当检测到L<lmin，且H<h时，记录状态为“屈膝”；
当判定状态为“屈膝”情况下，当检测到lmin<L<lmax，且H>h，且T<t时，记录状态为“跃起”；
若不满足lmin<L<lmax，且H>h，则返回到识别图像帧；
若不满足T<t，则认定为断绳，记录断绳次数和时间，回到信息处理和显示模块，将断绳情况显示在手机上；
当判定状态为“跃起”情况下，当检测到lmin<L<lmax，且H<h时，记录状态为“落地”；开始计时，用于判定是否断绳。
6.根据权利要求5所述的一种基于关键点识别的跳绳计数检测方法，其特征在于，步骤5具体方法如下；
当判定状态为“落地”情况下，跳绳个数增加1，通过数据处理模块记录跳绳次数和当前时间，并实时计算
跳绳速率、中断次数并记录中断时间。
7.根据权利要求6所述的一种基于关键点识别的跳绳计数检测方法，其特征在于，步骤6具体方法如下：
由数据处理模块中获得当前跳绳次数、实时跳绳速率，中断次数及中断时间，生成实时曲线图，通过app显示于手机上，使得跳绳者可以实时获得可视化信息，调整自身运动状态。
一种基于关键点识别的跳绳计数检测系统及方法
技术领域
[0001]本方法涉及智能运动检测技术领域，尤其涉及基于人体及骨骼关键点识别的跳绳计数检测系统及方法。
背景技术
[0002]跳绳作为一种体育锻炼方式，不但可以有效提锻炼人们的协调能力，而且可以促进青少年身体发育、强身健体。对于成年人来说，跳绳近年来也成为除跑步外，最为经济方便的健身方式之一。而跳绳无论是在日常锻炼还是体育考试、比赛中，都需要进行计数，以此来合理规划运动量和获得成绩。
[0003]目前，跳绳计数的方法主要分为人工计数、电子计数器和穿戴式运动设备，比如运动手环等。人工计数精度差，且费时费力。因此，市面上有很多能够自动计数的跳绳。但是这种跳绳的成本高、不方便。机械式的自动计数跳绳往往手感较差，不支持快速跳绳，不适用于专业运动员。电子式的自动计数跳绳也有需要定期充电等缺点。另外，虽然可穿戴设备逐渐普及，尤其是运动手环和运动手表出现在很多运动人士的手腕上，但是通常没有跳绳计数功能，或者有此功能，但是计数不够准确，误差较大。
[0004]近年来，随着中国经济和技术的进一步发展，尤其人工智能和计算机视觉计数的不断成熟，智慧体育这种人工智能+传统体育运动深度融合的模式开始出现。人体骨骼关键点检测也已经大量运用于智慧工地违规动作、老年人摔倒检测等场景中。但是目前将人体骨骼关键点检测用于跳绳计数的应用较少。
[0005]当前，常用的人体骨骼关键点检测算法有OpenPose、Detectron和AlphaPose等。其中，Alphapose相比OpenPose和Detectron相比，如图1所示，具有更高的准确度和帧率，实现了实时检测。因此本方法采用Alphapose框架，作为人体关键点检测的人工智能算法。
发明内容
[0006]本发明所要解决的计数问题是，跳绳计数人工判断需要耗费人力且精度较低、自动计数跳绳和可穿戴式设备成本高、精度低、且应用场景不够普及的问题。通过本发明，可以使得运动者不再需要另购
设备，仅使用普通的智能手机即可完成跳绳实时计数检测。[0007]本发明所采用的技术方案为：一种基于关键点识别的跳绳计数检测系统及方法。使用智能手机，在正面对跳绳者进行拍摄，检测视频中人体骨骼关键点的变化，通过胯部(图4中点8和点11)和脚踝关键点(图4中点10和点13)之间的相对距离变化和离地高度，判断是否完成一次跳跃。
[0008]一种基于关键点识别的跳绳计数检测系统，包括图像采集模块、图像识别模块、动作检测模块、数据处理模块和数据显示模块。
[0009]图像采集模块：采用外置摄像头或者智能手机摄像头，用于采集跳绳运动的视频图像。以20HZ的速率，即每50毫秒提取一帧图像，作为图像识别模块的输入；
[0010]图像识别模块：使用Alphapose框架，将图像采集模块中获得的图像作为输入，提
取图像中跳绳者的人体框和人体骨骼的关键点；
[0011]动作检测模块：用于检测图像识别模块中提取的跳绳者人体骨骼关键点中，胯部关键点和脚踝关键点之间的相对距离和离地高度，判断跳绳者处于站立状态、屈膝状态、跃起状态或是落地状态。判断是否完成一次跳绳动作。结束一帧图像的检测后，如图2所示，回到图像采集模块，循环上述流程。若完成一次跳绳动作，或者发生断绳，则转入数据处理模块；
[0012]数据处理模块：用于记录当前跳绳次数、断绳次数和断绳时刻，并计算实时跳绳速率。当结束跳绳时，计算平均跳绳速率；
[0013]数据显示模块：通过手机app在智能手机屏幕上显示当前跳绳次数和图表。其中图表包括实时跳绳速率信息，平均速率信息和跳绳中断信息；
[0014]一种基于关键点识别的跳绳计数检测方法，步骤如下：
[0015]步骤1，通过图像采集模块采集跳绳运动的视频图像；
[0016]步骤2，通过图像识别模块识别图像帧；
[0017]通过图像识别模块的Alphapose框架识别跳绳者骨骼关键点，读取胯部关键点到脚踝关键点的距离L、识别脚踝关键点距离地面的距离H；
[0018]步骤3，设定判定阈值并初始化；
[0019]步骤4，通过动作检测模块进行状态判定；
[0020]步骤5，通过数据处理模块，处理数据，生成可视化数据；
[0021]步骤6，通过数据显示模块，在手机app中显示当前跳绳信息；
[0022]步骤7，记录状态为“站立”，并回到步骤2进行下一帧图像的检测；
[0023]步骤1具体方法如下：
[0024]通过图像采集模块采集跳绳运动的视频图像，拍摄跳绳者正面，要求跳绳者整个人体完全入镜，并保证跳绳时，也不会跳出相机视野。每50毫秒截取视频中的一帧，作为图像帧，输入Aplhapose框架；
[0025]步骤3具体方法如下：
[0026]判断阈值包括lmax、lmin、h、t；
[0027]所述阈值lmax为跳绳者被判定为跃起状态时，胯部关键点到脚踝关键点的距离L 的最大值，即正常站立时的距离；所述阈值lmin为跳绳者被判定为跃起状态时，胯部关键点到脚踝关键点的距离L的最小值；
[0028]所述阈值h为跳绳者被判定为跃起状态时，脚踝关键点距离地面H的最小值；[0029]所述阈值t为跳绳者完成一次跳绳后再次跃起时间T的最大值，大于阈值t，则视为断绳；
[0030]当未初始化时，则进行初始化操作。跳绳者正常站立，检测到胯部关键点到脚踝关键点距离，设为lmax，lmin设置为lmax的90％。阈值h设定为站立时脚踝关键点到地面距离的1.5倍。t根据跳绳者自身或者训练要求进行调节，此处设置为0.5秒。
[0031]将状态设置为“站立”。
[0032]初始化仅进行一次。
[0033]步骤4具体方法如下；
[0034]当判定状态为“站立”情况下，当检测到L<lmin，且H<h时，记录状态为“屈膝”。
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议