一种基于视觉姿态检测及计算机深度学习的儿童运动康复训练方法与流程

1.本发明涉及运动康复方法领域，具体涉及一种基于视觉姿态检测及计算机深度学习的儿童运动康复训练方法。

背景技术：

2.传统儿童运动康复训练通常是由专业的康复师执行。通过不同的康复训练方案，患儿需要完成特定运动来促进运动康复。然而这样的方式存在下列四个问题：（1）对康复师依赖程度高；（2）难以对康复训练效果标准量化；（3）趣味性低，儿童依从性差，导致康复效果差；（4）需专门康复机构进行，受场地限制，并造成时间浪费。
3.随着科技进步，图像处理、模式识别、人工智能等多个学科融合得到广泛关注，其在儿童运动康复领域具有极大的应用潜力。然而，目前缺乏一种能够通过识别人体姿态，提供个性化康复训练方案的运动康复训练系统。

技术实现要素：

4.本发明旨在设计一种基于视觉姿态检测及计算机深度学习的儿童运动康复训练方法，提高康复效率和效果。
5.一种基于视觉姿态检测及计算机深度学习的儿童运动康复训练方法，包括如下步骤：步骤1，启动摄像头，选择患者客户端，输入患者基本信息，选择训练场景和显示内容；步骤2，通过检索确定特定康复程序任务并进入；步骤3，将需要训练康复的身体部位完整呈现于屏幕中图像采集框内，进而得到识别，采用深度学习的人体姿态检测算法，对画面进行预处理后输入基于深度学习构建的姿态检测模型；步骤4，采用基于角度、距离计算和机器学习的姿态判别和基于状态序列的姿态分析，按照屏幕左侧文字步骤提示及模拟人动画提示完成动作；步骤5，患者在康复训练处方中选择日期和对应训练日程开始训练；步骤6，每次康复训练结束后，训练视频和结果自动保存，患者选择是否上传至医生端进行后续确认。
6.进一步地，步骤1中，显示内容通过opengl图形渲染技术实现。
7.进一步地，步骤2中，以需要康复训练的部位检索或以疾病名称检索，得到对应于部位或疾病的康复程序任务。
8.进一步地，步骤3中，识别并输出归一化坐标后，同时实时显示角度、距离、活动范围的参数，并实时计算人体关节点位置，将位置变动映射到对应的模型关键点上，实现模型的随动效果。
9.进一步地，姿态检测模型输入rgb图像并输出33个人体关键点坐标，通过结合热图、偏置以回归的方法，仅在训练阶段使用热图以及偏置，金字塔式的特征提取结构可以显著提高预测质量，并使用编解码网络预测所有关节点的热图，使用另一编码器回归所有关节的坐标。并在推理阶段丢弃热图，仅保留回归部分，大幅提高推理速度可实时运行且没有精度损失；动作分类模型输入归一化的关键点坐标并输出在每一个类别上的置信度，通过使用卷积神经网络构建逻辑回归模型，解决输入坐标点数据离散、无法线性表示的问题，轻量化的分类模型可以超实时运行，在屏幕上显示特定标记点并随体位改变而及时变动。
10.进一步地，步骤4中，根据选择康复程序不同需要不同的姿态判别策略，包括：通过特定角度识别：对于关节处的康复，通过计算出关节点构成的角度来判别姿态的有效性；通过特定距离识别：通过部位选取的特征点之间的距离判断姿态；通过机器学习算法来检测：采集期望的姿态样本，对样本应用机器学习算法并输出分类模型，使用时对模型输入采集的图像以得到分类判定结果。
11.进一步地，步骤4中，基于状态序列的检测方法包括如下步骤：步骤4-1，首先把具体动作划分为几个位置相关的状态；步骤4-2，为每个状态选择合适的阈值或判别模型；步骤4-3，使用(2)的判别方法对输出的拓扑点进行状态判别和划分，将划分结果存入一个序列列表，该列表记录了最近的状态序列；步骤4-4，按照需求对序列列表进行序列分析，根据状态变迁判定运动结果。
12.进一步地，步骤6中，患者的训练视频和训练记录由患者选择是否与医生共享，支持一对一的在线交流沟通。
13.本发明达到的有益效果为：（1）本方法能够通过深度学习的人体姿态检测算法，实现基于角度、距离计算和机器学习的姿态判别和基于状态序列的姿态分析，完成个性化康复训练方案的制定；（2）降低对康复师的依赖程度，并且能够对康复训练效果标准量化，提高康复质量；（3）融入儿童感兴趣的游戏和动画元素，提高儿童的参与度，以高效实现儿童运动康复的目标。
附图说明
14.图1为本发明实施例中所述的儿童运动康复训练方法的流程图。
15.图2为本发明实施例中所述的深度学习的人体姿态检测示意图。
16.图3为本发明实施例中所述的基于深度学习构建的姿态检测示意图。
17.图4为本发明实施例中所述的肘关节康复流程示意图。
18.图5为本发明实施例中所述的mask-rcnn示意图。
19.图6为本发明实施例中所述的特征金字塔fpn示意图。
20.图7为本发明实施例中所述的mask模型训练中建议框示意图。
21.图8为本发明实施例中所述的mask模型训练中真实框示意图。
22.图9为本发明实施例中所述的关键关节点识别示意图。
具体实施方式
23.下面结合说明书附图对本发明的技术方案做进一步的详细说明。
24.一种基于视觉姿态检测及计算机深度学习的儿童运动康复训练方法，包括如下步骤：步骤1，开始流程，启动电脑或者手机摄像头，选择患者客户端，输入患者基本信息，选择训练场景、头像服装、装备等（如奥特曼，功夫熊猫、花仙子等），显示时使用了opengl图形渲染技术。
25.步骤2，以需要康复训练的部位检索或以疾病名称检索，进入特定康复程序任务。
26.步骤3，将需要训练康复的身体部位置入屏幕中图像采集框内，通过移动电脑或手机摄像头方向和位置距离或康复患者调整自身位置及离摄像头的距离，使康复部位完整呈现于图像采集框中，并被软件自动识别出特定关节或体表标记，采用深度学习的人体姿态检测算法，通过摄像头实时采集画面，对画面进行预处理后输入基于深度学习构建的姿态检测模型，检测模型预置了人体拓朴关键点，在对输入的图像进行处理后会输出拓扑关节点的归一化坐标，在屏幕上准确出现特定标记点并随体位改变而及时变动。软件能实时显示角度、距离、活动范围等参数，并实时计算人体关节点位置，将位置变动映射到对应的模型关键点上，实现模型的随动效果。
27.深度学习的人体姿态检测算法采用mask r-cnn分割算法，参考图5-8。图5中，mask-rcnn使用resnet101作为主干特征提取网络，对应着图像中的cnn部分。在进行特征提取后，利用长宽压缩了两次、三次、四次、五次的特征层来进行特征金字塔结构的构造。图6中，特征金字塔fpn的构建是为了实现特征多尺度的融合，在mask r-cnn当中，取出在主干特征提取网络中长宽压缩了两次c2、三次c3、四次c4、五次c5的结果来进行特征金字塔结构的构造。
28.提取到的p2、p3、p4、p5、p6可以作为rpn网络的有效特征层，利用rpn建议框网络对有效特征层进行下一步的操作，对先验框进行解码获得建议框。
29.在进行建议框获取的时候，使用的有效特征层是p2、p3、p4、p5、p6，它们使用同一个rpn建议框网络获取先验框调整参数，还有先验框内部是否包含物体。
30.接着首先进行一次3
×
3的通道数为512的卷积。然后再分别进行一次先验数量
×ꢀ
4的卷积（预测有效特征层上每一个网格点上的每一个建议框的变化情况）和一次先验数量
×
2的卷积（预测有效特征层上每一个网格点上的每一个建议框内部是否包含了物体）。相当于就是将整个图像分成若干个网格；然后从每个网格中心建立3个先验框。当输入图像尺寸不同时，建议框的数量也会发生改变。mask r-cnn到这里的操作是，通过主干特征提取网络，可以获得多个公用特征层，然后建议框会对这些公用特征层进行截取。
31.接着便是将图像中的各个特征点提取出来，并进一步优化，直到确定一个精准的范围。
32.参考图7-8，mask模型的训练：1.建议框网络的训练：需要计算loss函数，这个loss函数是相对于mask r-cnn建议框网络的预测结果的。需要把图片输入到当前的mask r-cnn建议框的网络中，得到建议框的结果；同时还需要进行编码，这个编码是把真实框的位置信息格式转化为mask r-cnn建议框预测结果的格式信息。需要到每一张用于训练的图片的每一个真实框对应的先验
框，并求出如果想要得到这样一个真实框，建议框预测结果应该是怎么样的，给予反馈信息。
33.2.classiffier模型训练：计算所有建议框和真实框的重合程度，并进行筛选，如果某个真实框和建议框的重合程度大于0.5则认为该建议框为正样本，如果重合程度小于0.5则认为该建议框为负样本。
34.3.mask模型训练：利用建议框网络在mask模型需要用到的公用特征层进行截取的时候，截取的情况和真实框截下来的不一样，因此需要算出来我们用于截取的框相对于真实框的位置，获得正确的语义分割信息。
35.步骤4，采用基于角度、距离计算和机器学习的姿态判别和基于状态序列的姿态分析，按照屏幕左侧文字步骤提示及模拟人动画提示完成动作。
36.其中，根据选择康复程序不同需要不同的姿态判别策略，一般分为以下几种：(1)通过特定角度识别：例如肘关节屈伸训练，关注肩部、肘部和腕关节处的关节点，通过计算出关节点构成的角度来判别姿态的有效性。
37.(2)通过特定距离识别：比如检测手触脸的动作，就可以根据手部和脸部特征点的距离来判定。
38.具体的，参考图9，假设这个人以矢状面对屏幕做，当膝关节屈曲的时候，通过识别几个关键关节点（图中三个点），识别三个点相对于屏幕的距离。接着通过髋关节点和踝关节点分别与膝关节点的连线，之间形成的夹角为膝关节屈曲的角度，其余角度测量也是类似。康复训练的目的就是动作要达到这个幅度才算合格。
39.(3)通过机器学习算法来检测：采集期望的姿态样本，对样本应用机器学习算法并输出分类模型，使用时对模型输入采集的图像即可得到分类判定结果。
40.为了动态分析和判别姿态、提高判别的准确度，同时采用了基于状态序列的检测方法，包括如下步骤：(1)首先把具体动作划分为几个位置相关的状态；(2)为每个状态选择合适的阈值或判别模型；(3)使用(2)的判别方法对输出的拓扑点进行状态判别和划分，将划分结果存入一个序列列表，该列表记录了最近的状态序列；(4)按照需求对序列列表进行序列分析，根据状态变迁判定运动结果。
41.举例：以肘关节屈伸训练为例。首先，计算机监测并记录患者初始肘关节活动范围，如30
°‑
90
°‑
95
°
。接着根据正常人肘关节活动范围或依据医师医嘱输入最终训练目标，如0
°‑
90
°‑
135
°
，最终根据医嘱设置康复训练总周期，每日频次等相关参数，通过计算机软件一键制定个性化康复训练处方，或直接由软件根据预设最佳康复计划自动生成训练处方，后期可根据实际情况进行调整。
42.步骤5，患者在康复训练处方中选择日期和对应训练日程开始训练。如本次训练目标将肘关节活动度训练至25
°‑
90
°‑
100
°
，则患者需根据屏幕左侧模拟人动画指导完成动作，并达到25
°‑
90
°‑
100
°
活动范围达10次以上则为过关。如患者需进行该关节多维度，或者多处不同关节的运动康复训练，则自动跳入下一课程。
43.步骤6，每次康复训练结束后，训练视频和结果自动保存，患者可将康复训练结果和视频直接发送到主管医生，医生则在医生客户端可点击查看，并可与患者之间实时软件
交流沟通。
44.上述流程中，实现了2d/3d图形渲染和模型绑定：步骤1选择虚拟的训练场景和装备，显示时使用了opengl图形渲染技术；将模型的关键点和人体的关节点进行绑定，在步骤3和步骤4实时计算人体关节点位置，将位置变动映射到对应的模型关键点上，实现模型的随动效果。
45.步骤6中，患者的训练视频和训练记录可以与医生共享，同时支持一对一的在线交流沟通。
46.以上所述仅为本发明的较佳实施方式，本发明的保护范围并不以上述实施方式为限，但凡本领域普通技术人员根据本发明所揭示内容所作的等效修饰或变化，皆应纳入权利要求书中记载的保护范围内。

技术特征：

1.一种基于视觉姿态检测及计算机深度学习的儿童运动康复训练方法，其特征在于：包括如下步骤：步骤1，启动摄像头，选择患者客户端，输入患者基本信息，选择训练场景和显示内容；步骤2，通过检索确定特定康复程序任务并进入；步骤3，将需要训练康复的身体部位完整呈现于屏幕中图像采集框内，进而得到识别，采用深度学习的人体姿态检测算法，对画面进行预处理后输入基于深度学习构建的姿态检测模型；步骤4，采用基于角度、距离计算和机器学习的姿态判别和基于状态序列的姿态分析，按照屏幕左侧文字步骤提示及模拟人动画提示完成动作；步骤5，患者在康复训练处方中选择日期和对应训练日程开始训练；步骤6，每次康复训练结束后，训练视频和结果自动保存，患者选择是否上传至医生端进行后续确认。2.根据权利要求1所述的一种基于视觉姿态检测及计算机深度学习的儿童运动康复训练方法，其特征在于：步骤1中，显示内容通过opengl图形渲染技术实现。3.根据权利要求1所述的一种基于视觉姿态检测及计算机深度学习的儿童运动康复训练方法，其特征在于：步骤2中，以需要康复训练的部位检索或以疾病名称检索，得到对应于部位或疾病的康复程序任务。4.根据权利要求1所述的一种基于视觉姿态检测及计算机深度学习的儿童运动康复训练方法，其特征在于：步骤3中，识别并输出归一化坐标后，同时实时显示角度、距离、活动范围的参数，并实时计算人体关节点位置，将位置变动映射到对应的模型关键点上，实现模型的随动效果。5.根据权利要求1所述的一种基于视觉姿态检测及计算机深度学习的儿童运动康复训练方法，其特征在于：步骤3中，姿态检测模型输入rgb图像并输出33个人体关键点坐标，通过结合热图、偏置以回归的方法，仅在训练阶段使用热图以及偏置，金字塔式的特征提取结构可以显著提高预测质量，并使用编解码网络预测所有关节点的热图，使用另一编码器回归所有关节的坐标；并在推理阶段丢弃热图，仅保留回归部分，提高推理速度可实时运行且没有精度损失；动作分类模型输入归一化的关键点坐标并输出在每一个类别上的置信度，通过使用卷积神经网络构建逻辑回归模型，解决输入坐标点数据离散、无法线性表示的问题，轻量化的分类模型超实时运行，在屏幕上显示特定标记点并随体位改变而及时变动。6.根据权利要求1所述的一种基于视觉姿态检测及计算机深度学习的儿童运动康复训练方法，其特征在于：步骤4中，根据选择康复程序不同需要不同的姿态判别策略，包括：通过特定角度识别：对于关节处的康复，通过计算出关节点构成的角度来判别姿态的有效性；通过特定距离识别：通过部位选取的特征点之间的距离判断姿态；通过机器学习算法来检测：采集期望的姿态样本，对样本应用机器学习算法并输出分类模型，使用时对模型输入采集的图像以得到分类判定结果。7.根据权利要求1所述的一种基于视觉姿态检测及计算机深度学习的儿童运动康复训练方法，其特征在于：步骤4中，基于状态序列的检测方法包括如下步骤：步骤4-1，首先把具体动作划分为几个位置相关的状态；
步骤4-2，为每个状态选择合适的阈值或判别模型；步骤4-3，使用角度和距离的判别方法对输出的拓扑点进行状态判别和划分，将划分结果存入一个序列列表，该列表记录了最近的状态序列；步骤4-4，按照需求对序列列表进行序列分析，根据状态变迁判定运动结果。8.根据权利要求1所述的一种基于视觉姿态检测及计算机深度学习的儿童运动康复训练方法，其特征在于：步骤6中，患者的训练视频和训练记录由患者选择是否与医生共享，支持一对一的在线交流沟通。

技术总结

一种基于视觉姿态检测及计算机深度学习的儿童运动康复训练方法，能够通过深度学习的人体姿态检测算法，实现基于角度、距离计算和机器学习的姿态判别和基于状态序列的姿态分析，完成个性化康复训练方案的制定；降低对康复师的依赖程度，并且能够对康复训练效果标准量化，提高康复质量；融入儿童感兴趣的游戏和动画元素，提高儿童的参与度，以高效实现儿童运动康复的目标。儿童运动康复的目标。儿童运动康复的目标。