一种基于VR和动作捕捉的技能培训系统的制作方法

一种基于vr和动作捕捉的技能培训系统
技术领域
1.本发明涉及vr技术技能培训领域，尤其是指一种基于vr和动作捕捉的技能培训系统。

背景技术：

2.随着计算机技术和模拟仿真技术的不断发展，在特定范围内生成融逼真视觉、听觉和触觉等感觉于一体的虚拟环境的技术即虚拟现实技术(简称vr)，对技能培训训练产生了重大而深刻的影响。因此，深入研究基于vr的训练系统，有助于增强专业技能人员对作业环境的适应性，调动训练积极性，使受训者主动参与到训练系统之中，对于提高指挥训练效果具有重要实践意义。
3.目前，现有的技能培训系统的训练环境单一，且培训系统大都使用机械装置和传感器实现人体动作捕捉，受线缆限制且容易受到电磁干扰，培训效果不理想。例如，一种在中国专利文献上公开的“基于vr技术的变电站巡视预演、教培系统”，其公告号cn210039182u，该发明的数据传输装置包括多个wifi模块和usb数据传输线；vr摄像机通过wifi模块将vr视频发送给服务器，服务器将vr视频在vr目镜上显示，全身动作捕捉装置和行走装置采集动作信息和行走信息并将数据传送给服务器，服务器给与全身动作捕捉装置反馈并将信息在vr目镜上展示。虽然能够使得受训人员在不用去变电站现场无任何危险的情况下，利用全身动作捕捉和跑步机设备来辅助进行巡视预演、教培工作，带来更好的体验及效果，但并没有解决培训系统的虚拟训练环境单一，且培训系统大都使用机械装置和传感器实现人体动作捕捉，受线缆限制且容易受到电磁干扰，培训效果不理想的问题。

技术实现要素：

4.本发明是为了克服现有技术的培训系统大都使用机械装置和传感器实现人体动作捕捉，受线缆限制且容易受到电磁干扰，培训效果不理想的问题，提供一种基于vr和动作捕捉的技能培训系统。
5.为了实现上述目的，本发明采用以下技术方案：一种基于vr和动作捕捉的技能培训系统，包括vr摄像机，用于采集实际工作现场的环境和设备信息；数据服务装置，用于存储和处理系统各个装置和模块运行产生的数据；通信装置，实现系统各个装置和模块之间的数据传输；vr视觉设备，用于对进行技能培训者播放vr视频；光学式动作捕捉设备，用于捕捉进行技能培训者的运动轨迹数据。本发明采用光学式动作捕捉设备对技能培训者的运动轨迹进行捕捉，相比于使用机械装置和传感器实现人体动作捕捉，光学式动作捕捉的动作捕捉空间大，且无机械装置以及电缆的限制，一般不会受到电磁设备的干扰；本发明的一种基于vr和动作捕捉的技能培训系统，可以使受训人员能够在不用去实际工作现场的环境下进行专业的技能演练和培训操作，可以避免在实际工作现场的环境下进行专业的技能操作产生的危险状况，利用vr和全身动作捕捉进行技能演练和培训，带来更好的体验及培训效果。
6.作为本发明的优选方案，所述vr摄像机架设在实际工作现场，采集实际工作现场的环境和设备信息，环境和设备信息用于构建虚拟培训环境。vr摄像机通过通信装置将实际工作现场的环境和设备信息发送给数据服务装置，数据服务装置将生成vr视频在vr视觉设备上显示，光学式动作捕捉设备采集动作信息并将数据传送给数据服务装置，数据服务装置将信息在vr视觉设备上展示。
7.作为本发明的优选方案，所述数据服务装置包括中央处理器、数据获取模块、数据处理模块和数据记录模块，数据获取模块收集光学式动作捕捉设备捕捉到的运动轨迹数据和实际工作现场的环境和设备信息，数据处理模块包括校正计算模块，利用收集到的运动轨迹数据进行对比计算分析，数据记录模块将技能培训者的运动轨迹数据进行存储，后期进行动作回放。
8.作为本发明的优选方案，所述光学式动作捕捉设备包括动作捕捉相机和训练服，动作捕捉相机通过定标形成动作捕捉空间，技能培训者穿戴训练服和vr视觉设备，在动作捕捉空间进行技能培训，训练服对应的身体关键关节点处设有荧光标志，动作捕捉相机对荧光标志进行识别和处理，绘制出技能培训者的运动轨迹。光学式动作捕捉系统基于计算机视觉原理，使用多个摄像机通过定标形成一个动作捕捉空间，用户即技能培训者穿上特定颜服装并在身体关键关节点处粘贴或佩戴荧光标志，通过识别和处理这些标志，计算得到其在每一时刻的空间位置，从而可以绘制出其运动轨迹，光学式动作捕捉的优点是动作捕捉空间大，无机械装置以及电缆的限制且一般不会受到电磁设备的干扰。
9.作为本发明的优选方案，所述系统还包括语音交互模块，语音交互模块包括声音采集器和语音播放器，语音交互模块设于vr视觉设备上，技能培训者在进行技能培训期间获取指导信息和纠正/矫正信息。vr视觉设备上设置语音交互模块，系统的控制中心或外部显示设备上也设置语音交互模块，两个语音交互模块可以进行语音交互，实现技能培训者在进行技能培训期间可以获得其他人员如专业指导老师或专业技术人员的指导。
10.作为本发明的优选方案，所述系统还包括外部显示设备，所述语音交互模块还设于外部显示设备上，所述外部显示设备同步显示技能培训者通过vr视觉设备观看到的三维图像，其他培训人员可以观看技能培训者的培训过程。
11.作为本发明的优选方案，所述通信装置包括本地通信模块、远程通信模块和dll通信模块，所述远程通信模块用于vr摄像机和数据服务装置之间进行通信，本地通信模块用于实现vr视觉设备和外部显示设备上的语音交互模块进行通讯，所述dll通信模块用于实现数据服务装置、vr视觉设备和光学式动作捕捉设备之间的通信。对传输距离和传输模式不同的装置和模块间的数据传输选用不同的通信模块，使得通信效果达到最好。
12.作为本发明的优选方案，所述数据服务装置还包括若干个vr视频素材库，每个vr视频素材库内存储对应的实际工作现场的环境和设备信息。本发明数据服务装置还包括若干个vr视频素材库，每个vr视频素材库内存储对应的实际工作现场的环境和设备信息，可以实现若干个实际工作现场的vr视频自动选择，使得培训系统的虚拟训练环境多样，适用的培训环境和技能训练更多，实用性高。
13.因此，本发明具有以下有益效果：本发明采用光学式动作捕捉设备对技能培训者的运动轨迹进行捕捉，相比于使用机械装置和传感器实现人体动作捕捉，光学式动作捕捉的动作捕捉空间大，且无机械装置以及电缆的限制，一般不会受到电磁设备的干扰；本发明
的一种基于vr和动作捕捉的技能培训系统，可以使受训人员能够在不用去实际工作现场的环境下进行专业的技能演练和培训操作，可以避免在实际工作现场的环境下进行专业的技能操作产生的危险状况，利用vr和全身动作捕捉进行技能演练和培训，带来更好的体验及培训效果；本发明可以实现若干个实际工作现场的vr视频自动选择，使得培训系统的虚拟训练环境多样，适用的培训环境和技能训练更多，实用性高。
附图说明
14.图1是本发明的系统整体结构示意图；图2是本发明的vr视觉设备结构示意图；图3是本发明的数据服务装置结构示意图；图4是本发明的光学式动作捕捉设备结构示意图；图5是本发明的通信装置结构示意图；图6是本发明的外部显示设备结构示意图；图7是本发明的语音交互模块结构示意图。
具体实施方式
15.下面结合附图与具体实施方式对本发明做进一步的描述。
16.如图1所示，一种基于vr和动作捕捉的技能培训系统，包括vr摄像机、数据服务装置、通信装置、vr视觉设备、外部显示设备、语音交互模块和光学式动作捕捉设备，vr摄像机、数据服务装置、vr视觉设备和光学式动作捕捉设备均与通信装置相连，vr摄像机、通信装置、vr视觉设备和光学式动作捕捉设备均与数据服务装置相连，外部显示设备分别与光学式动作捕捉设备和语音交互模块相连，所述语音交互模块与vr视觉设备相连。图1中，箭头表示数据传输方向；vr摄像机，用于采集实际工作现场的环境和设备信息；数据服务装置，用于存储和处理系统各个装置和模块运行产生的数据；通信装置，实现系统各个装置和模块之间的数据传输；vr视觉设备，用于对进行技能培训者播放vr视频；光学式动作捕捉设备，用于捕捉进行技能培训者的运动轨迹数据。
17.vr摄像机架设在实际工作现场，采集实际工作现场的环境和设备信息，环境和设备信息用于构建虚拟培训环境。数据服务装置包括数据获取模块、数据处理模块和数据记录模块，数据获取模块收集光学式动作捕捉设备捕捉到的运动轨迹数据和实际工作现场的环境和设备信息，数据处理模块包括校正计算模块，利用收集到的运动轨迹数据进行对比计算分析，数据记录模块将技能培训者的运动轨迹数据进行存储，后期进行动作回放。光学式动作捕捉设备包括动作捕捉相机和训练服，动作捕捉相机通过定标形成动作捕捉空间，技能培训者穿戴训练服和vr视觉设备，在动作捕捉空间进行技能培训，训练服对应的身体关键关节点处设有荧光标志，动作捕捉相机对荧光标志进行识别和处理，绘制出技能培训者的运动轨迹。还包括语音交互模块，语音交互模块包括声音采集器和语音播放器，语音交互模块设于vr视觉设备上，技能培训者在进行技能培训期间获取指导信息和纠正信息。还包括外部显示设备，所述语音交互模块还设于外部显示设备上，所述外部显示设备同步显示技能培训者通过vr视觉设备观看到的三维图像，其他培训人员可以观看技能培训者的培训过程。通信装置包括本地通信模块、远程通信模块和dll通信模块，远程通信模块用于vr
摄像机和数据服务装置之间进行通信，本地通信模块用于实现vr视觉设备和外部显示设备上的语音交互模块之间进行通讯，dll通信模块用于实现数据服务装置、vr视觉设备和光学式动作捕捉设备之间的通信。数据服务装置还包括若干个vr视频素材库，每个vr视频素材库内存储对应的实际工作现场的环境和设备信息。
18.在该实施例中，一种基于vr和动作捕捉的技能培训系统，包括vr摄像机、数据服务装置、通信装置、vr视觉设备、语音交互模块、外部显示设备和光学式动作捕捉设备，vr摄像机、数据服务装置、vr视觉设备和光学式动作捕捉设备均与通信装置相连，vr摄像机、通信装置、vr视觉设备和光学式动作捕捉设备均与数据服务装置相连，语音交互模块设在外部显示设备和vr视觉设备上，如图6所示，外部显示设备包括若干显示器，外部显示设备与光学式动作捕捉设备相连，如图3所示，数据服务装置包括数据获取模块、数据处理模块、数据记录模块和若干vr视频素材库，如图4所示，光学式动作捕捉设备包括若干动作捕捉相机和训练服，如图5所示，通信装置包括本地通信模块、远程通信模块和dll通信模块，如图2所示，vr视觉设备具体为vr头盔或者vr目镜，本发明系统还包括语音交互模块，如图7所示，语音交互模块包括声音采集器和语音播放器，语音交互模块设于vr视觉设备上，技能培训者在进行技能培训期间获取指导信息和纠正信息。。
19.vr摄像机架设在实际工作现场，采集实际工作现场的环境和设备信息，环境和设备信息构成vr视频素材库，通过vr资源编辑器、vr视频制作工具制作和编辑vr视频，制作虚拟教学/技能训练环境并在vr视觉设备上展现出来。
20.设单个vr摄像机的有效捕捉角度为80度，有效捕捉距离为400cm，为保证vr摄像机之间在校正和接力时平滑过渡，两两vr摄像机有10度重合的有效捕捉角度，因此单个vr摄像机单独有效捕捉角度为60度，需要6台vr摄像机实现360度的全方位动作捕捉，6台vr摄像机以正六边形方式排列，6台vr摄像机分别位于正六边形的6个顶点上，vr摄像机距离地面50-100cm，6台vr摄像机距离地面的高度保持一致，每个vr摄像机距离正六边形的中心为400cm，vr摄像机距离正六边形的中心的距离可根据场地的大小进行适应性调整，6台vr摄像机均朝向正六边形的中心，6台vr摄像机的有效捕捉角度在正六边形的内部形成一个正六边形的动作捕捉空间。
21.数据服务装置包括数据获取模块、数据处理模块和数据记录模块，数据获取模块收集光学式动作捕捉设备捕捉到的运动轨迹数据，数据处理模块包括校正计算模块，利用收集到的运动轨迹数据进行对比计算分析，主要对比对应关节点的角度、角速度、相对位置以及速度等数据，可以有选择性的对人体的关节点进行数据对比，并将不同的数据对比结果进行加权运算给出一个量化的分数。数据记录模块将技能培训者的运动轨迹数据进行存储，后期进行动作回放，动作记录功能模块将技能培训者的运动过程中的关节点信息以每秒30帧的速率存储到文本文档中。此类文本文档采用统一的命名规则，方便动作回放模块查。
22.对技能培训者的关节点的角度进行对比，将技能培训者的关节点的角度和预先存储的标准技能操作流程的关节点的角度进行对比，角度差为180度为最大角度差，0度为最小角度差，对比身体的各个关节点的角度误差，可以将关节点角度对比数据以图形化进行展示，以时间为横轴，以关节点角度为纵轴，实时绘制技能培训者的关节点的角度曲线和预先存储的标准技能操作流程的关节点的角度曲线，两条曲线重合度越高，说明技能培训者
的各关节点的角度和标准技能操作流程的关节点的角度越接近。
23.对技能培训者的关节点的角速度进行对比，将技能培训者的关节点的角速度和预先存储的标准技能操作流程的关节点的角速度进行对比。计算前后两帧之间关节点角度的变化量，即可计算关节点的角速度，对比身体的各个关节点的角度误差，可以将关节点角度对比数据以图形化进行展示，以时间为横轴，以各关节点角速度为纵轴，实时绘制技能培训者的关节点的角速度曲线和预先存储的标准技能操作流程的关节点的角速度曲线，两条曲线重合度越高，说明技能培训者的各关节点的角速度和标准技能操作流程的关节点的角速度越接近。
24.对技能培训者的关节点相对位置进行对比，预先选定一个平面作为基础平面，在此基础平面上选择一个点作为基础点，计算技能培训者各个关节点和基础点的距离即关节点的相对位置，对技能培训者各个关节点和基础点的距离，和预先存储的标准技能操作流程的关节点与基础点的距离作差，得到技能培训者各个关节点的位置差，将各个关节点的位置差作和得到总位置差，各个关节点的位置差表征技能培训者身体各个部位的技能标准程度，总位置差表征技能培训者身体整体的技能标准程度。技能培训者各个关节点的相对位置数据可以以可视化形式展示，以时间为横轴，以关节点的相对位置为纵轴，绘制两条曲线，一条为技能培训者的关节点相对位置曲线，一条为标准技能操作流程的关节点的相对位置曲线。
25.对技能培训者的关节点的速度进行对比，以关节点在一帧时间内的移动距离作为衡量指标，计算关节点的移动速度，并与预先存储的标准技能操作流程的关节点的移动速度对比。
26.在得到关节点的角度、角速度、相对位置以及速度等数据后，对这几项数据进行加权计算，如关节点的角度、角速度、相对位置以及速度的占比分别为20%、30%、15%、35%，用占比分别乘以关节点的角度的对比数据、角速度的对比数据、相对位置的对比数据以及速度的对比数据，得到计算结果。
27.光学式动作捕捉设备包括动作捕捉相机和训练服，动作捕捉相机通过定标形成动作捕捉空间，技能培训者穿戴训练服和vr视觉设备，在动作捕捉空间进行技能培训，训练服对应的身体关键关节点处设有荧光标志，动作捕捉相机对荧光标志进行识别和处理，绘制出技能培训者的运动轨迹；光学式动作捕捉设备基于计算机视觉原理，使用多个摄像机通过定标形成一个动作捕捉空间，技能培训者穿上特定颜的训练服，并在身体关键关节点处粘贴或佩戴荧光标志，通过识别和处理这些标志，计算得到其在每一时刻的空间位置，从而可以绘制出其运动轨迹。光学式动作捕捉的优点是动作捕捉空间大，无机械装置以及电缆的限制且一般不会受到电磁设备的干扰。
28.此外，在通过动作捕捉设备获取技能培训者的运动数据后，一个很重要的应用点就是对用户的当前动作数据和先前的动作数据进行对比分析，对比分析的数据项包括关节点速度、角速度、加速度以及相对比例位置等，经对比得出两套动作数据的相似程度等有价值的信息，然后技能培训者或指导者据此进行决策。
29.以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何不经过创造性劳动想到的变化或替换，都应涵盖在本发明保护范围之内。

技术特征：

1.一种基于vr和动作捕捉的技能培训系统，其特征是，包括：vr摄像机，用于采集实际工作现场的环境和设备信息；数据服务装置，用于存储和处理系统各个装置和模块运行产生的数据；通信装置，实现系统各个装置和模块之间的数据传输；vr视觉设备，用于对进行技能培训者播放vr视频；光学式动作捕捉设备，用于捕捉进行技能培训者的运动轨迹数据。2.根据权利要求1所述的一种基于vr和动作捕捉的技能培训系统，其特征是，所述vr摄像机架设在实际工作现场，采集实际工作现场的环境和设备信息，环境和设备信息用于构建虚拟培训环境。3.根据权利要求1所述的一种基于vr和动作捕捉的技能培训系统，其特征是，所述数据服务装置包括数据获取模块、数据处理模块和数据记录模块，数据获取模块收集光学式动作捕捉设备捕捉到的运动轨迹数据和实际工作现场的环境和设备信息，数据处理模块包括校正计算模块，利用收集到的运动轨迹数据进行对比计算分析，数据记录模块将技能培训者的运动轨迹数据进行存储，后期进行动作回放。4.根据权利要求1所述的一种基于vr和动作捕捉的技能培训系统，其特征是，所述光学式动作捕捉设备包括动作捕捉相机和训练服，动作捕捉相机通过定标形成动作捕捉空间，技能培训者穿戴训练服和vr视觉设备，在动作捕捉空间进行技能培训，训练服对应的身体关键关节点处设有荧光标志，动作捕捉相机对荧光标志进行识别和处理，绘制出技能培训者的运动轨迹。5.根据权利要求3所述的一种基于vr和动作捕捉的技能培训系统，其特征是，还包括语音交互模块，语音交互模块包括声音采集器和语音播放器，语音交互模块设于vr视觉设备上，技能培训者在进行技能培训期间获取指导信息和纠正信息。6.根据权利要求5所述的一种基于vr和动作捕捉的技能培训系统，其特征是，还包括外部显示设备，所述语音交互模块还设于外部显示设备上，所述外部显示设备同步显示技能培训者通过vr视觉设备观看到的三维图像，其他培训人员可以观看技能培训者的培训过程。7.根据权利要求6所述的一种基于vr和动作捕捉的技能培训系统，其特征是，所述通信装置包括本地通信模块、远程通信模块和dll通信模块，所述远程通信模块用于vr摄像机和数据服务装置之间进行通信，本地通信模块用于实现vr视觉设备和外部显示设备上的语音交互模块进行通讯，所述dll通信模块用于实现数据服务装置、vr视觉设备和光学式动作捕捉设备之间的通信。8.根据权利要求1所述的一种基于vr和动作捕捉的技能培训系统，其特征是，所述数据服务装置还包括若干个vr视频素材库，每个vr视频素材库内存储对应的实际工作现场的环境和设备信息。

技术总结

本发明公开了一种基于VR和动作捕捉的技能培训系统，包括VR摄像机，用于采集实际工作现场的环境和设备信息；数据服务装置，用于存储和处理系统各个装置和模块运行产生的数据；通信装置，实现系统各个装置和模块之间的数据传输；VR视觉设备，用于对进行技能培训者播放VR视频；光学式动作捕捉设备，用于捕捉进行技能培训者的运动轨迹数据。本发明的一种基于VR和动作捕捉的技能培训系统，可以使受训人员能够在不用去实际工作现场的环境下进行专业的技能演练和培训操作，可以避免在实际工作现场的环境下进行专业的技能操作产生的危险状况，利用VR和全身动作捕捉进行技能演练和培训，带来更好的体验及培训效果。来更好的体验及培训效果。来更好的体验及培训效果。