基于VR/AR的先天性心脏病血流动力学仿真教学方法及系统与流程

基于vr/ar的先天性心脏病血流动力学仿真教学方法及系统
技术领域
1.本发明涉及虚拟现实技术领域，尤其涉及一种基于vr/ar的先天性心脏病血流动力学仿真教学方法及系统。

背景技术：

2.信息技术的快速发展使信息的传播更加快捷，医学知识的更新不断加速，高校医学教学为紧跟时代步伐，需要不断创新，探寻合适的教学载体。虚拟现实技术作为一项新兴技术，充分应用于医学教学中不仅能够促进医学生医学理论知识的提升，而且对实践能力的培养也有良好的效果，进而为国家培养出符合时代需求的医学人才。
3.本发明人在实施本发明时发现，现有的教学方法并未将使用虚拟现实(virtual reality)和增强现实(augmented reality)技术构建以心脏结构和先心病血流动力学为模型场景的虚拟仿真教学中。

技术实现要素：

4.本发明的目的在于提供一种基于vr/ar的先天性心脏病血流动力学仿真教学方法及系统，其能够有效解决现有技术中所存在的上述技术问题。
5.为了实现上述目的，本发明的一实施例提供了一种基于vr/ar的先天性心脏病血流动力学仿真教学方法，包括：
6.s1、心脏解剖素材数据收集；
7.s2、通过三维建模软件3ds max构建三维模型和动画；
8.s3、将三维模型和动画导入到unity3d软件中，通过人机交互开发实现对正常心脏和先心病心脏教与学的仿真模拟，并将模拟完成后的仿真系统在unity3d上进行发布；
9.s4、通过vr/ar设备以身临其境观察正常心脏的内外部结构、血液流动、先心病的结构错构及其血流动力学变化，并根据系统语音指引，使用手柄与场景交互完成自主学习；
10.其中，在步骤s1中，通过从医院人体标本中选取合适的心脏标本，对其正常心脏外观和解剖后的内部结构、心脏跳动、血液流动，以及先心病心脏外观和解剖后的内部结构、心脏跳动、心脏大血管错构以及心脏血流动力学变化进行资料采集；
11.步骤s2具体包括：
12.s21、搭建正常心脏和先心病心脏内外部结构的三维模型；
13.s22、基于搭建好的正常心脏的三维模型制作正常心脏跳动以及血液流向的动画；
14.s23、基于搭建好的先心病心脏的三维模型制作先心病心脏跳动、大血管错构以及血液流向的动画；
15.s24、导出搭建好的三维模型和制作好的动画；其中，需要在3d max软件中将每个子模型文件分别导出为fbx格式存储，并且在导出前需将所有子模型轴心点设置为模型正中心位置；
16.步骤s3具体包括：
17.s31、导入搭建好的三维模型和制作好的动画到unity3d软件中，包括：
18.将正常心脏外观及内部左心房、右心房、左心室、右心室，以及左心房、右心房、左心室、右心室进出口的瓣膜，以及先心病心脏外观和内部左心房、右心房、左心室、右心室，及左心房、右心房、左心室、右心室进出口的瓣膜模型等所有心脏子模型拖入窗口并手动调整好贴图、位置和大小后，为整体模型添加摄影机，深度属性值调整为0，即放置于中间层；
19.将正常心脏跳动包括心脏的收缩与舒张运动动画，心脏收缩和舒张运动时左心房、右心房、左心室及右心室瓣膜的开关和血液流动方向动画，以及先心病心脏大血管错构，心脏血流动力学变化动画，直接拖动到unity3d的project视图设定好的文件夹中，使unity3d自行生成视频对应的movietexture对象；为视频创造一个合适大小的plane面对象用于播放视频；然后，通过c#脚本用加载贴图的方式为plane加载导入的三维动画，实现视频在plane上的播放；
20.s32、调节模型材质及渲染材质效果；
21.s33、模拟正常心脏解剖结构、心脏跳动以及血液流向功能的开发；
22.s34、模拟先心病心脏跳动、大血管错构以及血液流向功能的开发；
23.s35、虚拟仿真系统开发完成后，在unity3d上进行发布，可根据最终使用硬件的不同，将完成的软件发布不同的端口。
24.作为上述方案的改进，所述步骤s21具体包括：
25.利用三维建模软件3ds max提供的基本几何体，包括立方体，通过加点、加线、移动位置、放缩系列工具处理后，实现三维心脏大体轮廓的低模，再进行平滑处理，经过反复的调整，最终完成心脏高精度模型的重建，根据资料对心脏进行1:13d建模。
26.作为上述方案的改进，在所述步骤s22和s23中，基于搭建好的模型制作心脏舒张与收缩动画，以及心脏收缩和舒张运动时左心房、右心房、左心室、右心室和左房室瓣、右房室瓣、主动脉瓣、肺动脉瓣的开关和血液流动方向以及先心病的心脏大血管错构、血流动力学变化情况的动画，每一个动画都是一个独立的场景，便于后续人机交互的功能开发。
27.作为上述方案的改进，在所述步骤s33中，模拟正常心脏解剖结构、心脏跳动以及血液流向功能的开发以作为正常心脏的医学内容教学，包括：
28.正常心脏的外形、内部结构的展示，主要是心脏的外观整体显示、内部显示、子模型单个透明度显示，整体模型变换、单独模型的平移、删除、放缩等功能，或是对全部模型实现还原初始状态、剖面查看的功能；在相应结构显示时会有相应文本及语音介绍；其中，正常心脏的内部结构包括左心房、右心房、左心室、右心室以及左心房、右心房、左心室、右心室进出口的瓣膜；
29.正常心脏的收缩与舒张运动，心脏收缩和舒张运动时左心房、右心房、左心室及右心室瓣膜的开关和血液流动方向动画的切换播放。
30.作为上述方案的改进，在所述步骤s34中，模拟先心病心脏跳动、大血管错构以及血液流向功能的开发以作为先心病心脏的医学内容教学，包括：
31.先心病心脏的外形、内部结构的展示，主要是心脏的外观整体显示、内部显示、子模型单个透明度显示，整体模型变换、单独模型的平移、删除、放缩等功能，或是对全部模型实现还原初始状态、剖面查看的功能；在相应结构显示时会有相应文本及语音介绍；其中，先心病心脏的内部结构左心房、右心房、左心室、右心室以及左心房、右心房、左心室、右心
室进出口的瓣膜；
32.先心病心脏大血管错构模型以及心脏血流动力学变化动画的切换播放。
33.本发明实施例同时提供一种基于vr/ar的先天性心脏病血流动力学仿真教学系统，包括：
34.数据收集模块，用于心脏解剖素材数据收集；
35.三维模型重建模块，用于通过三维建模软件3ds max构建三维模型和动画；
36.人机交互开发模块，用于将三维模型和动画导入到unity3d软件中，通过人机交互开发实现对正常心脏和先心病心脏教与学的仿真模拟，并将模拟完成后的仿真系统在unity3d上进行发布；
37.场景交互学习模块，用于通过vr/ar设备以身临其境观察正常心脏的内外部结构、血液流动、先心病的结构错构及其血流动力学变化，并根据系统语音指引，使用手柄与场景交互完成自主学习；
38.其中，所述数据收集模块通过从医院人体标本中选取合适的心脏标本，对其正常心脏外观和解剖后的内部结构、心脏跳动、血液流动，以及先心病心脏外观和解剖后的内部结构、心脏跳动、心脏大血管错构以及心脏血流动力学变化进行资料采集；
39.所述三维模型重建模块具体用于执行：
40.搭建正常心脏和先心病心脏内外部结构的三维模型；
41.基于搭建好的正常心脏的三维模型制作正常心脏跳动以及血液流向的动画；
42.基于搭建好的先心病心脏的三维模型制作先心病心脏跳动、大血管错构以及血液流向的动画；及
43.导出搭建好的三维模型和制作好的动画；其中，需要在3d max软件中将每个子模型文件分别导出为fbx格式存储，并且在导出前需将所有子模型轴心点设置为模型正中心位置；
44.所述人机交互开发模块具体用于执行：
45.导入搭建好的三维模型和制作好的动画到unity3d软件中，包括：
46.将正常心脏外观及内部左心房、右心房、左心室、右心室，以及左心房、右心房、左心室、右心室进出口的瓣膜，以及先心病心脏外观和内部左心房、右心房、左心室、右心室，及左心房、右心房、左心室、右心室进出口的瓣膜模型等所有心脏子模型拖入窗口并手动调整好贴图、位置和大小后，为整体模型添加摄影机，深度属性值调整为0，即放置于中间层；
47.将正常心脏跳动包括心脏的收缩与舒张运动动画，心脏收缩和舒张运动时左心房、右心房、左心室及右心室瓣膜的开关和血液流动方向动画，以及先心病心脏大血管错构，心脏血流动力学变化动画，直接拖动到unity3d的project视图设定好的文件夹中，使unity3d自行生成视频对应的movietexture对象；为视频创造一个合适大小的plane面对象用于播放视频；然后，通过c#脚本用加载贴图的方式为plane加载导入的三维动画，实现视频在plane上的播放；
48.调节模型材质及渲染材质效果；
49.模拟正常心脏解剖结构、心脏跳动以及血液流向功能的开发；
50.模拟先心病心脏跳动、大血管错构以及血液流向功能的开发；及
51.虚拟仿真系统开发完成后，在unity3d上进行发布，可根据最终使用硬件的不同，
将完成的软件发布不同的端口。
52.作为上述方案的改进，所述三维模型重建模块用于搭建正常心脏和先心病心脏内外部结构的三维模型，具体包括：
53.利用三维建模软件3ds max提供的基本几何体，包括立方体，通过加点、加线、移动位置、放缩系列工具处理后，实现三维心脏大体轮廓的低模，再进行平滑处理，经过反复的调整，最终完成心脏高精度模型的重建，根据资料对心脏进行1:13d建模。
54.作为上述方案的改进，所述三维模型重建模块基于搭建好的正常心脏的三维模型制作正常心脏跳动以及血液流向的动画及基于搭建好的先心病心脏的三维模型制作先心病心脏跳动、大血管错构以及血液流向的动画中，基于搭建好的模型制作心脏舒张与收缩动画，以及心脏收缩和舒张运动时左心房、右心房、左心室、右心室和左房室瓣、右房室瓣、主动脉瓣、肺动脉瓣的开关和血液流动方向以及先心病的心脏大血管错构、血流动力学变化情况的动画，每一个动画都是一个独立的场景，便于后续人机交互的功能开发。
55.作为上述方案的改进，在所述人机交互开发模块中，模拟正常心脏解剖结构、心脏跳动以及血液流向功能的开发以作为正常心脏的医学内容教学，包括：
56.正常心脏的外形、内部结构的展示，主要是心脏的外观整体显示、内部显示、子模型单个透明度显示，整体模型变换、单独模型的平移、删除、放缩等功能，或是对全部模型实现还原初始状态、剖面查看的功能；在相应结构显示时会有相应文本及语音介绍；其中，正常心脏的内部结构包括左心房、右心房、左心室、右心室以及左心房、右心房、左心室、右心室进出口的瓣膜；
57.正常心脏的收缩与舒张运动，心脏收缩和舒张运动时左心房、右心房、左心室及右心室瓣膜的开关和血液流动方向动画的切换播放。
58.作为上述方案的改进，在所述人机交互开发模块中，模拟先心病心脏跳动、大血管错构以及血液流向功能的开发以作为先心病心脏的医学内容教学，包括：
59.先心病心脏的外形、内部结构的展示，主要是心脏的外观整体显示、内部显示、子模型单个透明度显示，整体模型变换、单独模型的平移、删除、放缩等功能，或是对全部模型实现还原初始状态、剖面查看的功能；在相应结构显示时会有相应文本及语音介绍；其中，先心病心脏的内部结构左心房、右心房、左心室、右心室以及左心房、右心房、左心室、右心室进出口的瓣膜；
60.先心病心脏大血管错构模型以及心脏血流动力学变化动画的切换播放。
61.与现有技术相比，本发明实施例提供的一种基于vr/ar的先天性心脏病血流动力学仿真教学方法及系统，具有如下技术效果：能够基于真实的人体心脏图像，利用3d max软件建立了准确的心脏三维几何模型，模型包括左心房、右心房、左心室、右心室等结构。然后利用3d max软件对建好的模型进行了进一步的修洁和优化，为后续的有限元分析提供了较为精确的三维模型。并通过人机交互技术，操作人员能从多角度观察重建后的图像，因此可以更加准确直观的观察心脏的构成情况。观察心脏收缩和舒张运动，以及心脏收缩和舒张运动时左心房、右心房、左心室、右心室瓣膜的开关和血液流动方向。这样，学生通过佩戴vr/ar头显可以身临其境观察心脏的内外部结构、血液流动及先心病的结构错构以及其血流动力学变化根据系统语音指引，使用手柄与场景交互完成自主学习。与传统教育相比，利用vr/ar技术来辅助医学教学，能有效降低培训成本、缩短培训周期、提高教学质量。
附图说明
62.为了更清楚地说明本发明的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
63.图1是本发明实施例提供的一种基于vr/ar的先天性心脏病血流动力学仿真教学方法的流程示意图。
64.图2是本发明实施例提供的一种基于vr/ar的先天性心脏病血流动力学仿真教学方法的步骤s2的具体步骤流程示意图。
65.图3是本发明实施例提供的一种基于vr/ar的先天性心脏病血流动力学仿真教学方法的步骤s3的具体步骤流程示意图。
66.图4是本发明实施例提供的一种基于vr/ar的先天性心脏病血流动力学仿真教学系统的结构示意图。
具体实施方式
67.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
68.参考图1，本发明实施例提供了一种基于vr/ar的先天性心脏病血流动力学仿真教学方法，其特征在于，包括：
69.s1、心脏解剖素材数据收集；
70.s2、通过三维建模软件3ds max构建三维模型和动画；
71.s3、将三维模型和动画导入到unity3d软件中，通过人机交互开发实现对正常心脏和先心病心脏教与学的仿真模拟，并将模拟完成后的仿真系统在unity3d上进行发布；
72.s4、通过vr/ar设备以身临其境观察正常心脏的内外部结构、血液流动、先心病的结构错构及其血流动力学变化，并根据系统语音指引，使用手柄与场景交互完成自主学习。
73.其中，在步骤s1中，通过从医院人体标本中选取合适的心脏标本，对其正常心脏外观和解剖后的内部结构、心脏跳动、血液流动，以及先心病心脏外观和解剖后的内部结构、心脏跳动、心脏大血管错构以及心脏血流动力学变化进行资料采集。
74.进一步，参考图2，上述步骤s2具体包括s21～s24：
75.s21、搭建正常心脏和先心病心脏内外部结构的三维模型；
76.s22、基于搭建好的正常心脏的三维模型制作正常心脏跳动以及血液流向的动画；
77.s23、基于搭建好的先心病心脏的三维模型制作先心病心脏跳动、大血管错构以及血液流向的动画；
78.s24、导出搭建好的三维模型和制作好的动画；
79.其中，需要在3d max软件中将每个子模型文件分别导出为fbx格式存储，并且在导出前需将所有子模型轴心点设置为模型正中心位置。可理解的，因为3d max建立的心脏模型是max格式，而unity3d不支持此种格式的文件，所以需要在3d max软件中将每个子模型文件分别导出为fbx格式存储，并且在导出前需将所有子模型轴心点设置为模型正中心位
置。
80.另外，在制作心脏动画的过程中，由于心脏内部结构的形状特性，无需给心脏模型绑定骨骼或进行动作捕捉等操作，直接利用3dsmax软件即可完成。
81.进一步的，所述步骤s21具体包括：
82.利用三维建模软件3ds max提供的基本几何体，包括立方体，通过加点、加线、移动位置、放缩系列工具处理后，实现三维心脏大体轮廓的低模，再进行平滑处理，经过反复的调整，最终完成心脏高精度模型的重建，根据资料对心脏进行1:13d建模。
83.可以理解的，在所述步骤s22和s23中，基于搭建好的模型制作心脏舒张与收缩动画，以及心脏收缩和舒张运动时左心房、右心房、左心室、右心室和左房室瓣、右房室瓣、主动脉瓣、肺动脉瓣的开关和血液流动方向以及先心病的心脏大血管错构、血流动力学变化情况的动画，每一个动画都是一个独立的场景，便于后续人机交互的功能开发。
84.进一步，参考图3，上述步骤s3具体包括s31～s35：
85.s31、导入搭建好的三维模型和制作好的动画到unity3d软件中；
86.s32、调节模型材质及渲染材质效果；
87.s33、模拟正常心脏解剖结构、心脏跳动以及血液流向功能的开发；
88.s34、模拟先心病心脏跳动、大血管错构以及血液流向功能的开发；
89.s35、虚拟仿真系统开发完成后，在unity3d上进行发布，可根据最终使用硬件的不同，将完成的软件发布不同的端口。
90.其中，所述步骤s31具体包括：
91.将正常心脏外观及内部左心房、右心房、左心室、右心室，以及左心房、右心房、左心室、右心室进出口的瓣膜，以及先心病心脏外观和内部左心房、右心房、左心室、右心室，及左心房、右心房、左心室、右心室进出口的瓣膜模型等所有心脏子模型拖入窗口并手动调整好贴图、位置和大小后，为整体模型添加摄影机，深度属性值调整为0，即放置于中间层；
92.将正常心脏跳动包括心脏的收缩与舒张运动动画，心脏收缩和舒张运动时左心房、右心房、左心室及右心室瓣膜的开关和血液流动方向动画，以及先心病心脏大血管错构，心脏血流动力学变化动画，直接拖动到unity3d的project视图设定好的文件夹中，使unity3d自行生成视频对应的movietexture对象；为视频创造一个合适大小的plane面对象用于播放视频；然后，通过c#脚本用加载贴图的方式为plane加载导入的三维动画，实现视频在plane上的播放；
93.进一步的，在所述步骤s33中，模拟正常心脏解剖结构、心脏跳动以及血液流向功能的开发以作为正常心脏的医学内容教学，包括：
94.正常心脏的外形、内部结构的展示，主要是心脏的外观整体显示、内部显示、子模型单个透明度显示，整体模型变换、单独模型的平移、删除、放缩等功能，或是对全部模型实现还原初始状态、剖面查看的功能；在相应结构显示时会有相应文本及语音介绍；其中，正常心脏的内部结构包括左心房、右心房、左心室、右心室以及左心房、右心房、左心室、右心室进出口的瓣膜；
95.正常心脏的收缩与舒张运动，心脏收缩和舒张运动时左心房、右心房、左心室及右心室瓣膜的开关和血液流动方向动画的切换播放。
96.进一步的，在所述步骤s34中，模拟先心病心脏跳动、大血管错构以及血液流向功
能的开发以作为先心病心脏的医学内容教学，包括：
97.先心病心脏的外形、内部结构的展示，主要是心脏的外观整体显示、内部显示、子模型单个透明度显示，整体模型变换、单独模型的平移、删除、放缩等功能，或是对全部模型实现还原初始状态、剖面查看的功能；在相应结构显示时会有相应文本及语音介绍；其中，先心病心脏的内部结构左心房、右心房、左心室、右心室以及左心房、右心房、左心室、右心室进出口的瓣膜；
98.先心病心脏大血管错构模型以及心脏血流动力学变化动画的切换播放。
99.参考图4，本发明实施例对应公开了一种基于vr/ar的先天性心脏病血流动力学仿真教学系统，包括：
100.数据收集模块401，用于心脏解剖素材数据收集；
101.三维模型重建模块402，用于通过三维建模软件3ds max构建三维模型和动画；
102.人机交互开发模块403，用于将三维模型和动画导入到unity3d软件中，通过人机交互开发实现对正常心脏和先心病心脏教与学的仿真模拟，并将模拟完成后的仿真系统在unity3d上进行发布；及
103.场景交互学习模块404，用于通过vr/ar设备以身临其境观察正常心脏的内外部结构、血液流动、先心病的结构错构及其血流动力学变化，并根据系统语音指引，使用手柄与场景交互完成自主学习。
104.其中，所述数据收集模块401通过从医院人体标本中选取合适的心脏标本，对其正常心脏外观和解剖后的内部结构、心脏跳动、血液流动，以及先心病心脏外观和解剖后的内部结构、心脏跳动、心脏大血管错构以及心脏血流动力学变化进行资料采集；
105.所述三维模型重建模块402具体用于执行：
106.搭建正常心脏和先心病心脏内外部结构的三维模型；
107.基于搭建好的正常心脏的三维模型制作正常心脏跳动以及血液流向的动画；
108.基于搭建好的先心病心脏的三维模型制作先心病心脏跳动、大血管错构以及血液流向的动画；及
109.导出搭建好的三维模型和制作好的动画；其中，需要在3d max软件中将每个子模型文件分别导出为fbx格式存储，并且在导出前需将所有子模型轴心点设置为模型正中心位置。
110.进一步的，所述三维模型重建模块402用于搭建正常心脏和先心病心脏内外部结构的三维模型，具体包括：
111.利用三维建模软件3ds max提供的基本几何体，包括立方体，通过加点、加线、移动位置、放缩系列工具处理后，实现三维心脏大体轮廓的低模，再进行平滑处理，经过反复的调整，最终完成心脏高精度模型的重建，根据资料对心脏进行1:13d建模。
112.另外，所述三维模型重建模块402基于搭建好的正常心脏的三维模型制作正常心脏跳动以及血液流向的动画及基于搭建好的先心病心脏的三维模型制作先心病心脏跳动、大血管错构以及血液流向的动画中，基于搭建好的模型制作心脏舒张与收缩动画，以及心脏收缩和舒张运动时左心房、右心房、左心室、右心室和左房室瓣、右房室瓣、主动脉瓣、肺动脉瓣的开关和血液流动方向以及先心病的心脏大血管错构、血流动力学变化情况的动画，每一个动画都是一个独立的场景，便于后续人机交互的功能开发。
113.进一步的，所述人机交互开发模块403具体用于执行：
114.导入搭建好的三维模型和制作好的动画到unity3d软件中；
115.调节模型材质及渲染材质效果；
116.模拟正常心脏解剖结构、心脏跳动以及血液流向功能的开发；
117.模拟先心病心脏跳动、大血管错构以及血液流向功能的开发；及
118.虚拟仿真系统开发完成后，在unity3d上进行发布，可根据最终使用硬件的不同，将完成的软件发布不同的端口。
119.其中，所述导入搭建好的三维模型和制作好的动画到unity3d软件中，包括：
120.将正常心脏外观及内部左心房、右心房、左心室、右心室，以及左心房、右心房、左心室、右心室进出口的瓣膜，以及先心病心脏外观和内部左心房、右心房、左心室、右心室，及左心房、右心房、左心室、右心室进出口的瓣膜模型等所有心脏子模型拖入窗口并手动调整好贴图、位置和大小后，为整体模型添加摄影机，深度属性值调整为0，即放置于中间层；
121.将正常心脏跳动包括心脏的收缩与舒张运动动画，心脏收缩和舒张运动时左心房、右心房、左心室及右心室瓣膜的开关和血液流动方向动画，以及先心病心脏大血管错构，心脏血流动力学变化动画，直接拖动到unity3d的project视图设定好的文件夹中，使unity3d自行生成视频对应的movietexture对象；为视频创造一个合适大小的plane面对象用于播放视频；然后，通过c#脚本用加载贴图的方式为plane加载导入的三维动画，实现视频在plane上的播放；
122.进一步的，在所述人机交互开发模块403中，模拟正常心脏解剖结构、心脏跳动以及血液流向功能的开发以作为正常心脏的医学内容教学，包括：
123.正常心脏的外形、内部结构的展示，主要是心脏的外观整体显示、内部显示、子模型单个透明度显示，整体模型变换、单独模型的平移、删除、放缩等功能，或是对全部模型实现还原初始状态、剖面查看的功能；在相应结构显示时会有相应文本及语音介绍；其中，正常心脏的内部结构包括左心房、右心房、左心室、右心室以及左心房、右心房、左心室、右心室进出口的瓣膜；及
124.正常心脏的收缩与舒张运动，心脏收缩和舒张运动时左心房、右心房、左心室及右心室瓣膜的开关和血液流动方向动画的切换播放。
125.相应的，在所述人机交互开发模块403中，模拟先心病心脏跳动、大血管错构以及血液流向功能的开发以作为先心病心脏的医学内容教学，包括：
126.先心病心脏的外形、内部结构的展示，主要是心脏的外观整体显示、内部显示、子模型单个透明度显示，整体模型变换、单独模型的平移、删除、放缩等功能，或是对全部模型实现还原初始状态、剖面查看的功能；在相应结构显示时会有相应文本及语音介绍；其中，先心病心脏的内部结构左心房、右心房、左心室、右心室以及左心房、右心房、左心室、右心室进出口的瓣膜；及
127.先心病心脏大血管错构模型以及心脏血流动力学变化动画的切换播放。
128.综上所述，本发明实施例提供的一种基于vr/ar的先天性心脏病血流动力学仿真教学方法及系统，基于真实的人体心脏图像，利用3d max软件建立了准确的心脏三维几何模型，模型包括左心房、右心房、左心室、右心室等结构。然后利用3d max软件对建好的模型进行了进一步的修洁和优化，为后续的有限元分析提供了较为精确的三维模型。并通过人
机交互技术，操作人员能从多角度观察重建后的图像，因此可以更加准确直观的观察心脏的构成情况。观察心脏收缩和舒张运动，以及心脏收缩和舒张运动时左心房、右心房、左心室、右心室瓣膜的开关和血液流动方向。这样，学生通过佩戴vr/ar头显可以身临其境观察心脏的内外部结构、血液流动及先心病的结构错构以及其血流动力学变化根据系统语音指引，使用手柄与场景交互完成自主学习。与传统教育相比，利用vr/ar技术来辅助医学教学，能有效降低培训成本、缩短培训周期、提高教学质量。
129.以上所揭露的仅为本发明一些较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

技术特征：

1.一种基于vr/ar的先天性心脏病血流动力学仿真教学方法，其特征在于，包括：s1、心脏解剖素材数据收集；s2、通过三维建模软件3ds max构建三维模型和动画；s3、将三维模型和动画导入到unity3d软件中，通过人机交互开发实现对正常心脏和先心病心脏教与学的仿真模拟，并将模拟完成后的仿真系统在unity3d上进行发布；s4、通过vr/ar设备以身临其境观察正常心脏的内外部结构、血液流动、先心病的结构错构及其血流动力学变化，并根据系统语音指引，使用手柄与场景交互完成自主学习；其中，在步骤s1中，通过从医院人体标本中选取合适的心脏标本，对其正常心脏外观和解剖后的内部结构、心脏跳动、血液流动，以及先心病心脏外观和解剖后的内部结构、心脏跳动、心脏大血管错构以及心脏血流动力学变化进行资料采集；步骤s2具体包括：s21、搭建正常心脏和先心病心脏内外部结构的三维模型；s22、基于搭建好的正常心脏的三维模型制作正常心脏跳动以及血液流向的动画；s23、基于搭建好的先心病心脏的三维模型制作先心病心脏跳动、大血管错构以及血液流向的动画；s24、导出搭建好的三维模型和制作好的动画；其中，需要在3d max软件中将每个子模型文件分别导出为fbx格式存储，并且在导出前需将所有子模型轴心点设置为模型正中心位置；步骤s3具体包括：s31、导入搭建好的三维模型和制作好的动画到unity3d软件中，包括：将正常心脏外观及内部左心房、右心房、左心室、右心室，以及左心房、右心房、左心室、右心室进出口的瓣膜，以及先心病心脏外观和内部左心房、右心房、左心室、右心室，及左心房、右心房、左心室、右心室进出口的瓣膜模型等所有心脏子模型拖入窗口并手动调整好贴图、位置和大小后，为整体模型添加摄影机，深度属性值调整为0，即放置于中间层；将正常心脏跳动包括心脏的收缩与舒张运动动画，心脏收缩和舒张运动时左心房、右心房、左心室及右心室瓣膜的开关和血液流动方向动画，以及先心病心脏大血管错构，心脏血流动力学变化动画，直接拖动到unity3d的project视图设定好的文件夹中，使unity3d自行生成视频对应的movietexture对象；为视频创造一个合适大小的plane面对象用于播放视频；然后，通过c#脚本用加载贴图的方式为plane加载导入的三维动画，实现视频在plane上的播放；s32、调节模型材质及渲染材质效果；s33、模拟正常心脏解剖结构、心脏跳动以及血液流向功能的开发；s34、模拟先心病心脏跳动、大血管错构以及血液流向功能的开发；s35、虚拟仿真系统开发完成后，在unity3d上进行发布，可根据最终使用硬件的不同，将完成的软件发布不同的端口。2.根据权利要求1所述的基于vr/ar的先天性心脏病血流动力学仿真教学方法，其特征在于，所述步骤s21具体包括：利用三维建模软件3ds max提供的基本几何体，包括立方体，通过加点、加线、移动位置、放缩系列工具处理后，实现三维心脏大体轮廓的低模，再进行平滑处理，经过反复的调
整，最终完成心脏高精度模型的重建，根据资料对心脏进行1:13d建模。3.根据权利要求2所述的基于vr/ar的先天性心脏病血流动力学仿真教学方法，其特征在于，在所述步骤s22和s23中，基于搭建好的模型制作心脏舒张与收缩动画，以及心脏收缩和舒张运动时左心房、右心房、左心室、右心室和左房室瓣、右房室瓣、主动脉瓣、肺动脉瓣的开关和血液流动方向以及先心病的心脏大血管错构、血流动力学变化情况的动画，每一个动画都是一个独立的场景，便于后续人机交互的功能开发。4.根据权利要求1所述的基于vr/ar的先天性心脏病血流动力学仿真教学方法，其特征在于，在所述步骤s33中，模拟正常心脏解剖结构、心脏跳动以及血液流向功能的开发以作为正常心脏的医学内容教学，包括：正常心脏的外形、内部结构的展示，主要是心脏的外观整体显示、内部显示、子模型单个透明度显示，整体模型变换、单独模型的平移、删除、放缩等功能，或是对全部模型实现还原初始状态、剖面查看的功能；在相应结构显示时会有相应文本及语音介绍；其中，正常心脏的内部结构包括左心房、右心房、左心室、右心室以及左心房、右心房、左心室、右心室进出口的瓣膜；正常心脏的收缩与舒张运动，心脏收缩和舒张运动时左心房、右心房、左心室及右心室瓣膜的开关和血液流动方向动画的切换播放。5.根据权利要求4所述的基于vr/ar的先天性心脏病血流动力学仿真教学方法，其特征在于，在所述步骤s34中，模拟先心病心脏跳动、大血管错构以及血液流向功能的开发以作为先心病心脏的医学内容教学，包括：先心病心脏的外形、内部结构的展示，主要是心脏的外观整体显示、内部显示、子模型单个透明度显示，整体模型变换、单独模型的平移、删除、放缩等功能，或是对全部模型实现还原初始状态、剖面查看的功能；在相应结构显示时会有相应文本及语音介绍；其中，先心病心脏的内部结构左心房、右心房、左心室、右心室以及左心房、右心房、左心室、右心室进出口的瓣膜；先心病心脏大血管错构模型以及心脏血流动力学变化动画的切换播放。6.一种基于vr/ar的先天性心脏病血流动力学仿真教学系统，其特征在于，包括：数据收集模块，用于心脏解剖素材数据收集；三维模型重建模块，用于通过三维建模软件3ds max构建三维模型和动画；人机交互开发模块，用于将三维模型和动画导入到unity3d软件中，通过人机交互开发实现对正常心脏和先心病心脏教与学的仿真模拟，并将模拟完成后的仿真系统在unity3d上进行发布；场景交互学习模块，用于通过vr/ar设备以身临其境观察正常心脏的内外部结构、血液流动、先心病的结构错构及其血流动力学变化，并根据系统语音指引，使用手柄与场景交互完成自主学习；其中，所述数据收集模块通过从医院人体标本中选取合适的心脏标本，对其正常心脏外观和解剖后的内部结构、心脏跳动、血液流动，以及先心病心脏外观和解剖后的内部结构、心脏跳动、心脏大血管错构以及心脏血流动力学变化进行资料采集；所述三维模型重建模块具体用于执行：搭建正常心脏和先心病心脏内外部结构的三维模型；
基于搭建好的正常心脏的三维模型制作正常心脏跳动以及血液流向的动画；基于搭建好的先心病心脏的三维模型制作先心病心脏跳动、大血管错构以及血液流向的动画；及导出搭建好的三维模型和制作好的动画；其中，需要在3d max软件中将每个子模型文件分别导出为fbx格式存储，并且在导出前需将所有子模型轴心点设置为模型正中心位置；所述人机交互开发模块具体用于执行：导入搭建好的三维模型和制作好的动画到unity3d软件中，包括：将正常心脏外观及内部左心房、右心房、左心室、右心室，以及左心房、右心房、左心室、右心室进出口的瓣膜，以及先心病心脏外观和内部左心房、右心房、左心室、右心室，及左心房、右心房、左心室、右心室进出口的瓣膜模型等所有心脏子模型拖入窗口并手动调整好贴图、位置和大小后，为整体模型添加摄影机，深度属性值调整为0，即放置于中间层；将正常心脏跳动包括心脏的收缩与舒张运动动画，心脏收缩和舒张运动时左心房、右心房、左心室及右心室瓣膜的开关和血液流动方向动画，以及先心病心脏大血管错构，心脏血流动力学变化动画，直接拖动到unity3d的project视图设定好的文件夹中，使unity3d自行生成视频对应的movietexture对象；为视频创造一个合适大小的plane面对象用于播放视频；然后，通过c#脚本用加载贴图的方式为plane加载导入的三维动画，实现视频在plane上的播放；调节模型材质及渲染材质效果；模拟正常心脏解剖结构、心脏跳动以及血液流向功能的开发；模拟先心病心脏跳动、大血管错构以及血液流向功能的开发；及虚拟仿真系统开发完成后，在unity3d上进行发布，可根据最终使用硬件的不同，将完成的软件发布不同的端口。7.根据权利要求6所述的基于vr/ar的先天性心脏病血流动力学仿真教学方法，其特征在于，所述三维模型重建模块用于搭建正常心脏和先心病心脏内外部结构的三维模型，具体包括：利用三维建模软件3ds max提供的基本几何体，包括立方体，通过加点、加线、移动位置、放缩系列工具处理后，实现三维心脏大体轮廓的低模，再进行平滑处理，经过反复的调整，最终完成心脏高精度模型的重建，根据资料对心脏进行1:13d建模。8.根据权利要求7所述的基于vr/ar的先天性心脏病血流动力学仿真教学方法，其特征在于，所述三维模型重建模块基于搭建好的正常心脏的三维模型制作正常心脏跳动以及血液流向的动画及基于搭建好的先心病心脏的三维模型制作先心病心脏跳动、大血管错构以及血液流向的动画中，基于搭建好的模型制作心脏舒张与收缩动画，以及心脏收缩和舒张运动时左心房、右心房、左心室、右心室和左房室瓣、右房室瓣、主动脉瓣、肺动脉瓣的开关和血液流动方向以及先心病的心脏大血管错构、血流动力学变化情况的动画，每一个动画都是一个独立的场景，便于后续人机交互的功能开发。9.根据权利要求6所述的基于vr/ar的先天性心脏病血流动力学仿真教学方法，其特征在于，在所述人机交互开发模块中，模拟正常心脏解剖结构、心脏跳动以及血液流向功能的开发以作为正常心脏的医学内容教学，包括：正常心脏的外形、内部结构的展示，主要是心脏的外观整体显示、内部显示、子模型单
个透明度显示，整体模型变换、单独模型的平移、删除、放缩等功能，或是对全部模型实现还原初始状态、剖面查看的功能；在相应结构显示时会有相应文本及语音介绍；其中，正常心脏的内部结构包括左心房、右心房、左心室、右心室以及左心房、右心房、左心室、右心室进出口的瓣膜；正常心脏的收缩与舒张运动，心脏收缩和舒张运动时左心房、右心房、左心室及右心室瓣膜的开关和血液流动方向动画的切换播放。10.根据权利要求9所述的基于vr/ar的先天性心脏病血流动力学仿真教学方法，其特征在于，在所述人机交互开发模块中，模拟先心病心脏跳动、大血管错构以及血液流向功能的开发以作为先心病心脏的医学内容教学，包括：先心病心脏的外形、内部结构的展示，主要是心脏的外观整体显示、内部显示、子模型单个透明度显示，整体模型变换、单独模型的平移、删除、放缩等功能，或是对全部模型实现还原初始状态、剖面查看的功能；在相应结构显示时会有相应文本及语音介绍；其中，先心病心脏的内部结构左心房、右心房、左心室、右心室以及左心房、右心房、左心室、右心室进出口的瓣膜；先心病心脏大血管错构模型以及心脏血流动力学变化动画的切换播放。

技术总结

本发明实施例提供的一种基于VR/AR的先天性心脏病血流动力学仿真教学方法及系统，基于真实的人体心脏图像，利用3D max软件建立了准确的心脏三维几何模型，模型包括左心房、右心房、左心室、右心室等结构。然后利用3D max软件对建好的模型进行了进一步的修洁和优化，为后续的有限元分析提供了较为精确的三维模型。并通过人机交互技术，操作人员能从多角度观察重建后的图像，因此可以更加准确直观的观察心脏的构成情况。观察心脏收缩和舒张运动，以及心脏收缩和舒张运动时左心房、右心房、左心室、右心室瓣膜的开关和血液流动方向。心室瓣膜的开关和血液流动方向。心室瓣膜的开关和血液流动方向。