(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 202010365989.1
(22)申请日 2020.04.30
(71)申请人 众妙之门（深圳）科技有限公司
地址 518000 广东省深圳市前海深港合作
区南山街道临海大道59号海运中心口
岸楼208E-46
(72)发明人 朱煜
(51)Int.Cl.
G09B 9/00(2006.01)
(54)发明名称基于虚拟现实技术的教师培训系统及方法(57)摘要本发明公开了一种基于虚拟现实技术的教师培训系统及方法，解决现有技术中的实习教学会造成教学质量低、实习效率低下、以及实习者的成本高等问题。属于虚拟现实教学技术领域。本发明包括用于存储构建好的虚拟教室和可对使用者的授课状态进行智能反应的虚拟学生；用于使用者观看虚拟教室和虚拟学生的三维影像；用于采集使用者授课时的各状态参数；智能控制系统：用于控制虚拟教室和虚拟学生的三维图在VR头显中显示；同时获取多模态传感器采集的各状态参数评估使用者的讲课状态，并根据使用者的讲课状态、虚拟学生的学习能力以及虚拟学生周围同学的反应决定虚拟学生的学习状态，并刻画为虚拟学生的面部表情和肢体动作。本发明用 于教学。权利要求书3页 说明书9页 附图5页CN 111477055 A 2020.07.31
C N 111477055
A
1.一种基于虚拟现实技术的教师培训系统，其特征在于：包括；
游戏引擎：用于存储构建好的虚拟教室和可对使用者的授课状态进行智能反应的虚拟学生；
VR头显：用于使用者观看虚拟教室和虚拟学生的三维影像；
多模态传感器：用于采集使用者授课时的各状态参数；
智能控制系统：用于控制虚拟教室和虚拟学生的三维图在VR头显中显示；同时获取多模态传感器采集的各状态参数评估使用者的讲课状态，并根据使用者的讲课状态、虚拟学生的学习能力以及虚拟学生周围同学的反应决定虚拟学生的学习状态，并刻画为虚拟学生的面部表情和肢体动作。
2.根据权利要求1所述的一种基于虚拟现实技术的教师培训系统，其特征在于：所述游戏引擎还存储有虚拟黑板程序、虚拟投影仪程序、虚拟笔程序和虚拟激光笔程序；
所述虚拟黑板程序与墙面或平面撑板构成虚拟黑板；
所述虚拟投影仪程序用于使用者在授课过程中播放电脑中的幻灯片，通过虚拟激光笔程序进行翻页和屏幕指示操作；
所述虚拟笔程序通过带定位传感器的VR控制手柄在墙面或平面撑板上进行书写区域框选、在框选区域内进行书写字迹，框选区域即指虚拟黑板；
所述VR控制手柄控制虚拟激光笔程序来实现幻灯片的翻页和屏幕指示操作。
3.根据权利要求2所述的一种基于虚拟现实技术的教师培训系统，其特征在于：所述多模态传感器包括；
腕式智能手表：用以收集使用者的心跳、体温、皮肤电导体状态参数；
眼球跟踪仪：用以确定使用者与虚拟学生的眼神交流的时间、角度和距离状态参数；
语音特征传感器：用于监测使用者的语速、语调、音量和呼吸状态参数；
肢体动作传感器：用于获取使用者的肢体动作状态参数。
4.根据权利要求3所述的一种基于虚拟现实技术的教师培训系统，其特征在于：所述眼球跟踪仪和语音特征传感器设置在VR头显上。
5.根据权利要求3所述的一种基于虚拟现实技术的教师培训系统，其特征在于：所述肢体动作传感器设置在VR控制手柄上；
VR控制手柄上还设置有书写棒。
6.根据权利要求3所述的一种基于虚拟现实技术的教师培训系统，其特征在于：所述智能控制系统刻画为虚拟学生的面部表情和肢体动作的具体实现方式为：先给定每个虚拟学生的相关参数，包括学习基础、学习兴趣、在教室中的位置；
通过语音特征传感器获取使用者的讲课音频，采用自然语言分析讲课音频的语速、语调、音量和呼吸状态参数，得到使用者的讲课逻辑；同时
通过腕式智能手表获取的使用者的心跳、体温、皮肤电导体状态参数和肢体动作传感器获取的肢体动作状态参数，采用机器学习模型评估，得到使用者的讲课生动性；同时通过眼球跟踪仪和虚拟学生的位置获取的眼神交流的时间、角度和距离状态参数得到教师关注度；同时
实时获取各虚拟学生的周围学生反应，即提取周围虚拟学生的状态参数，表示各周围各虚拟学生的参与度；
基于虚拟学生的学习基础和使用者的讲课逻辑得到虚拟学生的理解度，即将虚拟学生的学习基础和使用者的讲课逻辑作为变量，通过线性组合加上一个相互作用项构成关系式得到虚拟学生的理解度，其中，关系式中的系数可以通过若干实验进行拟合；
基于使用者的讲课生动性、虚拟学生的学习兴趣、教师关注度和虚拟学生的周围学生反应得到虚拟学生投入度，即将使用者的讲课生动性、虚拟学生的学习兴趣、教师关注度和虚拟学生的周围学生反应通过线性组合加上一个相互作用项构成关系式得到虚拟学生投入度，其中，关系式中的系数可以通过若干实验进行拟合；
基于虚拟学生的理解度和虚拟学生投入度刻画各虚拟学生的面部表情和肢体动作，即通过操作虚拟学生的人物绑骨和面部网格实现，具体实现过程为：先将虚拟学生的理解度和虚拟学生投入度构成一个二维空间，在二维空间中选取若干有代表性的点，对每一个具有代表性的点设计相应的面部表情和肢体动作，并进行存储，在虚拟教学过程中，根据每个学生在二维空间中的位置，随机显示各个代表性的点所对应的面部表情和肢体动作，离哪个代表性的点越近，显示该代表点的几率则越大，其中，有代表性的点包括理解度高投入度高、理解度高投入度低、理解度低投入度高和理解度低投入度低的点。
7.一种基于虚拟现实技术的教师培训方法，其特征在于：包括；
在游戏引擎中构建虚拟教室和可对使用者的授课状态进行智能反应的虚拟学生；
使用者通过VR头显观看虚拟教室和虚拟学生的三维影像；
采用多模态传感器采集使用者授课时的各状态参数；
控制虚拟教室和虚拟学生的三维图在VR头显中显示；同时
获取多模态传感器采集的各状态参数评估使用者的讲课状态，并根据使用者的讲课状态、虚拟学生的学习能力以及虚拟学生周围同学的反应决定虚拟学生的学习状态，并刻画为虚拟学生的面部表情和肢
体动作。
8.根据权利要求7所述的一种基于虚拟现实技术的教师培训方法，其特征在于：所述虚拟教室包括静态场景和动态场景；
静态场景，用于基于教室的实景照片，采用3D建模软件构建虚拟静态场景，实景照片包括教室的房间、室内布景、桌椅、讲台和灯光；
动态场景包括：
虚拟黑板程序，用于使用者在授课过程中在黑板上书写或修改；
虚拟投影仪程序，用于使用者在授课过程中播放幻灯片；
虚拟激光笔程序，用于使用者进行幻灯片翻页和屏幕指示操作；
虚拟学生，基于不同身体形态、性别和装束的有绑骨的三维人物模型实现。
9.根据权利要求8所述的一种基于虚拟现实技术的教师培训方法，其特征在于：所述虚拟黑板程序与墙面或平面撑板构成虚拟黑板；
所述虚拟投影仪程序用于使用者在授课过程中播放电脑中的幻灯片，通过虚拟激光笔程序进行翻页和屏幕指示操作；
所述虚拟笔程序通过带定位传感器的VR控制手柄在墙面或平面撑板上进行书写区域框选、在框选区域内进行书写字迹，框选区域即指虚拟黑板；
所述VR控制手柄控制虚拟激光笔程序来实现幻灯片的翻页和屏幕指示操作；
训练开始前，使用者通过VR控制手柄放到墙面或平面支撑板的四个顶角并扣动扳机，
VR控制手柄的定位传感器确定虚拟黑板与虚拟教室的相对位置，再在虚拟黑板上书写，书写由VR控制手柄上设置的木棒实现，给使用者以真实的触碰感，书写过程中，VR头显实时追踪VR控制手柄的位置，得出木棒书写端部的运动轨迹并在虚拟黑板上显示书写字迹。
10.根据权利要求9所述的一种基于虚拟现实技术的教师培训方法，其特征在于：采用多模态传感器；
收集使用者的心跳、体温、皮肤电导体状态参数；
确定使用者与虚拟学生的眼神交流的时间、角度和距离状态参数；
监测使用者的语速、语调、音量和呼吸状态参数；
获取使用者的肢体动作状态参数；
采用智能控制系统刻画为虚拟学生的面部表情和肢体动作的具体实现方式为：
先给定每个虚拟学生的相关参数，包括学习基础、学习兴趣、在教室中的位置；
通过语音特征传感器获取使用者的讲课音频，采用自然语言分析讲课音频的语速、语调、音量和呼吸状态参数，得到使用者的讲课逻辑；同时
通过腕式智能手表获取的使用者的心跳、体温、皮肤电导体状态参数和肢体动作传感器获取的肢体动作状态参数，采用机器学习模型评估，得到使用者的讲课生动性；同时通过眼球跟踪仪和虚拟学生的位置获取的眼神交流的时间、角度和距离状态参数得到教师关注度；同时
实时获取各虚拟学生的周围学生反应，即提取周围虚拟学生的状态参数，表示各周围各虚拟学生的参与度；
基于虚拟学生的学习基础和使用者的讲课逻辑得到虚拟学生的理解度，即将虚拟学生的学习基础和使用者的讲课逻辑作为变量，通过线性组合加上一个相互作用项构成关系式得到虚拟学生的理解度，其中，关系式中的系数可以通过若干实验进行拟合；
基于使用者的讲课生动性、虚拟学生的学习兴趣、教师关注度和虚拟学生的周围学生反应得到虚拟学生投入度，即将使用者的讲课生动性、虚拟学生的学习兴趣、教师关注度和虚拟学生的周围学生反应通过线性组合加上一个相互作用项构成关系式得到虚拟学生投入度，其中，关系式中的系数可以通过若干实验进行拟合；
基于虚拟学生的理解度和虚拟学生投入度刻画各虚拟学生的面部表情和肢体动作，即通过操作虚拟学生的人物绑骨和面部网格实现，具体实现过程为：先将虚拟学生的理解度和虚拟学生投入度构成一个二维空间，在二维空间中选取若干有代表性的点，对每一个具有代表性的点设计相应的面部表情和肢体动作，并进行存储，在虚拟教学过程中，根据每个学生在二维空间中的位置，随机显示各个代表性的点所对应的面部表情和肢体动作，离哪个代表性的点越近，显示该代表点的几率则越大，其中，有代表性的点包括理解度高投入度高、理解度高投入度低、理解度低投入度高和理解度低投入度低的点。
基于虚拟现实技术的教师培训系统及方法技术领域
[0001]一种基于虚拟现实技术的教师培训系统及方法，用于教学，属于虚拟现实教学技术领域。
背景技术
[0002]教育是一个国家的立国之本，也是民族振兴、社会进步的基石。教师不能仅定义为幼儿教师、小学教师、中学教师、高中教师和大学教师，还应该包括工作中、企业内部和外部的培训教师，即培训教师或讲师等，教师是课堂教育的组织者和实施者，是教育体系中至关重要的一环。为了培养合格的教师，除了需要开设文化课程和教育课程外，还会安排教育实习。教学实习可以让教育理论与教学实践相结合，以此来评价是否为一名合格的教师。
[0003]然而，现有技术中的教学实习存在如下弊端：
[0004]一、首次实习，实习者缺乏组织教学的经验，教学质量无法保障，会造成教学质量低，影响学生们的学习进程；
[0005]二、教学环境不可控，每节实习课遇到的问题都会不同，无法有针对性地反复练习或无法全面的收集实习过程中遇到的问题，即会造成实习效率低下，实习教学资源被浪费等问题；
[0006]三、实习成本较高，实习者需要进驻学校，由此产生旅行和住宿费用，对实习者会造成经济负担；
[0007]四、缺乏教学经验的实习生大多会有紧张情绪，在短时间内很难培养实习生在公众环境下的讲话自信，现有技术无法帮助使用者快速克服这一心理障碍；
[0008]五、传统实习受到时间、地点、学生人数、学生基础、教学科目的限制；
[0009]六、传统实习模式无法定量分析每一位实习生的表现。
发明内容
[0010]本发明的目的在于提供一种基于虚拟现实技术的教师培训系统及方法，解决现有技术中的实习教学会造成教学质量低、实习效率低下、以及实习者的成本高等问题。
[0011]为了实现上述目的，本发明采用的技术方案为：
[0012]一种基于虚拟现实技术的教师培训系统，包括；
[0013]游戏引擎：用于存储构建好的虚拟教室和可对使用者的授课状态进行智能反应的虚拟学生；
[0014]VR头显：用于使用者观看虚拟教室和虚拟学生的三维影像；
[0015]多模态传感器：用于采集使用者授课时的各状态参数；
[0016]智能控制系统：用于控制虚拟教室和虚拟学生的三维图在VR头显中显示；同时获取多模态传感器采集的各状态参数评估使用者的讲课状态，并根据使用者的讲课状态、虚拟学生的学习能力以及虚
拟学生周围同学的反应决定虚拟学生的学习状态，并刻画为虚拟学生的面部表情和肢体动作。
说 明 书
1/9页CN 111477055 A
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议