一种混合现实训练指挥全息沙盘系统及算法的制作方法

1.本发明涉及混合现实训练指挥系统，尤其涉及一种混合现实训练指挥全息沙盘系统及算法。

背景技术：

2.沙盘是地理信息的立体化展示工具，被广泛应用于作业指挥、城市规划、大型赛事活动等领域，然而，传统实体沙盘已经逐渐难以满足复杂动态变化信息的呈现需求。近年来，混合现实技术快速发展，通过在现实场景中叠加虚拟内容，令物理空间和虚拟空间相交叠，融合产生新的可视化环境，为用户提供增强全息实时数字内容，衍生出混合现实电子沙盘的应用形态。mr沙盘是在传统经典的物理沙盘的基础上，采用增强现实的技术来构建的虚拟地形模型。mr沙盘系统不仅包含了经典沙盘形象、直观、立体的特征，还能够表现出生动形象的地形地势，真切地显示出河流、丘陵等地势特征，可以高精度地呈现等高线、等值面、高度、通视、坡向、坡度等多种信息，并保留传统真实沙盘的细节信息。此外，mr沙盘还拥有多次使用、方便快捷、灵活度高等诸多传统沙盘所没有的特点。除此之外，mr沙盘还具有交互多样化、显示多元化、配置模块化和功能集成化的独特优势：可结合数字地图、二维或三维的图像、ar/mr共同展示等元素，构成多样性的显示操作系统；可配置场景展示、实时互动、协同处理、互联通讯、模拟仿真、精准操控等多种功能。
3.随着科学技术水平的不断提升，计算机视觉也随之成长迅速，包括物体识别、车辆识别、人脸识别、手势识别等人工智能技术，这些种类也应用在社会生活的各个领域当中。伴随着这些技术，如今新型混合现实沙盘(mr沙盘)也应运而生，在原始经典沙盘的基础上增加了投影功能，通过深度传感器，依据沙盘的高度将相应的场景与物体投影至沙盘上来增强现实。与传统固定模型的沙盘相比，该沙盘可以随心地修改地形地貌，还可以投影更加真实的场景物体在上面，可用来进行地形模拟研究，也可以用来地理教学展示，然而在需要对沙盘的内容进行操控时，常规的鼠标键盘输入方式会明显降低操作效率。

技术实现要素：

4.本发明要解决的技术问题在于，针对现有技术的不足，提供一种具有高效的mr沙盘操作能力、能完成混合现实训练指挥的全息沙盘系统及算法。
5.为解决上述技术问题，本发明采用如下技术方案。
6.一种混合现实训练指挥全息沙盘系统，其包括有桌架、沙盘、全息投影仪、主机、头戴ar设备和传感手套，所述全息投影仪、所述头戴ar设备和所述传感手套均与所述主机建立通信，所述全息投影仪朝向所述沙盘，且所述全息投影仪用于向所述沙盘投射全息影像，所述头戴ar设备和所述传感手套分别用于采集操作人员的视线数据和手势数据并传输至所述主机，所述主机用于对视线数据和手势数据进行分析处理后，根据处理结果对所述全息影像中的虚拟对象进行操控。
7.优选地，所述桌架上固定有支架，所述全息投影仪安装于所述支架上。
8.优选地，所述头戴ar设备采集的视线数据包括视线的垂直方向数据和水平方向数据。
9.优选地，所述传感手套上设有多个加速度计和触摸传感器，所述传感手套采集的数据包括加速度数据和触摸数据。
10.一种混合现实训练指挥全息沙盘算法，所述算法基于一系统实现，所述系统包括有桌架、沙盘、全息投影仪、主机、头戴ar设备和传感手套，所述全息投影仪、所述头戴ar设备和所述传感手套均与所述主机建立通信，所述全息投影仪朝向所述沙盘，所述算法包括如下步骤：步骤s1，所述全息投影仪向所述沙盘投射全息影像；步骤s2，所述头戴ar设备和所述传感手套分别用于采集操作人员的视线数据和手势数据并传输至所述主机；步骤s3，所述主机用于对视线数据和手势数据进行分析处理后，根据处理结果对所述全息影像中的虚拟对象进行操控。
11.优选地，所述主机通过预设的视线估计方法对所述头戴ar设备采集的视线数据进行处理。
12.优选地，所述视线估计方法包括基于几何的估计方法：通过检测眼睛的眼角特征、瞳孔特征来进行视线估计。
13.优选地，所述视线估计方法包括基于外观的估计方法：学习训练一个将外观映射到视线估计模型。
14.本发明公开的混合现实训练指挥全息沙盘系统及算法，在实现过程中，所述沙盘上先预制实际地理造型，利用所述全息投影仪向所述沙盘投射全息影像，再利用所述头戴ar设备和所述传感手套分别采集操作人员的视线数据和手势数据，之后将采集的视线数据和手势数据传输至所述主机，具体处理过程中，所述主机对视线数据和手势数据进行分析处理，根据处理结果对所述全息影像中的虚拟对象进行操控。相比现有技术中仅通过键盘、鼠标进行虚拟操控的方式而言，本发明高效地完成了mr沙盘虚拟操作，较好地满足了混合现实训练指挥应用需求。
附图说明
15.图1为本发明混合现实训练指挥全息沙盘系统的硬件结构图；
16.图2为本发明混合现实训练指挥全息沙盘算法的流程图；
17.图3为不同视线角度示意图；
18.图4为视线方向示意图；
19.图5为可触范围内与可触范围外的交互示意图；
20.图6为光线投射与捏合手势原理示意图。
具体实施方式
21.下面结合附图和实施例对本发明作更加详细的描述。
22.本发明公开了一种混合现实训练指挥全息沙盘系统，请参见图1，其包括有桌架1、沙盘2、全息投影仪3、主机4、头戴ar设备和传感手套，所述全息投影仪3、所述头戴ar设备和所述传感手套均与所述主机4建立通信，所述全息投影仪3朝向所述沙盘2，且所述全息投影仪3用于向所述沙盘2投射全息影像，所述头戴ar设备和所述传感手套分别用于采集操作人
员的视线数据和手势数据并传输至所述主机4，所述主机4用于对视线数据和手势数据进行分析处理后，根据处理结果对所述全息影像中的虚拟对象进行操控。
23.上述系统在实现过程中，所述沙盘2上先预制实际地理造型，利用所述全息投影仪3向所述沙盘2投射全息影像，再利用所述头戴ar设备和所述传感手套分别采集操作人员的视线数据和手势数据，之后将采集的视线数据和手势数据传输至所述主机4，具体处理过程中，所述主机4对视线数据和手势数据进行分析处理，根据处理结果对所述全息影像中的虚拟对象进行操控。相比现有技术中仅通过键盘、鼠标进行虚拟操控的方式而言，本发明高效地完成了mr沙盘虚拟操作，较好地满足了混合现实训练指挥应用需求。
24.为了安装和固定所述全息投影仪3，在本实施例中，所述桌架1上固定有支架5，所述全息投影仪3安装于所述支架5上。实际应用中，首先，设计好沙盘的长、宽、高尺寸大小，并预定木制木板木棍底座支架、金属框架以及连接结构零件等。
25.作为一种优选方式，所述头戴ar设备采集的视线数据包括视线的垂直方向数据和水平方向数据。
26.实际应用中，三维视线估计的目标是从眼睛图片或人脸图片中推导出人的视线方向。通常，这个视线方向是由两个角度，pitch(垂直方向)和yaw(水平方向)来表示的，请参见图3，在相机坐标系下，视线的方向不仅取决于眼睛的状态(眼珠位置、眼睛开合程度等)，还取决于头部姿态，请参见图4，人物眼睛虽然相对头部是斜视，但在相机坐标系下，他看的是正前方。
27.关于手势数据的采集，在本实施例中，所述传感手套上设有多个加速度计和触摸传感器，所述传感手套采集的数据包括加速度数据和触摸数据。
28.具体地，手势识别这个术语指的是跟踪人类手势、识别其表示和转换为语义上有意义的命令的整个过程。手势识别设计过程中，用于设备控制的手势识别为输入并且通过将命令映射为输出的系统。一般而言，从手势交互信息采集的途径是接触式还是非接触式的，可将手势交互系统划分为基于接触式的传感器和基于非接触类的传感器的两类。
29.在此基础上，本发明还公开了一种混合现实训练指挥全息沙盘算法，结合图2至图6所示，所述算法基于一系统实现，所述系统包括有桌架1、沙盘2、全息投影仪3、主机4、头戴ar设备和传感手套，所述全息投影仪3、所述头戴ar设备和所述传感手套均与所述主机4建立通信，所述全息投影仪3朝向所述沙盘2，所述算法包括如下步骤：
30.步骤s1，所述全息投影仪3向所述沙盘2投射全息影像；
31.步骤s2，所述头戴ar设备和所述传感手套分别用于采集操作人员的视线数据和手势数据并传输至所述主机4；
32.步骤s3，所述主机4用于对视线数据和手势数据进行分析处理后，根据处理结果对所述全息影像中的虚拟对象进行操控。
33.本实施例中，所述主机4通过预设的视线估计方法对所述头戴ar设备采集的视线数据进行处理。
34.进一步地，所述视线估计方法包括：
35.1、基于几何的估计方法：通过检测眼睛的眼角特征、瞳孔特征来进行视线估计。
36.2、所述视线估计方法包括基于外观的估计方法：学习训练一个将外观映射到视线估计模型。
37.在本实施例中，视线估计方法可以分为基于几何的方法(geometry based methods)和基于外观的方法(appearance basedmethods)两大类。基于几何的方法的基本思想是检测眼睛的一些特征(例如眼角、瞳孔位置等关键点)，然后根据这些特征来计算gaze。而基于外观的方法则是直接学习一个将外观映射到gaze的模型。两类方法各有特点：几何方法相对更准确，且对不同的domain表现稳定，然而这类方法对图片的质量和分辨率有很高的要求；基于外观的方法对低分辨和高噪声的图像表现更好，但模型的训练需要大量数据，并且容易对domain overfitting。随着深度学习的崛起以及大量数据集的公开，基于外观的方法越来越受到关注。
38.实际应用中，结合图5和图6所示，从虚拟对象全集中识别或选取出目标对象的任务，也称为目标获取任务，选择任务的交互方式可以按照交互对象与用户的距离分为可触范围内的对象交互和可触范围外的对象交互，与可触范围内对象进行选择任务交互，执行选择任务时可以直接触摸虚拟对象，是与物理世界相一致的最自然的人机交互方式。与可触范围外对象进行选择任务交互明显区别于物理世界中的交互，用户需要指向并瞄准目标物体，再完成确认。请参见图5，在选择任务中，交互过程由指向瞄准、确认选择、选择反馈3个过程组成，目前主要的指向操作技术是基于矢量光线投射技术，光线可以从手部、头部或眼睛投射，光线与虚拟物体相交处呈现光标。
39.请参见图6，本实施例中主要的确认操作为捏合手势，通过捏合或张开手指来完成确认。混合现实电子沙盘与一般的混合现实应用相比，更强调空间位置信息和用户观察方位，在用户周边可触范围内或远处可触范围外，都存在较多基于空间位置的标注信息呈现与交互，单纯的手部、头部或眼部的交互都难以满足良好的交互体验需求。
40.以上所述只是本发明较佳的实施例，并不用于限制本发明，凡在本发明的技术范围内所做的修改、等同替换或者改进等，均应包含在本发明所保护的范围内。

技术特征：

1.一种混合现实训练指挥全息沙盘系统，其特征在于，包括有桌架(1)、沙盘(2)、全息投影仪(3)、主机(4)、头戴ar设备和传感手套，所述全息投影仪(3)、所述头戴ar设备和所述传感手套均与所述主机(4)建立通信，所述全息投影仪(3)朝向所述沙盘(2)，且所述全息投影仪(3)用于向所述沙盘(2)投射全息影像，所述头戴ar设备和所述传感手套分别用于采集操作人员的视线数据和手势数据并传输至所述主机(4)，所述主机(4)用于对视线数据和手势数据进行分析处理后，根据处理结果对所述全息影像中的虚拟对象进行操控。2.如权利要求1所述的混合现实训练指挥全息沙盘系统，其特征在于，所述桌架(1)上固定有支架(5)，所述全息投影仪(3)安装于所述支架(5)上。3.如权利要求1所述的混合现实训练指挥全息沙盘系统，其特征在于，所述头戴ar设备采集的视线数据包括视线的垂直方向数据和水平方向数据。4.如权利要求1所述的混合现实训练指挥全息沙盘系统，其特征在于，所述传感手套上设有多个加速度计和触摸传感器，所述传感手套采集的数据包括加速度数据和触摸数据。5.一种混合现实训练指挥全息沙盘算法，其特征在于，所述算法基于一系统实现，所述系统包括有桌架(1)、沙盘(2)、全息投影仪(3)、主机(4)、头戴ar设备和传感手套，所述全息投影仪(3)、所述头戴ar设备和所述传感手套均与所述主机(4)建立通信，所述全息投影仪(3)朝向所述沙盘(2)，所述算法包括如下步骤：步骤s1，所述全息投影仪(3)向所述沙盘(2)投射全息影像；步骤s2，所述头戴ar设备和所述传感手套分别用于采集操作人员的视线数据和手势数据并传输至所述主机(4)；步骤s3，所述主机(4)用于对视线数据和手势数据进行分析处理后，根据处理结果对所述全息影像中的虚拟对象进行操控。6.如权利要求5所述的混合现实训练指挥全息沙盘处理方法，其特征在于，所述主机(4)通过预设的视线估计方法对所述头戴ar设备采集的视线数据进行处理。7.如权利要求6所述的混合现实训练指挥全息沙盘处理方法，其特征在于，所述视线估计方法包括基于几何的估计方法：通过检测眼睛的眼角特征、瞳孔特征来进行视线估计。8.如权利要求6所述的混合现实训练指挥全息沙盘处理方法，其特征在于，所述视线估计方法包括基于外观的估计方法：学习训练一个将外观映射到视线估计模型。

技术总结

本发明公开了一种混合现实训练指挥全息沙盘系统及算法，其包括有桌架、沙盘、全息投影仪、主机、头戴AR设备和传感手套，所述全息投影仪、所述头戴AR设备和所述传感手套均与所述主机建立通信，所述全息投影仪朝向所述沙盘，且所述全息投影仪用于向所述沙盘投射全息影像，所述头戴AR设备和所述传感手套分别用于采集操作人员的视线数据和手势数据并传输至所述主机，所述主机用于对视线数据和手势数据进行分析处理后，根据处理结果对所述全息影像中的虚拟对象进行操控。相比现有技术中仅通过键盘、鼠标进行虚拟操控的方式而言，本发明高效地完成了MR沙盘虚拟操作，较好地满足了混合现实训练指挥应用需求。实训练指挥应用需求。实训练指挥应用需求。