混合现实机器人自然交互方法与流程

1.本技术中涉及数据处理技术，尤其是一种混合现实机器人自然交互方法。

背景技术：

2.人-机器人交互(human-robot interaction，hri)是指人与机器人之间通过某种特定的传感器和接口，在一定的交互技术支撑下实现相互理解的信息通信。
3.hri研究的目的是使机器人与人类和谐共处、自然高效地完成用户交代的任务并为用户提供及时有效的反馈。hri技术的发展不仅有益于提高人类的工作效率，而且有助于满足人类的生活需求。目前，hri技术已经成为机器人应用领域的一种重要研究热点。
4.然而，相关技术中经常出现一个问题，即现有的人机交互技术中，所采用的交互界面多为电脑屏幕，并使用鼠标和键盘进行交互。这也导致存在有用户与机器人的交互感知不明显的弊端。从而影响了用户的使用体验。

技术实现要素：

5.本技术实施例提供一种混合现实机器人自然交互方法。用以解决相关技术中存在的，现有的人机交互技术所存在的用户与机器人的交互感知不明显的问题。
6.其中，根据本技术实施例的一个方面，提供的一种混合现实机器人自然交互方法，包括：
7.对多个混合现实设备与机器人之间进行同步定位；以及，利用预设共享方式，建立各个混合现实设备之间的空间共享关系，所述空间共享关系用于实现各混合现实设备之间共享同一空间定位坐标系；
8.利用预设网络通讯方式，实现所述混合现实设备与所述机器人传输交互信息，并将所述机器人发送的状态信息、传感器数据与动作意图信息实时展示在所述混合现实设备的显示区域中。
9.可选地，在基于本技术上述方法的另一个实施例中，所述对多个混合现实设备与机器人之间进行同步定位，包括：
10.对多个混合现实设备与机器人之间进行时间信息、动态音视频虚拟影像信息、交互响应信息的同步定位。
11.可选地，在基于本技术上述方法的另一个实施例中，所述利用预设共享方式，建立各个混合现实设备之间的空间共享关系，包括：
12.利用基于空间锚点实现的共享方式，建立各个混合现实设备之间的空间共享关系；或，
13.利用基于实物锚点实现的共享方式，建立各个混合现实设备之间的空间共享关系，所述实物锚点包括二维码。
14.可选地，在基于本技术上述方法的另一个实施例中，所述利用预设网络通讯方式，实现所述混合现实设备与机器人传输交互信息，包括：
15.利用物理通信层、系统通讯协议层、应用通讯交互层和人机交互界面层，实现所述混合现实设备与所述机器人传输交互信息；
16.其中，所述物理通信层基于无线通信方式实现交互信息的传输、所述系统通讯协议层基于tcp协议实现交互信息的传输、应用通讯交互层基于json格式的系统指令实现交互信息的传输、人机交互界面层基于手势指令实现交互信息的传输。
17.可选地，在基于本技术上述方法的另一个实施例中，所述利用人机交互界面层，实现所述混合现实设备与所述机器人传输交互信息，包括：
18.利用所述人机交互界面层识别的，用户针对手势菜单或物体控制交互手柄的操作指令，实现所述混合现实设备与所述机器人之间交互信息的传输。
19.可选地，在基于本技术上述方法的另一个实施例中，所述将所述机器人发送的状态信息、传感器数据与动作意图信息实时展示在所述混合现实设备的显示区域中，包括：
20.由所述机器人的操作系统ros接收所述机器人发送的状态信息、传感器数据与动作意图信息；
21.将所述状态信息、传感器数据与动作意图信息转换为预设数字化数据，所述预设数字化数据包括图像数据以及语音数据的其中至少一种；
22.将所述预设数字化数据实时展示在所述混合现实设备的显示区域中。
23.可选地，在基于本技术上述方法的另一个实施例中，所述状态信息包括以下至少一种：
24.所述机器人的移动方向信息、位置信息、姿态信息、电量信息、速度信息、角速度信息；以及，
25.所述传感器数据包括以下至少一种：
26.所述机器人利用摄像装置采集的图像数据、所述机器人利用激光雷达装置采集的3d数据、所述机器人所属场景的3d地图数据；以及，
27.所述动作意图信息包括以下至少一种：
28.所述机器人经过路线的障碍物信息、所述机器人的已执行信息。
29.其中，根据本技术实施例的又一个方面，提供的一种混合现实机器人自然交互装置，其特征在于，包括：
30.建立模块，被配置为对多个混合现实设备与机器人之间进行同步定位；以及，利用预设共享方式，建立各个混合现实设备之间的空间共享关系，所述空间共享关系用于实现各混合现实设备之间共享同一空间定位坐标系；
31.交互模块，被配置为利用预设网络通讯方式，实现所述混合现实设备与所述机器人传输交互信息，并将所述机器人发送的状态信息、传感器数据与动作意图信息实时展示在所述混合现实设备的显示区域中。
32.根据本技术实施例的又一个方面，提供的一种电子设备，包括：
33.存储器，用于存储可执行指令；以及
34.显示器，用于与所述存储器以执行所述可执行指令从而完成上述任一所述混合现实机器人自然交互方法的操作。
35.根据本技术实施例的还一个方面，提供的一种计算机可读存储介质，用于存储计算机可读取的指令，所述指令被执行时执行上述任一所述混合现实机器人自然交互方法的
操作。
36.本技术中，可以对多个混合现实设备与机器人之间进行同步定位；以及，利用预设共享方式，建立各个混合现实设备之间的空间共享关系，空间共享关系用于实现各混合现实设备之间共享同一空间定位坐标系；利用预设网络通讯方式，实现混合现实设备与机器人传输交互信息，并将机器人发送的状态信息、传感器数据与动作意图信息实时展示在混合现实设备的显示区域中。通过应用本技术的技术方案，可以实现一种由用户佩戴混合现实设备来与机器人进行交互的技术方案。其具体为可以首先实现各个混合现实设备与机器人跨平台的坐标统一与互定位，进而通过实时通信的方式，使得混合现实设备与机器人互相传输信息。从而一方面实现了增强用户对场景信息和机器人意图的感知，使得交互更自然、直观的目的。另一方面也提高了用户操作机器人的操作完成率，且有效减少了操作时间，从而达到提高用户的人机交互体验的目的。
37.下面通过附图和实施例，对本技术的技术方案做进一步的详细描述。
附图说明
38.构成说明书的一部分的附图描述了本技术的实施例，并且连同描述一起用于解释本技术的原理。
39.参照附图，根据下面的详细描述，可以更加清楚地理解本技术，其中：
40.图1示出了本技术一实施例所提供的一种混合现实机器人自然交互方法示意图；
41.图2示出了本技术一实施例所提供的一种混合现实机器人自然交互方法的流程示意图；
42.图3示出了本技术一实施例所提供的一种混合现实机器人自然交互过程中，预设网络通讯方式的示意图；
43.图4示出了本技术一实施例所提供的一种混合现实设备的显示区域的示意图；
44.图5示出了本技术一实施例所提供的一种电子装置的结构示意图；
45.图6示出了本技术一实施例所提供的一种电子设备的结构示意图；
46.图7示出了本技术一实施例所提供的一种存储介质的示意图。
具体实施方式
47.现在将参照附图来详细描述本技术的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本技术的范围。
48.同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
49.以下对至少一个示例性实施例的描述实际上仅仅是说明性的，不作为对本技术及其应用或使用的任何限制。
50.对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
51.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
52.另外，本技术各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本技术要求的保护范围之内。
53.需要说明的是，本技术实施例中所有方向性指示(诸如上、下、左、右、前、后
……
)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应的随之改变。
54.下面结合图1-图4来描述根据本技术示例性实施方式的用于进行混合现实机器人自然交互方法。需要注意的是，下述应用场景仅是为了便于理解本技术的精神和原理而示出，本技术的实施方式在此方面不受任何限制。相反，本技术的实施方式可以应用于适用的任何场景。
55.本技术还提出一种混合现实机器人自然交互方法。
56.图1示意性地示出了根据本技术实施方式的一种混合现实机器人自然交互方法的流程示意图。如图1所示，该方法包括：
57.s101，对多个混合现实设备与机器人之间进行同步定位；以及，利用预设共享方式，建立各个混合现实设备之间的空间共享关系，空间共享关系用于实现各混合现实设备之间共享同一空间定位坐标系；
58.s102，利用预设网络通讯方式，实现混合现实设备与机器人传输交互信息，并将机器人发送的状态信息、传感器数据与动作意图信息实时展示在混合现实设备的显示区域中。
59.相关技术中，机器人要与人类一起轻松操作，用户应该能够直观地与它们交互，而且由于安全至关重要，机器人需要一种方法来清楚地传达其意图。其中，当前的机器人交互框架通常涉及从远程工作站或控制器操作机器人，或者只是将机器人和人员隔离在环境中的不同部分，但无法充分应对这些挑战。
60.然而，相关技术中的人机交互技术中，所采用的交互界面多为电脑屏幕，并使用鼠标和键盘进行交互。这也导致存在有用户与机器人的交互感知不明显的弊端。从而影响了用户的使用体验。
61.进一步的，为了针对上述存在的问题，本技术提出一种结合混合现实技术实现人机交互的方法。其思想为实现一种由用户佩戴混合现实设备来与机器人进行交互的技术方案。其具体为可以首先实现各个混合现实设备与机器人跨平台的坐标统一与互定位，进而通过实时通信的方式，使得混合现实设备与机器人互相传输信息。
62.其中，随着技术的发展，混合现实(mr)在通信、娱乐和生产力方面提供了一种新领域。举例来说，混合现实是一种通过在现实环境中引入虚拟场景信息，在现实世界、虚拟世界和用户之间搭起一个交互反馈的信息回路，以增强用户体验的真实感，具有真实性、实时互动性以及构想性的技术。
63.进一步而言，本技术利用混合现实(mr)将数字世界与物理世界融为一体，从而提供一种更轻松、更安全的与机器人交互的方式。这种能力使用户和机器人能够共享相同的空间感知，从而促进对机器人的直观控制。从而达到机器人可以根据自身对世界的表示发出信息，以及更安全的交互，以及对机器人的意图可以通过混合现实设备进行可视化。
64.具体的，本技术结合图2，对方案进行具体步骤说明：
65.步骤1、对多个混合现实设备与机器人之间进行时间信息、动态音视频虚拟影像信息、交互响应信息的同步定位。
66.进一步的，本技术实施例可以由用户通过混合现实设备(如hololens头盔显示器)与机器人进行坐标系统一，实现人机实时同步定位，即实现了人机空间信息共享。
67.举例来说，当多用户操作者同时操作混合现实设备时，就存在共享mr应用的可能，包括演示和协作，演示即混合现实设备操作者单向为多人混合现实设备操作者同步其动态虚拟影像；协作即操作者们共享一个虚拟影像的同时，还可以同步每人的实时操作交互。
68.mr共享应用核心是多人所看到的动态三维全息影影像相对时间和全局空间是重合的，所同步的信息包括时间同步信息、动态虚拟影像(包括音频)、交互响应、和空间位置，其中核心就是空间位置的同步。
69.步骤2、利用预设共享方式，建立各个混合现实设备之间的空间共享关系。
70.其中，各个混合现实设备之间的空间位置同步即保证每个混合现实设备操作者所看到的虚拟物体相对物理空间的位置是重叠的。
71.一种方式中，本技术实施例可以通过空间锚点或实物锚点的方式来建立各个混合现实设备之间的空间共享关系。
72.其中，对于空间锚点来说，其是以一个空间定位点作为锚，混合现实设备在进行空间定位时，对空间进行扫描会生成环境网格(mesh)，以及依赖该环境mesh的空间定位点。需要说明的是，多台混合现实设备在同一空间实施共享时，对所生成环境mesh进行匹配，匹配成功后同享同一空间定位点，就完成了多台混合现实设备的空间坐标系统一和同享。
73.另外，对于实物锚点来说，其是以人为放置的实物作为锚点。作为示例的，实物可以为图像和三维模型。作为另一种示例的，图像可以为二维码，以实现通过二维码上的特征点和透视信息确定锚点，建立各个混合现实设备之间的坐标轴的共享和统一。
74.以实物锚点为二维码为例进行说明，本技术实施例可以利用一种支持对二维码的识别和定位的混合现实设备(例如以vuforia作为混合现实平台进行开发的hololens头盔显示器端)来通过实现在虚拟场景中内置二维码的方法，建立起二维码和空间坐标系的对应关系。
75.进一步的，本技术中的机器人也需要支持对二维码的识别和定位的功能。例如可以通过机器人的摄像头实现对二维码朝向和大小的判断，并可通过计算反推出机器人在空间坐标系中所处位置。一种方式中，可以以二维码作为各个混合现实设备自身的空间坐标系的原点，并且都使用相同的轴向及尺寸定义。这样就能够通过该二维码作为空间定位锚点实现空间共享。
76.步骤3、利用预设网络通讯方式，实现混合现实设备与机器人传输交互信息。
77.一种方式中，如图3所示，本技术中的预设网络通讯方式可以包含以下多种通讯方式：
78.利用物理通信层、系统通讯协议层、应用通讯交互层和人机交互界面层，实现所述混合现实设备与所述机器人传输交互信息。
79.其中，对于物理通信层来说，一种方式中，机器人可以为无人车、无人机等等。由于其需要达到自由移动，不受到线束的约束的目的。因此本技术实施例可以采用无线通讯的方式作为两方交互的载体。作为示例的，例如可以包括wifi、蓝牙和5g系统。
implementation。)。
94.其中，机器人的操作系统需要接收机器人发送的状态信息(如前进、后退、左转、右转、位置、姿态、电量、速度、角速度等)、传感器获取的数据(如摄像头采集的图像、激光雷达采集的3d信息、场景的3d地图)与动作意图信息(如导航的出发点/目标点/规划路径/障碍物，前进、后退、左转、右转、确认、取消等)，并通过图形、语音、图像等数字化形式在混合现实设备(mixed reality，mr)的显示区域中进行呈现。其中，这种呈现具有mr系统虚实叠加的特性，即将虚拟的信息叠加到实际物体之上。
95.一种方式中，在混合现实设备的显示区域中进行呈现的方式可以包括悬窗、手部显示、跟随场景等等。
96.作为示例的，结合图4对以悬窗进行呈现的方式进行说明，其中悬窗可以固定在混合现实设备视场(即第一人称视角，fpv)中，为了不影响用户观察fpv，悬窗的透明度可调节，悬窗也可以方便地由用户控制出现/隐藏。
97.本技术中，可以对多个混合现实设备与机器人之间进行同步定位；以及，利用预设共享方式，建立各个混合现实设备之间的空间共享关系，空间共享关系用于实现各混合现实设备之间共享同一空间定位坐标系；利用预设网络通讯方式，实现混合现实设备与机器人传输交互信息，并将机器人发送的状态信息、传感器数据与动作意图信息实时展示在混合现实设备的显示区域中。通过应用本技术的技术方案，可以实现一种由用户佩戴混合现实设备来与机器人进行交互的技术方案。其具体为可以首先实现各个混合现实设备与机器人跨平台的坐标统一与互定位，进而通过实时通信的方式，使得混合现实设备与机器人互相传输信息。从而一方面实现了增强用户对场景信息和机器人意图的感知，使得交互更自然、直观的目的。另一方面也提高了用户操作机器人的操作完成率，且有效减少了操作时间，从而达到提高用户的人机交互体验的目的。
98.可选地，在基于本技术上述方法的另一个实施例中，对多个混合现实设备与机器人之间进行同步定位，包括：
99.对多个混合现实设备与机器人之间进行时间信息、动态音视频虚拟影像信息、交互响应信息的同步定位。
100.可选地，在基于本技术上述方法的另一个实施例中，所述利用预设共享方式，建立各个混合现实设备之间的空间共享关系，包括：
101.利用基于空间锚点实现的共享方式，建立各个混合现实设备之间的空间共享关系；或，
102.利用基于实物锚点实现的共享方式，建立各个混合现实设备之间的空间共享关系，所述实物锚点包括二维码。
103.可选地，在基于本技术上述方法的另一个实施例中，所述利用预设网络通讯方式，实现所述混合现实设备与机器人传输交互信息，包括：
104.利用物理通信层、系统通讯协议层、应用通讯交互层和人机交互界面层，实现所述混合现实设备与所述机器人传输交互信息；
105.其中，所述物理通信层基于无线通信方式实现交互信息的传输、所述系统通讯协议层基于tcp协议实现交互信息的传输、应用通讯交互层基于json格式的系统指令实现交互信息的传输、人机交互界面层基于手势指令实现交互信息的传输。
106.可选地，在基于本技术上述方法的另一个实施例中，所述利用人机交互界面层，实现所述混合现实设备与所述机器人传输交互信息，包括：
107.利用所述人机交互界面层识别的，用户针对手势菜单或物体控制交互手柄的操作指令，实现所述混合现实设备与所述机器人之间交互信息的传输。
108.可选地，在基于本技术上述方法的另一个实施例中，所述将所述机器人发送的状态信息、传感器数据与动作意图信息实时展示在所述混合现实设备的显示区域中，包括：
109.由所述机器人的操作系统ros接收所述机器人发送的状态信息、传感器数据与动作意图信息；
110.将所述状态信息、传感器数据与动作意图信息转换为预设数字化数据，所述预设数字化数据包括图像数据以及语音数据的其中至少一种；
111.将所述预设数字化数据实时展示在所述混合现实设备的显示区域中。
112.可选地，在基于本技术上述方法的另一个实施例中，所述状态信息包括以下至少一种：
113.所述机器人的移动方向信息、位置信息、姿态信息、电量信息、速度信息、角速度信息；以及，
114.所述传感器数据包括以下至少一种：
115.所述机器人利用摄像装置采集的图像数据、所述机器人利用激光雷达装置采集的3d数据、所述机器人所属场景的3d地图数据；以及，
116.所述动作意图信息包括以下至少一种：
117.所述机器人经过路线的障碍物信息、所述机器人的已执行信息。
118.一种方式中，本技术实施例可以利用共享的坐标系统，通过混合现实实现更为自然的人机交互。且支持在同一空间共同定位混合现实设备(例如hololens头盔显示器)和智能机器人。从而达到允许共享同一空间的用户和机器人更自然地进行交互。即用户可以看到机器人的状态、计划和意图，而机器人则能够从用户的角度解释命令。
119.例如，当使用通过看穿头戴式显示器(hmd)时，人可以看到真正的机器人，其它虚拟信息可以叠加在真实视图上，以提高人机交互情况下的安全性、可接受性和可预测性。特别是，在实施之前现场预览潜在的机器人操作具有巨大的潜力，可降低损坏系统或伤害人的风险。在这样的系统中，用户可以直观地、自然地控制同一位置的机器人，以完成挑选和定位任务。开发的mr界面向用户显示当前机器人编程的预览，例如控制选择或移动轨迹。
120.例如以混合现实设备为hololens头盔显示器为例，进一步对本技术提出的混合现实机器人自然交互方法进行说明：
121.例如，本技术可以利用二维码进行定位，将二维码放置在场景中固定位置，并且以该位置作为世界坐标系的原点(相应的定义世界坐标系的方向)。
122.在初始时刻，hololens头盔显示器的前置摄像头获取二维码图像并求解相对位姿r1，t1(hololens头盔显示器内置了该功能，摄像头拍摄到二维码图像时，可以通过单应计算摄像头与二维码的相对位置t与姿态r)。
123.与此同时，机器人的摄像头也拍摄该二维码图像，并通过单应计算其摄像头与二维码的相对位置姿态r2，t2。由矩阵乘法原理可以求解hololens头盔显示器摄像头与机器人摄像头之间的相对位姿r12，t12。通过该方法实现hololens头盔显示器与机器人空间配
准(即坐标系统一)与空间信息共享。
124.另外，本技术实施例中，机器人和hololens头盔显示器都可以各自通过slam技术或自身imu传感器计算其位姿变化量，并且实时获取另一方相对于自己的位姿。通过上述方式实现空间信息共享。然后，通过无线网络与机器人通信，获取机器人的遥测信息(如机器人的位姿、电量、摄像头视频等)并通过语音、手势发送指令控制机器人。
125.进一步的，本技术实施例还可以在hololens头盔显示器上提供虚拟交互界面(控制面板)，显示机器人状态和意图(可以是以文字、图形、动画等形式)，提供控制方法(如语音、手势)以控制机器人的状态或运动。
126.可以理解的，混合现实呈现技术可将任务辅助信息叠加呈现到实景中，包括机器人状态、路径规划以及其它需要表达的信息(意图)，便于用户建立情境感知以及获取机器人的状态和意图，与手势、语音等交互技术结合，是提升显示-控制匹配性的有效手段。
127.通过应用本技术的技术方案，可以实现一种由用户佩戴混合现实设备来与机器人进行交互的技术方案。其具体为可以首先实现各个混合现实设备与机器人跨平台的坐标统一与互定位，进而通过实时通信的方式，使得混合现实设备与机器人互相传输信息。从而一方面实现了增强用户对场景信息和机器人意图的感知，使得交互更自然、直观的目的。另一方面也提高了用户操作机器人的操作完成率，且有效减少了操作时间，从而达到提高用户的人机交互体验的目的。
128.可选的，在本技术的另外一种实施方式中，如图5所示，本技术还提供一种混合现实机器人自然交互装置。其中包括：
129.建立模块201，被配置为对多个混合现实设备与机器人之间进行同步定位；以及，利用预设共享方式，建立各个混合现实设备之间的空间共享关系，所述空间共享关系用于实现各混合现实设备之间共享同一空间定位坐标系；
130.交互模块202，被配置为利用预设网络通讯方式，实现所述混合现实设备与所述机器人传输交互信息，并将所述机器人发送的状态信息、传感器数据与动作意图信息实时展示在所述混合现实设备的显示区域中。
131.通过应用本技术的技术方案，可以实现一种由用户佩戴混合现实设备来与机器人进行交互的技术方案。其具体为可以首先实现各个混合现实设备与机器人跨平台的坐标统一与互定位，进而通过实时通信的方式，使得混合现实设备与机器人互相传输信息。从而一方面实现了增强用户对场景信息和机器人意图的感知，使得交互更自然、直观的目的。另一方面也提高了用户操作机器人的操作完成率，且有效减少了操作时间，从而达到提高用户的人机交互体验的目的。
132.在本技术的另外一种实施方式中，交互模块202，被配置执行的步骤包括：
133.对多个混合现实设备与机器人之间进行时间信息、动态音视频虚拟影像信息、交互响应信息的同步定位。
134.在本技术的另外一种实施方式中，交互模块202，被配置执行的步骤包括：
135.利用基于空间锚点实现的共享方式，建立各个混合现实设备之间的空间共享关系；或，
136.利用基于实物锚点实现的共享方式，建立各个混合现实设备之间的空间共享关系，所述实物锚点包括二维码。
137.在本技术的另外一种实施方式中，交互模块202，被配置执行的步骤包括：
138.利用物理通信层、系统通讯协议层、应用通讯交互层和人机交互界面层，实现所述混合现实设备与所述机器人传输交互信息；
139.其中，所述物理通信层基于无线通信方式实现交互信息的传输、所述系统通讯协议层基于tcp协议实现交互信息的传输、应用通讯交互层基于json格式的系统指令实现交互信息的传输、人机交互界面层基于手势指令实现交互信息的传输。
140.在本技术的另外一种实施方式中，交互模块202，被配置执行的步骤包括：
141.利用所述人机交互界面层识别的，用户针对手势菜单或物体控制交互手柄的操作指令，实现所述混合现实设备与所述机器人之间交互信息的传输。
142.在本技术的另外一种实施方式中，交互模块202，被配置执行的步骤包括：
143.由所述机器人的操作系统ros接收所述机器人发送的状态信息、传感器数据与动作意图信息；
144.将所述状态信息、传感器数据与动作意图信息转换为预设数字化数据，所述预设数字化数据包括图像数据以及语音数据的其中至少一种；
145.将所述预设数字化数据实时展示在所述混合现实设备的显示区域中。
146.在本技术的另外一种实施方式中，交互模块202，被配置执行的步骤包括：
147.所述状态信息包括以下至少一种：
148.所述机器人的移动方向信息、位置信息、姿态信息、电量信息、速度信息、角速度信息；以及，
149.所述传感器数据包括以下至少一种：
150.所述机器人利用摄像装置采集的图像数据、所述机器人利用激光雷达装置采集的3d数据、所述机器人所属场景的3d地图数据；以及，
151.所述动作意图信息包括以下至少一种：
152.所述机器人经过路线的障碍物信息、所述机器人的已执行信息。
153.本技术实施方式还提供一种电子设备，以执行上述混合现实机器人自然交互方法。请参考图6，其示出了本技术的一些实施方式所提供的一种电子设备的示意图。如图6所示，电子设备4包括：处理器300，存储器301，总线302和通信接口303，所述处理器300、通信接口303和存储器301通过总线302连接；所述存储器301中存储有可在所述处理器300上运行的计算机程序，所述处理器300运行所述计算机程序时执行本技术前述任一实施方式所提供的混合现实机器人自然交互方法。
154.其中，存储器301可能包含高速随机存取存储器(ram：random access memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口303(可以是有线或者无线)实现该装置网元与至少一个其他网元之间的通信连接，可以使用互联网、广域网、本地网、城域网等。
155.总线302可以是isa总线、pci总线或eisa总线等。所述总线可以分为地址总线、数据总线、控制总线等。其中，存储器301用于存储程序，所述处理器300在接收到执行指令后，执行所述程序，前述本技术实施例任一实施方式揭示的所述数据识别的方法可以应用于处理器300中，或者由处理器300实现。
156.处理器300可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述
方法的各步骤可以通过处理器300中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器300可以是通用处理器，包括处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(dsp)、专用集成电路(asic)、现成可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本技术实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器301，处理器300读取存储器301中的信息，结合其硬件完成上述方法的步骤。
157.本技术实施例提供的电子设备与本技术实施例提供的数据识别的方法出于相同的发明构思，具有与其采用、运行或实现的方法相同的有益效果。
158.本技术实施方式还提供一种与前述实施方式所提供的数据识别的方法对应的计算机可读存储介质，请参考图7，其示出的计算机可读存储介质为光盘40，其上存储有计算机程序(即程序产品)，所述计算机程序在被处理器运行时，会执行前述任意实施方式所提供的混合现实机器人自然交互方法。
159.需要说明的是，所述计算机可读存储介质的例子还可以包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。
160.本技术的上述实施例提供的计算机可读存储介质与本技术实施例提供的数据识别的方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
161.需要说明的是：
162.在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本技术的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的结构和技术，以便不模糊对本说明书的理解。
163.类似地，应当理解，为了精简本技术并帮助理解各个发明方面中的一个或多个，在上面对本技术的示例性实施例的描述中，本技术的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下示意图：即所要求保护的本技术要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本技术的单独实施例。
164.此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本技术的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
165.以上所述，仅为本技术较佳的具体实施方式，但本技术的保护范围并不局限于此，
任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。

技术特征：

1.一种混合现实机器人自然交互方法，其特征在于，包括：对多个混合现实设备与机器人之间进行同步定位；以及，利用预设共享方式，建立各个混合现实设备之间的空间共享关系，所述空间共享关系用于实现各混合现实设备之间共享同一空间定位坐标系；利用预设网络通讯方式，实现所述混合现实设备与所述机器人传输交互信息，并将所述机器人发送的状态信息、传感器数据与动作意图信息实时展示在所述混合现实设备的显示区域中。2.如权利要求1所述的方法，其特征在于，所述对多个混合现实设备与机器人之间进行同步定位，包括：对多个混合现实设备与机器人之间进行时间信息、动态音视频虚拟影像信息、交互响应信息的同步定位。3.如权利要求1所述的方法，其特征在于，所述利用预设共享方式，建立各个混合现实设备之间的空间共享关系，包括：利用基于空间锚点实现的共享方式，建立各个混合现实设备之间的空间共享关系；或，利用基于实物锚点实现的共享方式，建立各个混合现实设备之间的空间共享关系，所述实物锚点包括二维码。4.如权利要求1所述的方法，其特征在于，所述利用预设网络通讯方式，实现所述混合现实设备与机器人传输交互信息，包括：利用物理通信层、系统通讯协议层、应用通讯交互层和人机交互界面层，实现所述混合现实设备与所述机器人传输交互信息；其中，所述物理通信层基于无线通信方式实现交互信息的传输、所述系统通讯协议层基于tcp协议实现交互信息的传输、应用通讯交互层基于json格式的系统指令实现交互信息的传输、人机交互界面层基于手势指令实现交互信息的传输。5.如权利要求4所述的方法，其特征在于，所述利用人机交互界面层，实现所述混合现实设备与所述机器人传输交互信息，包括：利用所述人机交互界面层识别的，用户针对手势菜单或物体控制交互手柄的操作指令，实现所述混合现实设备与所述机器人之间交互信息的传输。6.如权利要求1所述的方法，其特征在于，所述将所述机器人发送的状态信息、传感器数据与动作意图信息实时展示在所述混合现实设备的显示区域中，包括：由所述机器人的操作系统ros接收所述机器人发送的状态信息、传感器数据与动作意图信息；将所述状态信息、传感器数据与动作意图信息转换为预设数字化数据，所述预设数字化数据包括图像数据以及语音数据的其中至少一种；将所述预设数字化数据实时展示在所述混合现实设备的显示区域中。7.如权利要求6所述的方法，其特征在于，所述状态信息包括以下至少一种：所述机器人的移动方向信息、位置信息、姿态信息、电量信息、速度信息、角速度信息；以及，所述传感器数据包括以下至少一种：所述机器人利用摄像装置采集的图像数据、所述机器人利用激光雷达装置采集的3d数
据、所述机器人所属场景的3d地图数据；以及，所述动作意图信息包括以下至少一种：所述机器人经过路线的障碍物信息、所述机器人的已执行信息。

技术总结

本申请公开了一种混合现实机器人自然交互方法。通过应用本申请的技术方案，可以实现一种由用户佩戴混合现实设备来与机器人进行交互的技术方案。其具体为可以首先实现各个混合现实设备与机器人跨平台的坐标统一与互定位，进而通过实时通信的方式，使得混合现实设备与机器人互相传输信息。从而一方面达到了增强用户对场景信息和机器人意图的感知，使得交互更自然、直观的目的。另一方面也提高了用户操作机器人的操作完成率，且有效减少了操作时间，从而提高用户的人机交互体验。从而提高用户的人机交互体验。从而提高用户的人机交互体验。