用于远程多人VR互动的云边协同实现方法、装置和系统与流程

用于远程多人vr互动的云边协同实现方法、装置和系统
技术领域
1.本发明总体上涉及网络技术与安全领域。具体而言，本发明涉及利用云技术来实现远程多人vr互动的领域。

背景技术：

2.vr是virtual reality的缩写，即虚拟现实，是一种全景模拟真实世界，具备三维互动交互沉浸式体验的技术，广泛应用于视频、游戏等个人娱乐及立体教育、工业维修、医疗培训、科学仿真等领域。
3.vr整体服务系统包括服务端、vr终端和网络传输三大环节。vr终端相对手机等其他通用终端具有个性化的定位、操控等属性，存在一定的碎片化现状，同时本地化运行需要强大的计算和图形渲染能力，导致vr终端成本较高，因此限制了vr产业的发展。为了屏蔽vr终端的差异性，vr服务上云成为了行业趋势。当前主要采用云端构建相互隔离的逻辑处理、图形渲染环境，并面向终端下发音视频流及终端音视频解码、显示输出等相关机制实现。
4.然而，vr服务上云以后，带来网络传输带宽和时延压力。尤其是对于实时交互型的云vr，例如云vr游戏等，其网络传输时延甚至要求控制在10ms以内。目前所采用的单一集中式云资源池或者大区模式云部署都无法满足业务需求。
5.因此，希望能够提供一种通过采用边缘计算，在最靠近用户的边缘节点进行处理来降低时延并提升用户体验的远程多人vr互动技术。然而，传统的边缘节点处理在多人远程交互过程无法有效定位或者关联到特定的边缘节点，而随机选择靠近单一用户的边缘节点会导致其他用户网络传输链路过长，严重影响用户体验。
6.此外，现有的vr多人远程互动都是基于终端联网实现，多个边缘节点之间的交互带来终端运算压力和终端成本问题，而且无法有效适应网络链接状况，难以有效达到多人远程互动服务质量一致性。

技术实现要素：

7.在下文中给出了关于本发明的简要概述，以便提供关于本发明的一些方面的基本理解。但是，应当理解，这个概述并不是关于本发明的穷举性概述。它并不是意图用来确定本发明的关键性部分或重要部分，也不是意图用来限定本发明的范围。其目的仅仅是以简化的形式给出关于本发明的某些概念，以此作为稍后给出的更详细描述的前序。
8.鉴于上述现有技术的弊端，本发明提出一种自适应远程多人vr互动的云边协同实现方法。具体而言，通过中心云的统一逻辑处理，实现基于靠近用户边缘节点的本地逻辑和多人互动逻辑分离，之后边缘节点将互动逻辑同步到中心云，并由中心云进行互动逻辑汇总和分析，并向相关联的多边缘节点的同步，最终在多个边缘节点实现图形渲染输出。同时，基于统一的时间同步控制机制，精确掌控中心云互动逻辑下发时序，确保参与互动的用户云vr体验同步，增加互动的公平性和趣味性。
9.根据本发明的一个方面，提供了一种用于远程多人vr互动的云边协同实现方法，
包括：在中心云处，将逻辑信息划分策略下发至多个边缘节点，以使所述多个边缘节点基于所述逻辑信息划分策略将用户上传到所述多个边缘节点的逻辑信息划分为本地逻辑信息和互动逻辑信息；接收所述多个边缘节点上传的互动逻辑信息；按照由时序规则控制的时序，将接收的互动逻辑信息下发至与所述互动逻辑信息涉及的一个或多个用户相关联的一个或多个边缘节点，其中所述时序规则是基于所述一个或多个边缘节点的网络链接时延历史数据生成的，并且用于使得下发的互动逻辑信息大约同步到达所述一个或多个边缘节点。
10.根据本发明的另一个方面，提供了一种中心云，包括：存储器，其上存储有指令；以及处理器，被配置为执行存储在所述存储器上的指令，以执行根据本发明的上述方面所述的方法。
11.根据本发明的另一个方面，提供了一种用于远程多人vr互动的云边协同系统，包括：中心云；以及一个或多个边缘节点，所述边缘节点被配置为：基于所述逻辑信息划分策略将用户上传到所述多个边缘节点的逻辑信息划分为本地逻辑信息和互动逻辑信息；将互动逻辑信息上传到中心云；接收中心云下发的互动逻辑信息；基于本地逻辑信息和接收的互动逻辑信息进行图形渲染，并输出vr图形。
12.根据本发明的又一个方面，提供了一种计算机程序产品，其包括计算机可执行指令，所述计算机可执行指令在由一个或多个处理器执行时，使得所述一个或多个处理器执行根据本发明的上述方面所述的方法。
附图说明
13.构成说明书的一部分的附图描述了本发明的实施例，并且连同说明书一起用于解释本发明的原理。
14.参照附图，根据下面的详细描述，可以更清楚地理解本发明，其中：
15.图1示出了根据本发明的实施例的用于远程多人vr互动的云边协同系统的框图；
16.图2示出了根据本发明的实施例的用于远程多人vr互动的云边协同实现方法的流程图；
17.图3示出了根据本发明的一个实施例的用于生成和应用时序规则的流程图；
18.图4示出了根据本发明的另一个实施例的用于生成和应用时序规则的流程图；
19.图5示出了利用根据本发明的实施例的云边协同系统实现远程多人vr服务的流程示意图；以及
20.图6示出了根据本发明的实施例的中心云的示例性硬件配置图。
具体实施方式
21.参考附图进行以下详细描述，并且提供以下详细描述以帮助全面理解本发明的各种示例实施例。以下描述包括各种细节以帮助理解，但是这些细节仅被认为是示例，而不是为了限制本发明，本发明是由随附权利要求及其等同内容限定的。在以下描述中使用的词语和短语仅用于能够清楚一致地理解本发明。另外，为了清楚和简洁起见，可能省略了对公知的结构、功能和配置的描述。本领域普通技术人员将认识到，在不脱离本发明的精神和范围的情况下，可以对本文描述的示例进行各种改变和修改。
22.本发明采用云边网协同的方式来实现远程多人云vr互动，下面将参照附图对本发明的各个方面进行描述。
23.《云边协同系统》
24.图1示出了根据本发明的实施例的用于远程多人vr互动的云边协同系统的框图。
25.如图所示，云边协同系统包括中心云和经网络链接与中心云101交互的多个边缘节点。作为示例，图中示出了n个边缘节点1-n。n的值可以为大于两个，甚至可多达几十至几百个。
26.中心云也称为云数据中心或云中心，是可以进行基于云计算架构的集中式大数据处理的数据中心。边缘节点也称为边缘云，是设置在靠近用户或数据源头侧的进行边缘式大数据处理的平台。边缘节点是分布式布置的，可以分布在办公室、工厂、校园等场所，经网关与中心云交互。
27.每个边缘节点可服务于多个用户终端。当用户通过其用户终端向中心云请求云vr服务后，中心云将调度靠近用户的边缘节点面向用户开启服务。接着，边缘节点响应用户请求开始对应的云vr应用逻辑运算。在远程的多人vr互动场景下，远距离进行互动的多个用户可以分别由靠近其的不同的边缘节点提供服务，并通过中心云转发互动信息，从而大大减轻云端压力和带宽成本。
28.应当理解，用户之间的互动既存在于由同一边缘节点提供服务的各用户之间，也存在于由不同节点提供服务的用户之间。但本发明尤其涉及多个用户分别由不同边缘节点提供服务的云vr远程多人互动的场景。
29.由于边缘节点的位置靠近用户，当应用程序在边缘侧发起时，会产生更快的网络服务响应。通过将网络转发、存储、计算、智能化数据分析等工作放在边缘处理，可以降低响应时延、减轻云端压力、降低带宽成本。
30.根据本发明的实施例的中心云包括以下功能模块：逻辑信息划分策略模块、网络链接检测模块、互动逻辑信息接收和汇总模块、时序规则生成模块以及互动逻辑精控下发模块。下面对各模块分别进行介绍。
31.逻辑信息划分策略模块用于确定、调整和完善逻辑信息划分策略。
32.如上文所述，当用户请求云vr服务之后，边缘节点响应用户请求开始对应的云vr应用逻辑运算。所进行的逻辑运算包括用户本地逻辑和多人互动关联逻辑两部分。用户本地逻辑即仅与用户本地相关的逻辑，多人互动关联逻辑是指与用户的多人互动相关的逻辑。逻辑信息划分策略用于区分用户本地逻辑信息和多人互动关联逻辑信息。一般而言，用户本地逻辑包括通用场景(例如，地图、建筑物、npc、场景特效等)、用户所属角形象/装备/个人属性及与个人相关的人机交互等。多人互动关联逻辑信息包括与用户多人互动相关的坐标变化、数值属性更新、装备交易、对战交互及相关交互特效等。
33.逻辑信息划分策略以是否需要与其他用户互动或在云vr应用中进行关联为依据。与其它用户的互动包括：信息交互、虚拟物品交流、行为交互、社交变化等。需要关联的情况包括：需要在相关交互用户云vr应用中进行信息同步、虚拟物品变化、行为变化和社交关系同步，以体现在互动用户图形场景中的信息变化、形象变化、属性变化、特效展现等情况，以及需要相关交互用户在所属边缘节点上进行逻辑同步、渲染输出等。
34.在一个实施例中，逻辑信息划分策略模块根据云vr服务的多人互动相关属性确定
所述逻辑信息划分策略。
35.在一个实施例中，逻辑信息划分策略针对一个云vr服务可以是不变的，因而可以被下发并内置到相应的边缘节点以供后续使用。
36.网络链接检测模块用于检测各边缘节点与中心云之间的网络链接状态。根据一个实施例，网络链接检测模块被配置为检测边缘节点从中心云接收信息的时延。
37.互动逻辑接收和汇总模块用于从各边缘节点接收上传的互动逻辑信息，并对互动逻辑信息进行汇总分析，以获得该互动逻辑信息所涉及的互动方，从而确定该互动逻辑信息将被转发给哪个边缘节点以及哪个用户终端。
38.互动逻辑接收和汇总模块收集用户上传的互动逻辑信息，按照用户标签(鉴权、场景坐标)及多用户关联关系进行汇总，用户关联关系包括信息交互、虚拟物品交流、行为交互、社交变化等等多种互动关系。下面对各种互动关系进行描述。
39.信息交互：是指多人在云vr应用中，进行文字、语音等互动信息交流。
40.虚拟物品交流：是指多人在云vr应用中，进行装备等相关物品交流。
41.行为交互：是指多人在云vr应用中，进行pk(互相对战)、组队作战等相互行为关系。
42.社交变化：是指多人在云vr应用中，进行交友、组队等社交行为。
43.时序规则生成模块用于基于网络链接检测模块检测的各边缘节点的时延数据生成时序规则。该时序规则使得各边缘节点大致同步地接收中心云下发的信息。
44.互动逻辑信息精控下发模块用于基于由时序规则生成模块生成的时序规则控制的时序来将互动逻辑信息下发给由互动逻辑接收和汇总模块确定的互动逻辑信息涉及的互动方。
45.根据本发明的实施例的边缘节点基于边缘节点本地化软硬件环境，进行相关的逻辑运算、逻辑分离、本地图形渲染、接收中心云互动逻辑信息、互动相关图形渲染和图形叠加处理等功能，具体包括以下功能模块：逻辑运算模块、逻辑信息分离模块、本地图形渲染模块、中心云互动逻辑信息接收模块、互动图形渲染模块和图形叠加输出模块。下面对各模块分别进行介绍。
46.逻辑运算模块用于统一进行有关用户的对应服务请求的统一逻辑运算，包括用户本地逻辑运算及该用户与其他用户之间产生的多人互动逻辑运算等。
47.逻辑信息分离模块用于按照中心云预先下发的逻辑信息划分策略将云vr应用的相关逻辑信息划分为本地逻辑信息和互动逻辑信息，并实时将相关的互动逻辑信息上传到中心云。
48.例如，在用户所属边缘节点云vr应用处理过程中，逻辑信息分离模块实时采集用户界面相关的其他用户信息，主要以用户id作为标识，获取用户间云vr应用行为关联关系，以信息、动作、形象和特效等多个维度进行记录，并上传到中心云。
49.本地图形渲染模块用于按照逻辑运算模块的逻辑运算结果输出，实时处理有关本地逻辑的图形渲染。
50.中心云互动逻辑信息接收模块用于接收中心云下发的与自身服务的用户有关的互动逻辑信息。
51.互动图形渲染模块用于按照中心云下发的互动逻辑信息执行相关的计算处理和
图形渲染。
52.图形叠加输出模块用于完成互动逻辑图形渲染结果。例如，根据不同图层叠加到本地图形渲染结果上，最终完成云vr图形结果输出。
53.《中心云侧的实现远程多人vr互动的方法》
54.下面，参照图2描述根据本发明的实施例的用于远程多人vr互动的云边协同实现方法，该方法是在中心云处实现的。
55.首先，在步骤201中，中心云将逻辑信息划分策略下发至多个边缘节点，以使所述多个边缘节点基于所述逻辑信息划分策略将用户上传到所述多个边缘节点的逻辑信息划分为本地逻辑信息和互动逻辑信息。
56.在一个实施例中，逻辑信息划分策略在下发之后被内置在各边缘节点中以供在云vr服务期间使用。
57.在一个实施例中，下发逻辑信息划分策略的步骤是在边缘节点开始进行逻辑运算之前进行的。例如，可以在中心云响应于用户请求云vr服务并为用户指派相应的边缘节点时进行。这样，边缘节点在进行逻辑运算后可以直接根据逻辑信息划分策略的规则将逻辑信息划分为本地逻辑信息和互动逻辑信息。
58.在一个实施例中，当边缘节点根据逻辑信息划分策略无法判断逻辑信息为本地逻辑信息还是互动逻辑信息时，默认将其划分为互动逻辑信息。
59.接着，方法流程前进至步骤202，中心云从所述多个边缘节点接收互动逻辑信息。
60.在边缘节点在逻辑运算后按照下发的逻辑信息划分策略将逻辑信息划分为本地逻辑信息和互动逻辑信息后，边缘节点将划分的互动逻辑信息上传至中心云。
61.然后，在步骤203，中心云按照由时序规则控制的时序，将接收的互动逻辑信息下发至与所述互动逻辑信息涉及的一个或多个用户相关联的一个或多个边缘节点，其中所述时序规则是基于所述一个或多个边缘节点的网络链接时延历史数据生成的，并且用于使得下发的互动逻辑信息大约同步到达所述一个或多个边缘节点。
62.其中，网络链接时延历史数据是指边缘节点先前从中心云接收互动逻辑信息的时延。
63.根据一个实施例，网络链接时延历史数据是通过在先前下发互动逻辑信息的过程中实时监测所述一个或多个边缘节点的网络链接时延获得的。
64.在一个实施例中，时序规则是周期性更新的。
65.中心云在接收到边缘节点上传的互动逻辑信息之后，如果将其实时转发给与互动用户相关联的一个或多个边缘节点，有可能会由于各个边缘节点的网络链接时延不同而导致各边缘节点在接收到互动逻辑信息的时间不同步。这种不同步严重影响用户vr互动的体验，尤其是在对同步性要求较高的云vr游戏中。因此，通过使用基于边缘节点的网络链接时延历史数据生成的时序规则来控制向各个边缘节点下发互动逻辑信息的时间，使得下发的互动逻辑信息大约同步到达各个边缘节点。
66.在这里，大约同步可以指各边缘节点接收到互动逻辑信息的时间差小于10ms，优选地，小于5ms。
67.本发明基于中心云统一的逻辑划分，用户本地逻辑和多人互动逻辑分离机制，由中心云精控互动逻辑同步时间，确保多人云vr互动体验同步，从而实现如下的技术目的：
68.1、提供有效的多人云vr互动机制：解决单一边缘节点无法提供有效的多人云vr互动的问题，采用中心云+边缘节点的服务模式，基于中心云统一精控分发的多人互动逻辑，并结合靠近多个边缘节点的就近处理，在保障服务质量的同时，解决单一边缘节点在云vr多人互动过程中，存在较大的时延差异，无法提供同质服务等问题。
69.2、基于统一的时间控制，确保多人同步服务：云vr对服务的同步属性具有较高要求，尤其是多人互动过程中，因为网络传输链路等原因导致其服务响应时延存在较大区别，同时影响到了用户相互交互质量。采用中心云统一的时间控制，通过对互动逻辑下发时效控制，能够有效确保多人云vr服务同步。
70.《时序规则的生成和应用》
71.下面，参照图3描述根据本发明的一个优选实施例的用于生成和应用时序规则的方法。
72.首先，在步骤301，在下发互动逻辑信息的过程中实时进行网络链接时延检测，并作为网络链接时延历史数据存储检测的时延数据。
73.在下发互动逻辑信息的过程中，如果之前生成过时序规则，则可以应用所生成的时序规则。如果之前未生成过时序规则，例如在云边协同系统刚启动时，可以暂不应用任何时序规则，而是实时下发互动逻辑信息。
74.接着，在步骤302，确定当前时段是否到期。
75.如果当前时段还未到期，则返回步骤301继续进行网络链接时延检测。
76.如果当前时段已到期，则前进至步骤303，开始进行时序规则的更新(如果之前未生成过时序规则，则开始时序规则的生成)。
77.时段的长短可以根据实际需要来设置。
78.边缘节点时延，和传输链路主相关，与中心云和边缘节点处理能力次相关，因此其时段选择需要在一定范围内。在一个实施例中，可以选择最近50个时延数据预测下一个阶段的时延。
79.获取时延历史数据的时间跨度，与每天采集的边缘节点时延数量相关。例如，如果一天采集10次时延，则选取最近5天的时延历史数据；如果一天采集5次时延，则选取最近10天的时延历史数据。
80.下一个时段的长短既可以等于获得历史数据的检测时段，也可以小于历史数据的检测时段。例如，可以基于最近5天的时延历史数据为之后5天生成时序规则，也可以基于最近5天的时延历史数据为之后一天生成时序规则。时段的跨度可根据实际情况延长或缩短。在传输链路不稳定的情况下，可以缩短时间跨度。例如，可基于最近5小时的时延数据为之后5小时或1小时生成时序规则。
81.在当前时段到期后，在步骤303中，从存储器中读取时延历史数据。例如，在基于最近5天的时延历史数据为下一时段生成时序规则的情况下，可以读取最近5天中记录的所有时延历史数据。
82.之后，在步骤304中，基于时延历史数据生成更新的时序规则。
83.在一个实施例中，根据各边缘节点的时延历史数据所指示的时延的长短对边缘节点分组，并针对不同组的边缘节点设置不同的时序。
84.在一个实施例中，对于历史时延较长的组中的边缘节点，实时下发互动逻辑信息，
对于历史时延较短的组中的边缘节点，延后下发互动逻辑信息。延后的时间量可被选取为使得边缘节点的时延延长至统一值，从而使得大部分边缘节点能够大致同步接收到互动逻辑信息。
85.然后，在步骤305中，应用更新的时序规则。流程返回步骤301，中心云基于更新的时序规则下发互动逻辑信息。
86.下面结合图4描述根据本发明的另一个实施例的基于预测时延生成和应用时序规则的方法。
87.图4的步骤401-403与图3中的步骤301-303类似，此处不再详述。
88.流程前进到步骤404，基于时延历史数据预测下一时段各边缘节点的预测时延。
89.在一个实施例中，根据各个边缘节点的时延历史数据，按照时间序列线性规划算法预测各边缘节点在下一个阶段的时延。
90.优选地，基于边缘节点时间序列属性，为了简化相关的计算过程，减少中心云相关计算压力及预测耗时，采用长短期记忆人工神经网络(lstm)方法，对各个边缘节点的链接时延进行预测。
91.之后在步骤405，基于预测时延生成更新的时序规则。
92.在一个实施例中，根据各边缘节点的预测时延的长短对边缘节点分组，并针对不同组的边缘节点设置不同的时序。
93.在一个实施例中，对于预测时延较长的组中的边缘节点，实时下发互动逻辑信息，对于预测时延较短的组中的边缘节点，延后下发互动逻辑信息。延后的时间量可被选取为使得边缘节点的时延延长至统一值，从而使得大部分边缘节点能够大致同步接收到互动逻辑信息。
94.然后，在步骤406中，应用更新的时序规则。流程返回步骤401，中心云基于更新的时序规则下发互动逻辑信息。
95.时间序列线性规划算法能够根据时延历史数据准确预测下一时段的时延。与直接基于时延历史数据生成时序规则的实施例相比，以上基于预测时延数据生成时序规则的实施例所得到的数据更加准确，尤其是在传输链路不够稳定，各边缘节点的时延随时间不断变化的情况下。
96.《时序规则》
97.下面结合一个示例性实例描述基于时延历史数据或预测时延数据生成时序规则的方法。
98.1、基于时延历史数据生成时序规则
99.首先，基于各边缘节点的时延历史数据为各边缘节点生成代表历史时延。在一个实施例中，可以采取时延历史数据的平均值或中值作为各边缘节点的代表历史时延。例如，如果时延历史数据包括最近50个采样的时延数据，则可以计算这50个时延数据的平均值作为边缘节点的代表历史时延。
100.然后，设定可接受的时延上限值，并且将代表历史时延大于时延上限值的边缘节点剔除。例如，设定时延上限值为20ms，则历史时延值》20ms的边缘节点设定为不适合服务，将该边缘节点剔除在多人云vr互动行列。剔除之后剩余的边缘节点为合规边缘节点。
101.时延上限值可由技术人员根据经验或实际需要设置。
102.接着，选取时延的合理值。合理值的选取基于覆盖大多数原则。即，在合规的边缘节点中，拟定一个一致性服务覆盖范围，例如80％，即确保80％的用户具备一致的多人云vr互动效果。然后，选取合理值，使得合规边缘节点中，20％的边缘节点的代表历史时延高于该合理值。例如，在合规的边缘节点中，如果20％的边缘节点的代表历史时延高于15ms，那么合理值选为15ms。
103.接着，根据代表历史时延和选定的时间梯度，对边缘节点分组，并应用不同延时。下面的表格中示出了梯度为5ms的情况下边缘节点的分组和延时策略：
[0104][0105]
对于代表历史时延小于10ms的边缘节点，通过延后下发信息将其时延加长至10ms。即，对于时延为10ms的边缘节点，对其延后2ms发送信息，而对于时延为5ms的边缘节点，对其延后5ms发送信息。
[0106]
按照以上延时策略，可以确保80％的边缘节点(即代表历史时延小于15ms的边缘节点)都能够以10ms-15ms的时延接收到下发的互动逻辑信息，即80％的边缘节点的时间差在5ms以内。
[0107]
2、基于预测时延数据生成时序规则
[0108]
首先，设定可接受的时延上限值，并且将预测时延大于时延上限值的边缘节点剔除。例如，设定时延上限值为20ms，则预测时延》20ms的边缘节点设定为不适合服务，将该边缘节点剔除在多人云vr互动行列。剔除之后剩余的边缘节点为合规边缘节点。
[0109]
时延上限值可由技术人员根据经验或实际需要设置。
[0110]
接着，选取时延的合理值。合理值的选取基于覆盖大多数原则。即，在合规的边缘节点中，拟定一个一致性服务覆盖范围，例如80％，即确保80％的用户具备一致的多人云vr互动效果。然后，选取合理值，使得合规边缘节点中，20％的边缘节点的预测时延高于该合理值。例如，在合规的边缘节点中，如果20％的边缘节点的预测时延高于15ms，那么合理值选为15ms。
[0111]
接着，根据预测时延和选定的时间梯度，对边缘节点分组，并应用不同延时。
[0112]
下面的表格中示出了梯度为5ms的情况下边缘节点的分组和延时策略：
[0113][0114]
对于预测时延小于10ms的边缘节点，通过延后下发信息将其时延延长至10ms。即，
对于时延为10ms的边缘节点，对其延后2ms发送信息，而对于时延为5ms的边缘节点，对其延后5ms发送信息。
[0115]
按照以上延时策略，可以确保80％的边缘节点(即预测时延小于15ms的边缘节点)都能够以10ms-15ms的时延接收到下发的互动逻辑信息，即80％的边缘节点的时间差在5ms以内。
[0116]
在以上给出的实例中，对于时延在10ms-15ms的边缘节点不进行延后下发的处理。这是因为，如果以15ms为标准拉平时延，对于某些用户的体验会产生较大的改变。以上实施方式既确保了足够小的时差，又避免了对用户的目前体验带来较大改变，在两者之间进行了平衡。
[0117]
以上时序规则仅为示例性的，并不旨在限制本发明的实现方式。本领域技术人员可以根据需要采用其它时序规则，只要能够保证大部分用户体验到大致同步的vr体验即可。例如，也可以以15ms为标准进行拉平。
[0118]
《用户寻址》
[0119]
在一个实施例中，对互动逻辑信息进行汇总分析以识别互动用户和对应的互动逻辑信息，并以用户id标识所识别的互动用户和对应的互动逻辑信息。
[0120]
例如，中心云在接收到各边缘节点上传的用户互动逻辑信息后，可以用户id作为标识，汇总各用户关联其它用户的互动关系。例如，中心云从多个边缘节点的多个用户接收到了多条互动逻辑信息。接着，中心云对这些互动逻辑信息进行汇总分析，识别出用户之间的互动关系，并以用户id来标识这些互动关系，之后将与某个用户相关的互动逻辑信息转发给该用户。
[0121]
例如，中心云识别出上传一条互动逻辑信息的用户为用户a，然后基于该互动逻辑信息和其它上传的互动逻辑信息识别出用户a与用户b、c和d同时存在互动逻辑，则中心云以用户a为标签下面同时存储a与用户b、c和d互动的互动逻辑信息，并以用户id标识对应的互动逻辑信息。其中a、b、c和d为用户id。
[0122]
在获得互动关系及相关互动方之后，可通过互动逻辑寻址处理来获取互动用户地址。由于在云vr服务开启时的鉴权处理期间，中心云处已经注册了边缘节点id及其服务的用户id。因此，可以基于用户id识别出为其提供服务的边缘节点的id。
[0123]
因此，可以基于识别的互动用户id获得其云vr服务所在的边缘节点id，再基于边缘节点id到相应边缘节点并获得互动用户地址。在获得互动用户地址后，中心云可将对应的互动逻辑信息进行下发处理。例如，在识别出用户a上传的互动逻辑信息中存在于用户b的互动关系之后，识别为用户b提供服务的边缘节点id和用户b的地址。接着将户a上传的互动逻辑信息中与用户b有关的部分下发至用户b的地址。
[0124]
下面，参照图5描述通过本发明的云边协同系统实现远程多人vr服务的流程示意图。
[0125]
在用户请求服务之前，中心云已将对应的逻辑信息划分策略下发并内置到了各个边缘节点，以下流程是从边缘节点请求开启对应云vr服务开始。
[0126]
在步骤501，用户通过其vr终端或用户终端向中心云请求云vr服务。
[0127]
在步骤502，中心云将用户的请求下发给相应的边缘节点(例如，地理上离用户最近的边缘节点)以开启服务。
[0128]
在步骤503，边缘节点按照中心云的调度，面向用户开启相应的云vr服务。
[0129]
在步骤504，边缘节点响应用户请求，开始对应的云vr应用逻辑运算。
[0130]
在步骤505，边缘节点按照下发且内置的逻辑信息划分策略将该用户的逻辑运算信息划分为本地逻辑信息和互动逻辑信息两部分。
[0131]
在步骤506，边缘节点将划分的互动逻辑信息部分上传到中心云。
[0132]
在步骤507，边缘节点处理基于本地逻辑信息的图形实时渲染。例如，边缘节点实时处理相关的本地逻辑信息，例如通用地图、建筑物、npc、用户个人形象等内容及本地相关互动逻辑信息，进行图形渲染。
[0133]
与此同时，中心云接收上传的互动逻辑信息，并对其进行汇总分析以获知各互动逻辑信息所涉及的互动方。
[0134]
在步骤508，中心云按照时序规则下发互动逻辑信息，其中时序规则是基于前一时段监测的时延历史数据生成的。
[0135]
同时，中心云进行网络链接检测，监视下发互动逻辑信息的过程中各边缘节点接收信息的时延，并将其作为用于生成下一阶段的时序规则的时延历史数据存储。
[0136]
在步骤509，边缘节点进行相关的互动逻辑信息处理和图形渲染同步。
[0137]
在步骤510，互动相关的边缘渲染节点将对应的互动渲染图形叠加到本地渲染图形上，实现对应的叠加输出，完成整个云vr服务过程。
[0138]
中心云在步骤508获得了时延历史数据后，根据参照图3或图4所述的流程生成下一阶段时序规则，以便在下一次下发互动逻辑信息时使用。
[0139]
本发明通过云边网协同的多人云vr远程互动机制，将云vr进行本地逻辑和多人互动逻辑分离，通过中心云向相关互动边缘节点精控分发多人互动逻辑的方法，实现多人云vr有效互动，解决现有单一中心云或边缘节点无法有效支持需要实时交互的云vr服务的问题。
[0140]
此外，本发明还基于时延精准调控下发时序，确保多人云vr一致性。基于时间序列线性规划算法对各个边缘节点进行时延预测，并通过针对各边缘节点的时延历史数据和预测时间进行汇总分析，设定时延合理值，按照一定预设规则进行各个边缘节点互动逻辑下发，能够大体确保多人云vr服务时延趋同，提升云vr远程互动质量。
[0141]
下面参照图6说明中心云的硬件实现的一个实施例。
[0142]
装置600是能够应用本发明的上述方面的中心云的硬件实现的实例。装置600可以是被配置为执行处理和/或计算的任何机器。装置600可以是但不限制于工作站、服务器、台式计算机、膝上型计算机、平板计算机、个人数据助手(pda)、智能电话、车载计算机或以上组合。
[0143]
如图6所示，装置600可以包括可以经由一个或多个接口与总线602连接或通信的一个或多个元件。总线602可以包括但不限于，工业标准架构(industry standard architecture，isa)总线、微通道架构(micro channel architecture，mca)总线、增强isa(eisa)总线、视频电子标准协会(vesa)局部总线、以及外设组件互连(pci)总线等。装置600可以包括例如一个或多个处理器604、一个或多个输入设备606以及一个或多个输出设备608。一个或多个处理器604可以是任何种类的处理器，并且可以包括但不限于一个或多个通用处理器或专用处理器(诸如专用处理芯片)。处理器604例如被配置为实现本发明中的
用于远程多人vr互动的云边协同实现方法。输入设备608可以是能够向计算设备输入信息的任何类型的输入设备，并且可以包括但不限于鼠标、键盘、触摸屏、麦克风和/或远程控制器。输出设备608可以是能够呈现信息的任何类型的设备，并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。
[0144]
装置600还可以包括或被连接至非暂态存储设备614，该非暂态存储设备614可以是任何非暂态的并且可以实现数据存储的存储设备，并且可以包括但不限于盘驱动器、光存储设备、固态存储器、软盘、柔性盘、硬盘、磁带或任何其他磁性介质、压缩盘或任何其他光学介质、缓存存储器和/或任何其他存储芯片或模块、和/或计算机可以从其中读取数据、指令和/或代码的其他任何介质。装置600还可以包括随机存取存储器(ram)610和只读存储器(rom)612。rom 612可以以非易失性方式存储待执行的程序、实用程序或进程。ram 610可提供易失性数据存储，并存储与装置600的操作相关的指令。装置600还可包括耦接至数据链路618的网络/总线接口616。网络/总线接口616可以是能够启用与外部装置和/或网络通信的任何种类的设备或系统，并且可以包括但不限于调制解调器、网络卡、红外线通信设备、无线通信设备和/或芯片集(诸如蓝牙
tm
设备、802.11设备、wifi设备、wimax设备、蜂窝通信设施等)。
[0145]
本发明可以被实现为装置、系统、集成电路和非瞬时性计算机可读介质上的计算机程序的任何组合。可以将一个或多个处理器实现为执行本发明中描述的部分或全部功能的集成电路(ic)、专用集成电路(asic)或大规模集成电路(lsi)、系统lsi，超级lsi或超lsi组件。
[0146]
本发明包括软件、应用程序、计算机程序或算法的使用。可以将软件、应用程序、计算机程序或算法存储在非瞬时性计算机可读介质上，以使诸如一个或多个处理器的计算机执行上述步骤和附图中描述的步骤。例如，一个或多个存储器以可执行指令存储软件或算法，并且一个或多个处理器可以关联执行该软件或算法的一组指令，以根据本发明中描述的实施例提供各种功能。
[0147]
软件和计算机程序(也可以称为程序、软件应用程序、应用程序、组件或代码)包括用于可编程处理器的机器指令，并且可以以高级过程性语言、面向对象编程语言、功能性编程语言、逻辑编程语言或汇编语言或机器语言来实现。术语“计算机可读介质”是指用于向可编程数据处理器提供机器指令或数据的任何计算机程序产品、装置或设备，例如磁盘、光盘、固态存储设备、存储器和可编程逻辑设备(pld)，包括将机器指令作为计算机可读信号来接收的计算机可读介质。
[0148]
提供本发明的主题作为用于执行本发明中描述的特征的装置、系统、方法和程序的示例。但是，除了上述特征之外，还可以预期其他特征或变型。可以预期的是，可以用可能代替任何上述实现的技术的任何新出现的技术来完成本发明的部件和功能的实现。
[0149]
另外，以上描述提供了示例，而不限制权利要求中阐述的范围、适用性或配置。在不脱离本发明的精神和范围的情况下，可以对所讨论的元件的功能和布置进行改变。各种实施例可以适当地省略、替代或添加各种过程或部件。例如，关于某些实施例描述的特征可以在其他实施例中被结合。
[0150]
类似地，虽然在附图中以特定次序描绘了操作，但是这不应该被理解为要求以所示的特定次序或者以顺序次序执行这样的操作，或者要求执行所有图示的操作以实现所希
望的结果。在某些情况下，多任务处理和并行处理可以是有利的。

技术特征：

1.一种用于远程多人vr互动的云边协同实现方法，包括：在中心云处，将逻辑信息划分策略下发至多个边缘节点，以使所述多个边缘节点基于所述逻辑信息划分策略将用户上传到所述多个边缘节点的逻辑信息划分为本地逻辑信息和互动逻辑信息；接收所述多个边缘节点上传的互动逻辑信息；按照由时序规则控制的时序，将接收的互动逻辑信息下发至与所述互动逻辑信息涉及的一个或多个用户相关联的一个或多个边缘节点，其中所述时序规则是基于所述一个或多个边缘节点的网络链接时延历史数据生成的，并且用于使得下发的互动逻辑信息大约同步到达所述一个或多个边缘节点。2.根据权利要求1所述的方法，其中，网络链接时延历史数据是通过在先前下发互动逻辑信息的过程中实时监测所述一个或多个边缘节点的网络链接时延获得的。3.根据权利要求1所述的方法，其中，时序规则是周期性更新的。4.根据权利要求3所述的方法，其中，基于一个时段内的网络链接时延历史数据生成用于下一时段的时序规则。5.根据权利要求1所述的方法，其中，按照时延历史数据所指示的时延的长短对边缘节点分组，并对不同组中的边缘节点设置不同的时序。6.根据权利要求5所述的方法，其中，对于时延历史数据所指示的时延较短的边缘节点，在下一时段中相对于其它边缘节点延后下发互动逻辑信息。7.根据权利要求1所述的方法，其中，基于所述一个或多个边缘节点在一个时段内的网络链接时延历史数据预测下一时段内所述一个或多个边缘节点的预测时延；以及基于预测时延生成用于下一时段的时序规则。8.根据权利要求7所述的方法，其中，按照预测时延的长短对边缘节点分组，并对不同组中的边缘节点设置不同的时序。9.根据权利要求7所述的方法，其中，对于预测时延较短的边缘节点，在下一时段中相对于其它边缘节点延后下发互动逻辑信息。10.根据权利要求7所述的方法，其中，按照时间序列线性规划算法预测下一时段内所述一个或多个边缘节点的预测时延。11.根据权利要求1所述的方法，还包括：对互动逻辑信息进行分析以识别互动用户和与所述互动用户对应的互动逻辑信息，并以用户id标识识别的互动用户和对应的互动逻辑信息。12.根据权利要求11所述的方法，还包括：基于互动用户的用户id识别为互动用户提供服务的边缘节点id；以及将对应的互动逻辑信息下发到对应于所述边缘节点id的边缘节点。13.根据权利要求1所述的方法，其中，根据云vr服务的多人互动相关属性确定所述逻辑信息划分策略。14.一种中心云，包括：存储器，其上存储有指令；以及处理器，被配置为执行存储在所述存储器上的指令，以执行以根据权利要求1至13中的
任一项所述的方法。15.一种用于远程多人vr互动的云边协同系统，包括：如权利要求14所述的中心云；以及一个或多个边缘节点，所述边缘节点被配置为：基于所述逻辑信息划分策略将用户上传到所述一个或多个边缘节点的逻辑信息划分为本地逻辑信息和互动逻辑信息；将划分的互动逻辑信息上传到中心云；接收中心云下发的互动逻辑信息；基于本地逻辑信息和接收的互动逻辑信息进行图形渲染，并输出vr图形。16.一种计算机程序产品，包括计算机可执行指令，所述计算机可执行指令在由一个或多个处理器执行时实现如权利要求1至13中的任一项所述的方法。

技术总结

本发明的一个方面涉及用于远程多人VR互动的云边协同实现方法、装置和系统。公开了一种用于远程多人VR互动的云边协同实现方法，包括：在中心云处，将逻辑信息划分策略下发至多个边缘节点，以使所述多个边缘节点基于所述逻辑信息划分策略将用户上传到所述多个边缘节点的逻辑信息划分为本地逻辑信息和互动逻辑信息；接收所述多个边缘节点上传的互动逻辑信息；按照由时序规则控制的时序，将接收的互动逻辑信息下发至与所述互动逻辑信息涉及的一个或多个用户相关联的一个或多个边缘节点，其中所述时序规则是基于所述一个或多个边缘节点的网络链接时延历史数据生成的，并且用于使得下发的互动逻辑信息大约同步到达所述一个或多个边缘节点。或多个边缘节点。或多个边缘节点。