一种虚拟人实时互动系统及方法

1.本发明涉及虚拟现实和人机交互领域，尤其涉及一种虚拟人实时互动系统及方法。

背景技术：

2.虚拟人是通过计算机技术驱动的虚拟人类形象，从驱动方式上分为ai驱动型和真人驱动型。目前，用于演艺娱乐的虚拟人主要是真人驱动型。真人驱动型虚拟人是通过捕捉录制真人的动作、表情等驱动虚拟人进行展示的虚拟人呈现方式。现有的实现方案主要包括动作捕捉技术和计算机渲染技术，然而，很少有技术方案从整体系统和新技术的集成角度考虑实现虚拟人与观众的实时游戏互动。因此，目前的演艺型虚拟人大多数不能与观众构成互动关系，其呈现方式大多是视频、图片等非互动形式，是一种固定的录制的单方向呈现。
3.目前，大多数虚拟人只能按照固定的、预先设定的模式呈现表演等过程，无法与人类进行实时互动；少部分虚拟直播等场景中能够进行实时互动的虚拟人互动形式较为有限，主要是语音、表情等形式。现有技术的虚拟人互动缺乏真实感和实时性，其表现方式也较为单一，不能让用户具有沉浸式体验。

技术实现要素：

4.针对现有技术中虚拟人互动表现方式单一，缺乏真实感的技术问题，本发明提出了一种虚拟人实时互动系统及方法，使得人类玩家能够与虚拟人在虚拟场景中进行互动，通过实时反馈、动作捕捉、云服务器信息传输等方法实现实时沉浸的数字娱乐空间。
5.为了实现上述目的，本发明采用如下技术方案：本发明提供一种虚拟人实时互动系统，包括：客户端组件，包括若干子客户端，所述子客户端是虚拟人客户端或玩家客户端；云服务器组件，用于接收来自客户端组件的数据，进行数据存储和处理并向各个子客户端分发；动作捕捉组件，与所述虚拟人客户端连接，用于采集虚拟人表演者的表演信息；虚拟现实硬件设备，与所述子客户端连接，用于被人类使用者使用以参与虚拟场景；其中，所述人类使用者包括虚拟人表演者和玩家。
6.进一步地，所述表演信息包括动作信息、表情信息和语音信息；所述动作捕捉组件包括：动作捕捉设备，用于采集虚拟人表演者的动作信息和表情信息；语音处理设备，用于采集虚拟人表演者的语音信息。
7.进一步地，所述云服务器组件还包括数据库组件，所述数据库组件用于存储和打包来自客户端的数据，形成数据包后由所述云服务器组件进行分发。
8.进一步地，所述虚拟现实硬件设备能够根据需要选定为能够与用户交互的设备或只进行显示的设备。
9.进一步地，每个所述子客户端中，包括用于生成虚拟场景的数字场景组件。
10.本发明还提供一种虚拟人实时互动方法，基于上述虚拟人实时互动系统，包括以下步骤：a1：所述云服务器组件接收并处理来自各个所述子客户端的信息，并将接收到的信息打包分发给各个所述子客户端；a2：所述子客户端接收来自所述云服务器组件的信息，并通过所述虚拟现实硬件设备实时呈现给使用者；a3：所述虚拟人表演者根据所述虚拟现实硬件设备呈现的玩家操作信息进行表演，由所述动作捕捉组件采集表演信息并发送给所述虚拟人客户端；a4：所述子客户端将采集到的信息实时转发给所述云服务器组件；其中，步骤a1-步骤a4均为实时进行，不分先后顺序。
11.进一步地，步骤a1中，所述来自各个所述子客户端的信息包括来自所述虚拟人客户端的表演信息和来自所述玩家客户端的玩家操作信息。
12.进一步地，所述表演信息包括动作信息、表情信息和语音信息，其中，所述动作信息经过虚拟人客户端处理，由采集到的虚拟人表演者动作转换为三维模型骨骼运动信息。
13.进一步地，所述虚拟人客户端在处理所述动作信息时，进行抽值处理。
14.进一步地，所述玩家客户端在呈现表演信息中的所述动作信息时，进行插值处理。
15.本发明的有益效果是：本发明提出一种虚拟人实时互动系统，结合了虚拟人领域与游戏互动领域，提出了一种实时人机交互的新形式，通过人类表演者实时获取玩家操作并进行实时反馈表演，并使用动作捕捉组件使表演者的表演更加生动，让玩家在虚拟世界中能够体验到真实、有沉浸感的交互，弥补了目前虚拟人与人类之间互动性有限的问题，突出人类与虚拟人互动的实时性，提高了虚拟人与人类之间的实时互动效果，实现虚拟人从固定呈现方式到互动媒体呈现方式的转变；本发明提供了一种虚拟人实时互动的方法，使得人类玩家能够与虚拟人在虚拟场景中进行游戏互动，通过实时反馈、动作捕捉、云服务器信息传输等方法实现实时沉浸的数字娱乐空间。本发明引入了云服务器技术，突破了游戏玩家与虚拟人之间的空间限制，人类参与者不必现场参与互动，通过客户端能够与虚拟人、其他玩家在不同的空间内共同进行游戏。
附图说明
16.图1为本发明实施例中发明系统逻辑示意图；图2为本发明实施例中发明数据逻辑示意图；图3为本发明实施例中游戏方式与虚拟场景示意图；图4为本发明实施例中现场展示示意图；图5为本发明实施例中实验结果示意图；图6为本发明实施例中虚拟人实时互动方法流程示意图。
具体实施方式
17.为使本发明技术方案和优点更加清楚，下面将结合本发明中的附图对本发明实施例的技术方案进行完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
18.下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
19.现有的虚拟人表演方式，大多采用了计算机动画制作的技术方案，此类技术方案限制了虚拟人的实时性与互动性。游戏是一种互动娱乐形式，互动性是游戏的本质特征之一，也是虚拟人的发展的核心方向之一。传统的计算机动画制作技术通常采用插值动画或动作捕捉动画、离线渲染的技术方式，不满足虚拟人发展的方向和观众对虚拟人实时互动的需要。因此，探索虚拟人实时互动游戏的技术方案能够突破传统计算机动画技术方案离线渲染、缺乏互动性的缺点。
20.本发明目的是建立一种虚拟人实时互动系统，为观众提供与虚拟人实时互动的数字娱乐空间，实现虚拟人从固定呈现方式到互动媒体呈现方式的转变。
21.在一些实施例中，本发明采用如下技术方案：一种虚拟人实时互动系统，包括：客户端组件，包括若干子客户端，所述子客户端可以是虚拟人客户端或玩家客户端；云服务器组件，用于接收来自客户端组件的数据，其包含数据库结构，数据库用于存储和打包来自客户端的数据，形成数据包后由所述云服务器组件向所有子客户端进行分发；每个所述子客户端中，包括用于生成虚拟场景的数字场景组件，数字场景组件包含通过计算机建模、游戏物理引擎渲染的实时数字游戏模块。
22.动作捕捉组件，与所述虚拟人客户端连接，包括用于采集虚拟人表演者动作、表情、语音的动作捕捉设备和语音处理设备；虚拟现实硬件设备，与所述子客户端连接，用于被人类使用者（包括虚拟人表演者和玩家）使用以参与虚拟场景，所述虚拟现实硬件设备可以根据需要选定为能够与用户交互的设备或只进行显示的设备。在本实施例中，玩家可以采用各种虚拟现实硬件设备接入玩家客户端，如vr、ar、mr设备，个人计算机或其他类型的游戏设备，虚拟人表演者除了使用上述设备外，还可以用各种显示设备作为接入子客户端的硬件设备，因为他们可以不通过虚拟现实硬件设备传输操作信息，而是通过动作捕捉组件采集更加高精度、更生动的操作信息。
23.在实际应用中，游戏等互动场景中的非玩家角（non-player character, npc）是游戏交互的重要模块，尤其是演艺娱乐场景中，高建模质量的虚拟人构成了表演互动的核心。因此，虚拟人的表演采用成本较高的动作捕捉组件与实时互动系统，是提升游戏沉浸感和游戏体验最为高效的方式；而游戏玩家可以采用各种已有的商业虚拟现实设备接入，采用预设的动作表现形式进行操作，在兼顾玩家长期使用习惯的同时不需要提升玩家的体
验成本，即可实现游戏实时性和沉浸感体验的大幅提升。
24.所述动作捕捉组件实时捕捉虚拟人演员的动作、表情、语音等信息，例如采用kinect设备进行光学动作捕捉，采用深度摄像头进行面部表情捕捉，采用麦克风进行语音捕捉。其中，动作信息被虚拟人客户端实时处理为虚拟人三维模型的骨骼信息，表情信息被虚拟人客户端实时处理为面部特征点信息并驱动虚拟人模型的表情动画，语音信息被虚拟人客户端实时信号处理转变为不同音的声音，上述信息通过虚拟人客户端发送到云服务器组件，并分发到玩家客户端；所述云服务器组件通过互联网通讯接收虚拟人客户端和玩家客户端传送的信息并进行处理，主要是压缩和存储到数据库中，并实时分发虚拟人和玩家的状态到所有子客户端；所述数字场景组件是指通过建模软件和游戏物理引擎制作的数字娱乐场景，例如采用3d studio max、blender、maya等建模软件构建数字模型，通过unity、unreal等游戏引擎进行游戏场景构建。通过游戏策划实施互动游戏方案，能够让玩家通过虚拟化身与虚拟人在同一虚拟数字空间进行实时互动；所述虚拟现实硬件设备通过分布式虚拟现实系统接入客户端，例如采用oculus quest2、pico neo等虚拟现实设备终端串流计算机，通过计算机网络组成分布式系统，构成玩家进行游戏互动的虚拟现实硬件设备。
25.作为本发明公开的虚拟人实时互动系统的一种优选实施方式：虚拟人实时互动能够在虚拟直播的场景中实施，大量直播观众能够作为玩家参与实时互动游戏，本发明创新性地在直播、表演等单向艺术形式中融入互动游戏，实现了传统媒体到互动媒体的革新。
26.为了达到上述目的，本发明公开的虚拟人实时游戏互动系统采用以下技术方案予以实现：（1）玩家客户端步骤：玩家通过虚拟现实设备串流连接计算机客户端，进入虚拟数字游戏场景，客户端发送玩家操作信息到云服务器，同时接收云服务器发送的虚拟人信息和其他玩家信息，与虚拟人和其他玩家共同参与游戏；（2）虚拟人表演者步骤：虚拟人表演者佩戴动作捕捉设备和虚拟现实设备，通过虚拟人客户端进入虚拟数字游戏场景，客户端发送动作捕捉信息到云服务器，同时接收玩家操作信息，虚拟人表演者能够通过虚拟现实设备看到玩家在游戏中的行为，并依据游戏目标与玩家进行实时互动；（3）云服务器步骤：云服务器是连接玩家与虚拟人之间的信息传输中介和通道，通过接收、处理、分发信息到客户端，实现在线游戏的实时互动功能。
27.本发明还提供一种虚拟人实时互动方法，基于上述虚拟人实时互动系统，在一些实施例中，如图6，包括以下步骤：a1：所述云服务器组件接收并处理来自所述虚拟人客户端的表演信息和来自所述玩家客户端的玩家操作信息，并将接收到的信息打包分发给各个所述子客户端；a2：所述子客户端接收来自所述云服务器组件的信息，并通过所述虚拟现实硬件设备实时呈现给使用者；a3：所述虚拟人表演者根据所述虚拟现实硬件设备呈现的玩家操作信息进行表演，由所述动作捕捉组件采集表演信息并发送给所述虚拟人客户端；a4：所述子客户端将采集到的信息实时转发给所述云服务器组件；需要说明的是，图中顺序仅作为一种具体实施方式，实际上步骤a1-步骤a4均为实
时进行，不分先后顺序。
28.所述表演信息包括动作信息、表情信息和语音信息，其中，所述动作信息经过虚拟人客户端处理，由采集到的虚拟人表演者动作转换为三维模型骨骼运动信息。
29.动作捕捉数据可以进行优化（如抽值处理），以减少数据的传输量、提高传输效率，并在客户端采用插值方法对动作捕捉数据进行复原；如图1所示，其示出了本发明的系统逻辑。用户通过终端连接本发明公开的虚拟人实时游戏互动系统，包括动作捕捉组件、云服务器组件、数字场景组件、虚拟现实硬件设备，终端与虚拟数字人相连接。虚拟数字人接收用户信息，真人表演者做出相应互动，通过语音处理、动作捕捉等进行虚拟人数据捕捉，并且进行实时渲染显示。用户通过终端与虚拟人在同一虚拟数字场景中进行游戏互动。
30.如图2所示，其示出了本发明的数据逻辑。云服务器是数据的核心，能够接收信息并实现信息处理、存储与分发。云服务器包含了一个用于记录和分发数据的数据库，数据输入云服务器后先传入数据库，数据库对玩家的身份、位置坐标等信息进行记录与保存，然后进行数据的分发。虚拟数字人表演者端主要进行动作捕捉数据的处理，主要是指使动作捕捉数据匹配游戏引擎中虚拟人三维模型的骨骼，处理完的数据通过客户端向云服务器发送，同时接收服务器分发的观众客户端信息并通过音视频监控系统（例如显示屏幕、扬声器等）向表演者展示，便于表演者实时掌握观众的游戏信息；观众客户端主要进行观众操作数据的处理，主要是改变数据格式便于传输，例如离散的位置坐标信息改写为矩阵形式，处理完的数据通过客户端向云服务器发送，同时接收服务器分发的虚拟人端和其它观众客户端信息。本发明的客户端是在个人计算机上运行的程序，可以串流虚拟现实设备作为客户端输出设备。
31.下面结合实施例进一步说明本发明的具体实施方式：如图3、4所示是基于本发明制作的虚拟人实时互动游戏《猫伴旅途》，该游戏于清华大学国际艺术与设计教育大会展出。玩家通过虚拟现实终端进入游戏，采用猫的虚拟化身形象，利用猫的夜视能力与表演者控制的虚拟人和其他玩家控制的猫在停电的虚拟场景中互动，共同完成游戏的任务。游戏的技术实施方式与本发明所述相同，游戏通过3d studio max建模，通过unity游戏引擎构建游戏场景，采用c#和lua编程语言，采用腾讯云服务器构建数据库，采用kinect设备进行虚拟人动作捕捉。游戏的呈现终端采用了串流计算机的虚拟现实设备，在虚拟现实设备不足的情况下也可直接采用计算机屏幕呈现。
32.本发明提出的数字游戏场景主要根据本发明的系统和数据模块进行设计。实时游戏场景遵从非对称模型的设计原则。非对称模型的内涵主要包括：（1）非对称的互动模式。虚拟人与观众之间的互动关系是一个表演者对多个观众的互动模式，这种互动模式构成了一种虚拟表演者与观众之间的非对称关系。
33.（2）非对称的视觉风格。与之相符的，基于本发明的系统与数据逻辑的虚拟人互动游戏视觉设计遵从非对称的原则，突出虚拟人的主角地位与观众的参与者地位。例如虚拟舞台设计突出明星的形象、虚拟人与观众之间的体积差异巨大、观众的虚拟化身是非人类形象等，都属于本发明提出的游戏模式的设计思路。
34.（3）非对称的游戏规则。虚拟人与观众应该具有非对称的游戏目标，基于非对称的游戏目标所设计的游戏规则应当遵从非对称的原则。例如虚拟人与观众具有不同的游戏数
值属性等。
35.（4）非对称的商业模式。与本发明相符合的商业模式遵从非对称的原则，观众的消费规则是非对称的形式。即观众并不是购买一对一的服务，而是一种非对称的一对多服务模式，同时，观众在体验虚拟人提供的服务的同时，也与其他观众共同参与游戏，与其他观众和虚拟人共同创造商业价值。
36.本发明对实施例《猫伴旅途》进行了实验，选择了12名参与者，其中6人21-25岁之间，5人26-30岁，1人超过35岁，受试者均是首次体验《猫伴旅途》游戏。通过geq（game user experience evaluation）量表（表1）进行了评价。实验结果如图5所示，实验结果表明，本发明的游戏互动是一种易用的、高沉浸感的虚拟人实时游戏互动形式。
37.表1-geq核心量表在本说明书的描述中，参考术语“一个实施例
”ꢀ
和“示例”等述意指结合该实施例或示例描述的具体特征、结构或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相对的实施例或示例中以合适的方式结合。
38.必须指出，以上实施例的说明不用于限制而只是用于帮助理解本发明的核心思想，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，对本发明进行的任何改进以及与本产品等同的替代方案，也属于本发明权利要求的保护范围内。

技术特征：

1.一种虚拟人实时互动系统，其特征在于，包括：客户端组件，包括若干子客户端，所述子客户端是虚拟人客户端或玩家客户端；云服务器组件，用于接收来自客户端组件的数据，进行数据存储和处理并向各个子客户端分发；动作捕捉组件，与所述虚拟人客户端连接，用于采集虚拟人表演者的表演信息；虚拟现实硬件设备，与所述子客户端连接，用于被人类使用者使用以参与虚拟场景；其中，所述人类使用者包括虚拟人表演者和玩家。2.根据权利要求1所述的虚拟人实时互动系统，其特征在于：所述表演信息包括动作信息、表情信息和语音信息；所述动作捕捉组件包括：动作捕捉设备，用于采集虚拟人表演者的动作信息和表情信息；语音处理设备，用于采集虚拟人表演者的语音信息。3.根据权利要求1所述的虚拟人实时互动系统，其特征在于：所述云服务器组件还包括数据库组件，所述数据库组件用于存储和打包来自客户端的数据，形成数据包后由所述云服务器组件进行分发。4.根据权利要求1所述的虚拟人实时互动系统，其特征在于，所述虚拟现实硬件设备能够根据需要选定为能够与用户交互的设备或只进行显示的设备。5.根据权利要求1所述的虚拟人实时互动系统，其特征在于，每个所述子客户端中，包括用于生成虚拟场景的数字场景组件。6.一种虚拟人实时互动方法，其特征在于，基于根据权利要求1-5任一项所述的虚拟人实时互动系统，包括以下步骤：a1：所述云服务器组件接收并处理来自各个所述子客户端的信息，并将接收到的信息打包分发给各个所述子客户端；a2：所述子客户端接收来自所述云服务器组件的信息，并通过所述虚拟现实硬件设备实时呈现给使用者；a3：所述虚拟人表演者根据所述虚拟现实硬件设备呈现的玩家操作信息进行表演，由所述动作捕捉组件采集表演信息并发送给所述虚拟人客户端；a4：所述子客户端将采集到的信息实时转发给所述云服务器组件；其中，步骤a1-步骤a4均为实时进行，不分先后顺序。7.根据权利要求6所述的方法，其特征在于，步骤a1中，所述来自各个所述子客户端的信息包括来自所述虚拟人客户端的表演信息和来自所述玩家客户端的玩家操作信息。8.根据权利要求7所述的方法，其特征在于，所述表演信息包括动作信息、表情信息和语音信息，其中，所述动作信息经过虚拟人客户端处理，由采集到的虚拟人表演者动作转换为三维模型骨骼运动信息。9.根据权利要求8所述的方法，其特征在于，所述虚拟人客户端在处理所述动作信息时，进行抽值处理。10.根据权利要求9所述的方法，其特征在于，所述玩家客户端在呈现表演信息中的所述动作信息时，进行插值处理。

技术总结

本发明提供一种虚拟人实时互动系统及方法，包括：客户端组件，包括若干子客户端，所述子客户端可以是虚拟人客户端或玩家客户端；云服务器组件，用于接收来自客户端组件的数据，进行数据存储和处理并向各个子客户端分发；动作捕捉组件，与所述虚拟人客户端连接，用于采集虚拟人表演者的表演信息；虚拟现实硬件设备，与所述子客户端连接，用于被人类使用者使用以参与虚拟场景；通过本发明提供的虚拟人实时互动系统及其配套方法，能够解决现有技术中虚拟人互动表现方式单一，缺乏真实感的技术问题，使得人类玩家能够与虚拟人在虚拟场景中进行互动，通过实时反馈、动作捕捉、云服务器信息传输等方法实现实时沉浸的数字娱乐空间。传输等方法实现实时沉浸的数字娱乐空间。传输等方法实现实时沉浸的数字娱乐空间。