用于虚拟现实环境中的下肢运动仿真控制设备

本发明涉及在虚拟现实系统中，可以对人体动作进行捕捉，并与人体动作发生交互的运 动仿真设备，具体地说本发明是针对人体下肢运动的交互式仿真设备。

虚拟现实技术是利用计算机模拟产生一个三维空间的虚拟世界，提供用户关于视觉、听 觉、触觉等感官的模拟，让用户如同身历其境一般，可以及时、没有限制地观察三度空间内 的事物。用户进行位置移动时，电脑可以立即进行复杂的运算，将精确的3D世界图像传回产 生临场感。随着虚拟现实技术的不断发展成熟，在虚拟现实系统的浸入式虚拟环境体验中， 需要使用外部的人体运动控制设备来操控虚拟环境中人体下肢的动作，实现步行、跑步、蹲 下等下肢动作。

目前主流的虚拟现实系统人体运动控制设备包括以下几种：手柄或控制杆、全向跑步机、 空心球形空间模拟设备、以及真实动作捕捉设备。以下是关于上述设备的具体描述：

手柄或控制杆：手柄是一个可拿在手上的操纵器，一般为了电子游戏而设计，以电子讯 号作为其输入。控制杆是一种输入设备，由基座和固定在上面作为枢轴的主控制杆组成，作 用是向其控制的设备传递角度或方向信号，可以用于游戏操控、飞行驾驶、机器控制等用途。 在虚拟现实系统中，手柄和控制杆都可以作为人体运动的控制设备，来操控虚拟环境中人体 的各类动作，但是由于设备本身的局限性，无法让使用者产生与虚拟现实环境相匹配的沉浸 感体验，在实际使用中需要使用者手持控制设备并使用手指操控才能控制虚拟环境中的人体 运动。另外在使用手柄或控制杆操纵下肢动作时，人体下肢都只能处于静止状态，完全脱离 了人体正常的运动体验，对于虚拟现实系统不是一个较好的人体动作控制解决方案。

全向跑步机：全向跑步机可以适应不同的跑步方向，使用者可以随意向任意的方向移动， 跑步机通过传感器来感应人体移动的方向并将下肢运动动作传送至虚拟显示系统，从而在虚 拟现实系统中获得与使用者动作匹配的沉浸式运动体验。在实际的使用中相对于手柄或控制 杆设备而言，全向跑步机对于地形无明显变化的虚拟现实场景可以实现有效模拟，但是在复 杂的虚拟现实场景中，常常有起伏变化的地形环境，全向跑步机无法对这类环境中的变化的 地形环境进行有效的模拟仿真。

空心球形空间模拟设备：空心球形空间模拟设备为使用者提供了一个球形空间，使用户 可以在一个球形的空间中进行运动，球体能根据用户的脚步方向任意方位自由转动，让用户 可以走、跑，完全地沉浸于虚拟环境中。用户的运动动作可以在虚拟现实环境中复现。空心 球形空间模拟设备由机械力学、电子器件及软件组成，结构比较复杂，同时占用的空间较大， 对安装和使用都有较高要求。在使用过程中需要特定固定装置来限制使用者的运动范围，预 防使用者的翻滚，同时也无法模拟虚拟环境中的地形起伏变化。

真实动作捕捉设备：动作捕捉是指使用传感器记录并处理人体在三维空间中的动作，并 将数据传输至计算机，经过计算机处理后可用于多个领域，它广泛应用于军事，娱乐，体育， 医疗应用，计算机视觉、机器人技术等诸多领域。按照使用的传感器类型，动作捕捉设备可 以分为机械式、声学式、电磁式、光学式。对于虚拟现实而言，常见的虚拟现实系统人体运 动控制设备通常使用光学式动作捕捉设备，这类系统通过对目标上特定光点的监视和跟踪来 进行运动捕捉，将使用者的动作数据传输至计算机后可以控制虚拟场景的人物的运动。动作 捕捉设备的优点是在使用过程中，使用者可以自由地做出动作，使用相对简单方便。但是这 类人体运动控制设备受制于真实空间的限制，如果虚拟的场景面积远远大于使用者在现实中 使用的空间面积，则无法发挥相应的效能。同时，对于虚拟场景中变化的地形环境，使用动 作捕捉设备也无法得到拟真的反馈，来模拟虚拟环境中地面的起伏变化。

综上所述，目前绝大多数的虚拟现实系统人体运动控制设备只能实现不完整的虚拟环境 中人体下肢交互式控制体验，并且这些设备都无法实现对于虚拟现实环境中复杂地形环境的 模拟，以及直接针对人体下肢的力反馈，人体在使用上述设备过程中下肢的运动自由度较低。

本专利申请公开的是用于虚拟现实环境中的下肢运动仿真控制设备，发明本设备的目的 是为虚拟现实系统提供一种带有交互式力反馈的人体下肢运动仿真控制设备，来操控虚拟环 境中人体下肢的动作，并使人体下肢获得虚拟环境给予的反馈力，人体下肢的运动也会影响 虚拟环境中的对象，实现人体下肢运功与虚拟现实环境之间的交互式仿真。便用本设备可以 让使用者自然进行站立、步行、跑步、下蹲、跳跃等下肢动作，用于控制虚拟场景中人物的 下肢动作。本设备可适配无限面积的虚拟场景，让使用者可以在任意面积的虚拟场景中获得 沉浸式体验。另外，本设备还能够实现对虚拟场景中地形的模拟和反馈，让人体下肢感知到 真实的地形起伏，最终实现虚拟现实环境中真实的下肢沉浸感体验。

为了达到上述目的，本发明采用了如下的技术方案：

(1)系统的组成

如附图1所示，本发明下肢运动仿真控制设备，其系统包含硬件部分、软件部分并外接 第三方3D虚拟现实软件平台。本发明的平台硬件结构上包含与人体下肢绑定在一起的机械结 构、提供相应力反馈效果的驱动系统及获取人体下肢姿态数据的传感系统。本发明的软件包 括算法和控制系统。平台的算法包括物理引擎和力反馈算法。物理引擎用于计算虚拟现实场 景中的所有要素的受力和运动情况，力反馈算法用于分析和计算人体下肢在虚拟环境中的受 力，最终将受力分解到驱动系统的相应节点上。控制系统与硬件结构实现数据连接，控制系 统可以内置自带的虚拟现实软件或可与其他的3D虚拟现实软件平台进行数据交互。控制系统 获取虚拟现实软件平台所渲染的虚拟场景，以及场景内影响使用者下肢运动的相关数据，然 后使用上述算法，根据平台硬件获得的姿态数据来计算虚拟场景中的人物运动状态和相应的 下肢力反馈参数，然后将计算结果传送至虚拟现实软件平台进行场景渲染，同时也将计算结 果传送至平台硬件进行运动仿真输出，让使用者感受到三维虚拟现实场景对其的反馈力。上 述的3D虚拟现实软件平台用于提供系统运行所需的虚拟现实环境，接收控制系统的三维场景 相关数据，并在软件平台中进行三维场景的渲染和显示。

(2)硬件结构

本发明下肢运动仿真控制设备的硬件结构包括：机械结构、驱动系统和传感系统。

机械结构：

如附图2所示，本发明的机械结构是一个由多个杆和传动结构构成的力反馈外骨骼结构。 杆与杆之间通过铰链相连，每个铰链上都带有相应的电机和减速器，用于控制铰链的运作。 整个机械结构悬挂固定在支架上，使用者通过与设备的几个节点的固定，包括胯部、大腿、 小腿、脚掌、脚趾与设备的固定，从而实现人体下肢关键部位的固定。该机械结构可以模拟 人体下肢运动所具备的16个自由度，同时人体可以通过杆和铰链组成的机械联动系统获取步 行、跑动、下蹲等下肢动作的反馈力。

如附图3所示，在这个机械结构中，胯部和大腿之间设计有身高补偿杆(附图3中的3)， 用于适应不同的使用者大腿长度的变化。在脚趾和脚掌之间的脚趾铰链(附图3中的14)保 证了使用者脚趾部位活动的自由度。

驱动系统：

驱动系统由与铰链传动的电机组成，驱动系统可以实现的功能包括：制动和驱动。通过 驱动系统的制动，可以按照虚拟现实系统的场景要求实现向人体下肢输出制动扭矩，从而模 拟人体下肢运动中接触各类物体所受到的阻力。驱动系统通过主动输出驱动力矩，可以让使 用者下肢感受到来自虚拟场景中的特定驱动力，进而模拟人体下肢由重力加速度或其他运动 引起的各种受力。

传感系统：

本发明的传感系统由一系列的动作捕捉传感器构成，用于捕捉并计量机械结构的动作数 据。本发明中的传感器可以由角位移编码器组成，这些角位移编码器设置在系统各个自由度 所对应的驱动系统中，用以捕捉人体下肢的运动姿态。通过测量人体下肢每一个可活动关节 的运动情况，将数据传回至虚拟现实系统中进行受力分析及姿态计算。

(3)系统的输入/输出

系统的输入：系统从控制系统接收虚拟场景中以使用者为中心的碰撞数据，结合力反馈 算法计算使用者在虚拟场景中的受力。

具体过程是以使用者为中心，如附图4所示，建立以人体腰部为基准点的极坐标系，该 坐标系包含经度、纬度、距离参数，当接收到周围虚拟场景数据以后，控制系统将结合使用 者当前的姿态，使用上述坐标数据来计算虚拟场景对使用者的下肢外骨骼结构反馈力，之后 通过外骨骼机械结构作用在使用者的下肢上，让使用者的下肢感受到虚拟场景中对于使用者 下肢的反馈力。与此同时，控制系统也会计算三维虚拟场景中受到使用者下肢动作影响的要 素，并将这些要素在3D虚拟现实软件平台中进行渲染和展现。

为了提升计算效率，本发明需要在虚拟场景中以上述极坐标系基准点为圆心设置监测半 径，在此半径范围之内，当虚拟环境中的要素处于监测半径范围之内时，如附图5所示，系 统会自动测量计算在监测半径范围之内的所有虚拟现实要素，这些要素以碰撞点的形式进行 计量，控制系统将利用算法来分析虚拟场景中的碰撞点以及使用者下肢的受力情况，将受到 人体下肢碰撞的要素的状态通过3D虚拟现实软件平台的渲染来表现，并将力反馈计算结果实 时通过驱动系统和机械结构反馈到使用者下肢对应的碰撞点位置，让使用者感知到虚拟场景 带来的力反馈。

输出：使用者下肢感受到机械结构带来的反馈力后，其做出的自然反应会相应改变机械 结构的姿态，系统将此数据上传到控制系统，用于虚拟图像的渲染。

具体过程是在使用者下肢感受到系统机械结构输出的反馈力后，可能随时做出相应力反 馈。由于使用者与机械结构所施加的力相互作用，这些力的综合作用结果会使机械结构的姿 态产生相应变化，传感系统捕捉机械结构的姿态数据后将数据输出至控制系统，折算成虚拟 场景中的人体的运动状态和肢体动作，然后输出至3D虚拟现实软件平台中渲染虚拟三维场景。

与现有技术相比，本发明的优势在于：

1、在虚拟三维场景中实现了完整的人体下肢控制操作，让使用本设备的人可以做出任何 下肢动作来控制虚拟场景中对应的虚拟人物动作，相对于现有的技术大大提升了使用者的下 肢动作自由度；

2、让使用者获得虚拟环境对于人体下肢动作的反馈力，并将这种反馈力精确地通过传感 系统作用在于人体下肢固定的节点上，实现了精确的定量化模拟；

3、在系统中可以模拟起伏的地形环境，将虚拟三维场景中地形的起伏变化以机械传感的 形式反馈到人体下肢，人体下肢感知到地形变化后会自然地做出相应的动作变化以适应这种 地形变化，此时人体的动作将再次被系统识别并进行新一轮的力学反馈，形成了一个完整的 人体下肢力反馈循环，相对于目前的人体力学反馈装置而言，实用性大大提升，让使用者体 验到真实的下肢沉浸感；

4、本系统的使用没有区域的限制，使用者可以通过系统来模拟任意面积和地形环境的虚 拟场景，而整套系统可以搭建在一个固定的位置，不需要占用额外的空间，相对于以往的虚 拟现实交互式外设设备提高了系统部署使用的灵活性。

图1是本发明的系统组成结构框图

图2是本发明的机械结构原理图

图3是本发明的机械结构示意图

图4是本发明的虚拟场景中的受力计算范围立体演示图

图5是本发明的虚拟场景中人体受力计算范围剖面图

图6是本发明的力反馈算法流程图

图7是本发明的运行流程示意图

下面结合附图和具体实施例详细说明本发明的具体实施方式。

附图1是本发明实施例的构成示意图，所述内容包括：

本发明用于虚拟现实环境中的下肢运动仿真控制设备的构成包括：平台软件、3D虚拟现 实软件平台和平台硬件。

平台软件由算法和控制系统构成。

算法包括物理引擎和力反馈算法。物理引擎用于计算虚拟场景中每一个要素在不同的情 况下的物理属性，通过物理属性来决定要素的受力和运动状态。力反馈算法用于分析解算人 体下肢的受力，并将对下肢的反馈力计算结果分解到驱动系统的每一个电机，决定了系统对 于人体的反馈力。

控制系统与平台硬件中的传感系统实现数据连接，同时也可以自带内置的3D虚拟现实软 件平台或者使用其他的3D虚拟现实软件平台提供的三维场景数据。控制系统使用前述算法， 结合3D虚拟现实软件平台提供的三维虚拟场景，可以对于人体下肢在虚拟场景中的受力进行 分析，经过计算求解得到虚拟现实场景中的人物运动状态和相应的下肢力反馈参数。最终控 制系统得到的计算结果数据将提供给机械结构中的驱动系统和3D虚拟现实软件平台，分别用 于驱动系统力反馈和三维虚拟场景渲染。在本发明的实际实施中，控制系统可以采用包括但 不限于个人计算机、网络计算机、嵌入式系统、智能手机在内的计算机软硬件系统来实现前 文所述的技术目的。在本发明的实际实施中，控制系统在物理结构上可以安装在包括但不限 于前述的机械结构、驱动系统、传感系统在内的物理位置来实现前文所述的技术目的。

3D虚拟现实软件平台可以提供系统运行所需的三维虚拟现实场景，接收控制系统的数据 计算结果，并在三维场景中进行渲染和显示。

平台硬件由机械结构、驱动系统、传感系统构成。

附图2是本发明实施例机械结构的原理示意图，所述内容包括：

前文所述的机械结构是一个带有力反馈的下肢外骨骼，机械结构由多个杆和传动结构构 成。杆与杆之间通过铰链相连，每个铰链上都带有相应的驱动电机和减速器，用于控制铰链 的运作。整个机械结构悬挂固定在一个支架上，使用者通过与设备的多个节点的绑定，包括 胯部、大腿、小腿、脚掌、脚趾与设备的绑定，从而实现人体下肢关键部位与力反馈外骨骼 的固定。机械结构本身具备与人体下肢相同的运动自由度，人体在使用这个力反馈外骨骼时 下肢可以实现自由沽动，通过杆和铰链组成的机械联动系统获得步行、跑动、下蹲等下肢动 作的反馈力，可以适应虚拟现实环境中的不限面积和形状的地形环境。

附图3是本发明实施例机械结构的详细示意图，所述内容包括：

前文所述的机械结构包括一系列杆结构以及连接杆的铰链结构，具体地包括以下结构：

1胯部连杆：被悬挂固定在一个架子上，同时与使用者的胯部固定在一起

2身高补偿铰链：连接胯部和身高补偿杆的铰链

3身高补偿杆：为了补偿使用者大腿的不同尺寸变化而设计的自适应补偿杆，机械系统 通过这个设计可以自动适应不同使用者的下肢长度

4大腿俯仰铰链：为了大腿的上下俯仰动作而设计的铰链，该结构使人体大腿在俯仰自 由度上可以自由活动

5大腿外展铰链：为了大腿的外展动作而设计的铰链，该结构使人体大腿在侧向外展自 由度上可以自由活动

6大腿回转铰链：为了大腿的回转动作而设计的铰链，该结构使人体大腿在回转自由度 上可以自由活动

7大腿连杆：与使用者下肢大腿固定在一起的连杆结构，与使用者的大腿一起活动

8膝盖铰链：为了膝盖的上下俯仰动作而设计的铰链，该结构使人体膝盖部位可以在俯 仰自由度上可以自由活动

9小腿回转铰链：为了小腿的回转动作而设计的铰链，该结构使人体小腿在回转自由度 上可以自由活动

10小腿连杆：与使用者下肢小腿固定在一起的连杆结构，与使用者的小腿一起活动

11脚踝俯仰铰链：为了脚踝的上下俯仰动作而设计的铰链，该结构使人体脚踝在俯仰自 由度上可以自由活动

12脚踝外展铰链：为了脚踝的左右外展动作而设计的铰链，该结构使人体脚踝在侧向外 展自由度上可以自由活动

13脚掌连杆：与使用者下肢脚掌接触的连杆结构，用于支撑人体的后脚掌和后脚跟

14脚趾铰链：为了脚趾的俯仰动作而设计的铰链，该结构使人体脚趾在俯仰自由度上可 以自由活动

15脚趾连杆：与使用者下肢脚趾固定在一起的连杆结构，用于支撑人体的脚趾

16底座：用于支撑并悬吊整个机械结构

前文所述的驱动系统在本实施例中固定在前文所述外骨骼结构的铰链结构内部，是一系 列与这些铰链传动的驱动电机和相应的减速器，可以按照附图1中控制系统的指令要求，实 现本发明中外骨骼对人体下肢动作的制动和驱动。本发明的实际实施中，驱动系统可以采用 包括但不限于电动机、伺服电机、步进电机、液压、气动在内的装置来实现制动和驱动。

前文所述的传感系统在本实施例中负责测量驱动系统中每一个电机的角位移量，在本例 中传感器硬件上是多个角位移编码器，可以测量每一个可活动关节铰链受到人体的作用力影 响而产生的角位移量，来实现对人体动作的计量。在本发明的实际实施中，传感系统可以采 用包括但不限于机械传感器、形变传感器、压力传感器在内的传感器来测量人体受力。在角 度测量的实施例中，传感系统可以采用包括但不限于光电编码器、电流编码器、机械编码器、 电磁编码器、角度计、磁力计在内的传感器来测量角度。

附图6是本发明实施例中力反馈算法的示意图，所述内容包括：

前文所述的力反馈算法分为三个步骤：静力分解计算、约束点受力分解和纠正以及驱动 系统作用力计算：

A.基于约束条件的静力分解计算：

在接收到虚拟场景的碰撞数据后，结合人物的约束条件进行静力分解计算。人物的约束 点共四个，分别为人的双足和双膝。系统根据人物姿态和碰撞数据首先获得人物与虚拟场景 的碰撞情况，从而判断出具备反馈力的约束点。根据人体姿态的变化情况，计算人体在不考 虑约束点滑动情况下的理想加速度a和理想角加速度α。根据公式：

ΣF = m ( a + g ) = m dx dt + mg

和

ΣM = Σ ( F × L ) = mα = m dω dt ,

公式中的m是人物的质量，v是人物的瞬时速度，t是时间，M是人物收到的力矩，L是人 物总体位移矢量，ω是人物瞬时角速度

可计算求得各约束在理想情况下所受的反作用力。

B.各约束点的受力分解及纠正

在获取各约束点的受力后，根据各点接触情况可计算其各自的约束矢量方向。根据公式： F＝FN+Ff，(FN是约束矢量方向的驱动力，Ff是约束矢量方向的摩擦力)将各约束点所受 力延其约束矢量方向及矢量法平面方向投影，即可计算出各约束点所受的支撑力及理想摩擦 力。由公式：

Ff max＝μ×Fn，

其中，μ是人物与接触面之间的摩擦系数，Fn是接触面法向压力

可计算得出在考虑摩擦系数情况下约束条件所能提供的最大静摩擦力Ff max。比较理想摩 擦力与最大静摩擦力，如果理想摩擦力大于最大静摩擦力，说明在实际情况下该约束点超出 摩擦力所能提供的约束能力应产生滑动。使用公式：

F′＝FN+Ff max，

可计算得到考虑滑动后各约束点的受力。通过公式：

a ′ = a - Σ ( F f - F f max ) m

和

α ′ = α - Σ | ( F f - F f max ) × L | m ,

即可纠正不考虑摩擦系数对人体运动的加速度和角加速度的影响，得到实际加速度a‘ 和实际角加速度α′。这些数据经过积分后将形成人物的空间坐标输出到控制系统中。

C.驱动系统的作用力计算

获得各约束点受力情况后，根据当前时刻的人体姿态和生理约束，计算各关节驱动系统 的制动力和驱动力。其计算过程为：获取各关节远端连杆在其回转平面上的法线，将作用力 依照由远端到近端的顺序依次在这些法线上求取投影分量，该分量除以对应连杆的长度即为 相应关节所需输出的扭矩。根据输出扭矩的作用效果，如果需要克服重力做功则产生的是驱 动力矩，如果与重力做功方向一致则产生制动力矩。作用力投影分解后的剩余部分依次后移， 递归计算出每个关节所需输出的相应扭力。递归过程中如果遇到存在其他外部作用力的关节， 则将外部作用力与该关节的剩余投影分量合成后继续递归计算。

附图7是本发明实施例的运行流程示意图，所述内容包括：

对于系统的运行过程而言，使用者首先将力反馈外骨骼与人体下肢的几个关键部位绑定， 下肢开始运动以后，系统利用传感系统来进行动作捕捉，获得人体下肢动作捕捉数据，然后 将动作捕捉数据结合虚拟场景中元素在3D虚拟现实软件平台中进行虚拟现实场景渲染。同时 控制系统结合利用系统算法，结合虚拟现实场景中的碰撞要素计算，来计算虚拟环境中对于 人体下肢碰撞点的作用力，这些计算结果通过驱动系统产生相应作用力给机械结构，最终作 用于人体下肢相应的碰撞点，让使用者感受到虚拟现实环境带来的力学反馈，并自然地做出 相应的下肢动作反馈，然后再次将人体的动作传递至系统机械结构，开始进入下一轮力反馈 计算和虚拟现实场景渲染的循环，周而复始，不断重复地进行下肢动作捕捉和力反馈计算， 实现人体下肢在三维虚拟现实环境中的力反馈交互式体验。