(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 201810925012.3
(22)申请日 2018.08.14
(71)申请人 龚映清
地址 518001 广东省深圳市红岭中路1012
号国际信托大厦
(72)发明人 王晶 刘刚 郭晓辉
(74)专利代理机构 西安通大专利代理有限责任
公司 61200
代理人 高博
(51)Int.Cl.
G16H 20/30(2018.01)
G06F 3/01(2006.01)
(54)发明名称一种基于眼动及脑电信息的大型游戏场景康复系统及方法(57)摘要本发明公开了一种基于眼动及脑电信息的大型游戏场景康复系统及方法，包括脑电电极、机械外骨骼、显示屏、眼动仪和控制摇杆及BCI判断按键装置，脑电电极设置在患者的头顶，机械外骨骼设置在患者的患侧，机械外骨骼上设置有触物感振子模块，控制摇杆及BCI判断按键装置设置在患者的健侧，显示屏设置在患者的前方，与计算机连接，眼动仪设置在显示屏上，通过健侧和患侧配合完成康复大型游戏。本发明巧妙的将脑机接口技术与游戏巧妙结合，搭建了一种新型框架，避免了BCI意图识别少的缺点，基于本研究的框架模式可以嵌入多种康复游戏，使得患者 的康复训练形成了沉浸式游戏场景整体。权利要求书2页 说明书7页 附图3页CN 109166612 A 2019.01.08
C N 109166612
A
1.一种基于眼动及脑电信息的大型游戏场景康复系统，其特征在于，包括脑电电极
(2)、机械外骨骼(3)、显示屏(4)、眼动仪(8)和控制摇杆及BCI判断按键装置(9)，脑电电极(2)设置在患者(1)的头顶，机械外骨骼(3)设置在患者(1)的患侧，机械外骨骼(3)上设置有触物感振子模块(10)，控制摇杆及BCI判断按键装置(9)设置在患者(1)的健侧，显示屏(4)设置在患者(1)的前方，与计算机(5)连接，眼动仪(8)设置在显示屏(4)上，通过健侧和患侧配合完成康复大型游戏。
2.根据权利要求1所述的一种基于眼动及脑电信息的大型游戏场景康复系统，其特征在于，触物感振子模块(10)包括指尖振子(13)、指背振子(14)和手背振子(15)，指尖振子(13)分布在患手的指尖，指背振子(14)分布于患手指背，手背振子(15)分布在患手的手背。
3.根据权利要求2所述的一种基于眼动及脑电信息的大型游戏场景康复系统，其特征在于，指尖振子(13)的振子采用单一控制，指背振子(14)的每根手指采用单独控制，手背振子(15)的振子采用统一控制。
4.根据权利要求1所述的一种基于眼动及脑电信息的大型游戏场景康复系统，其特征在于，显示屏(4)分为主画面(6)和副画面(7)，主画面(6)和副画面(7)根据系统流程由游戏场景画面和BCI画面交替呈现。 5.根据权利要求4所述的一种基于眼动及脑电信息的大型游戏场景康复系统，其特征在于，副画面(7)所在位置为显示屏(4)上患侧手所在位置对应的屏幕下方。
6.根据权利要求1所述的一种基于眼动及脑电信息的大型游戏场景康复系统，其特征在于，控制摇杆及BCI判断按键装置(9)包括控制摇杆(11)和BCI判断按键(12)，控制摇杆(11)用于控制行走，BCI判断按键(12)是BCI阶段开始的开关按钮。
7.根据权利要求1所述的一种基于眼动及脑电信息的大型游戏场景康复系统，其特征在于，眼动仪(9)和脑电电极(2)采集到患者(1)的视线及脑电的信息，之后传给计算机(5)，计算机(55)识别出患者(1)想要执行性的动作及意图的强度，并进行分类，根据判别的结果给于机械外骨骼(3)、震动触觉物感反馈、游戏反馈。
8.一种根据权利要求1至7中任一项所述基于眼动及脑电信息的大型游戏场景康复系统的操作方法，其特征在于，包括以下步骤：
S1、患者睁开眼睛，观看游戏场景画面，同时健侧手控制控制摇杆及BCI判断按键装置实现第一视角的走动，当到想要操作的物体后，按下控制摇杆及BCI判断按键装置，进入患侧BCI阶段判断；
S2、BCI画面转化为主画面，主画面中出现+字，然后显示屏出现提醒患者观察并模仿的文字及语音提醒，在执行观察并模仿时显示屏根据游戏场景中手的状态显示推测的患者想执行动作的动画多宫格，患者通过视线进行选择，游戏场景画面和BCI画面始终保持场景的同步；
S3、主画面中出现动作的手势动画，当患者视线移动到想要执行动作动画的时候，眼动仪识别患者所观看的动作并放大，根据要执行的动作指尖和指背处的触物感振子模块产生震动触感，患者进行观察并模仿意图动画；
S4、计算机根据采集到的脑电信息判断患者执行观察并模仿期间的意图强度及意图分类；
S5、主画面切换为游戏场景画面，若意图分类为患者想要执行意图，游戏场景中肢体会
执行上一步患者选择的动作，机械外骨骼带动患手同步此动作，并在碰触到物体后产生持续性的震动触物反馈，副窗口BCI画面出现以意图强弱为基础的分数反馈；
S6、语音提示闭眼放松，进入闭眼放松环节，显示屏为黑屏，直到大脑状态回复到放松状态，语音提示睁开眼睛，重复执行以上步骤。
9.根据权利要求8所述的一种基于眼动及脑电信息的大型游戏场景康复系统的操作方法，其特征在于，步骤S5中，若意图分类为患者观察想象强度低且分类错误，则主画面中不会产生任何运动且无震动，但副
窗口仍有以意图强弱为基础的分数反馈。
10.根据权利要求8所述的一种基于眼动及脑电信息的大型游戏场景康复系统的操作方法，其特征在于，游戏场景画面的行走过程中，患侧手指碰触到物体后所对应手指会产生相应位置的震动触觉反馈，除患侧手部外的其他肢体碰触到物体后，手背会产生震动的碰触反馈；抓取物体后患手一直有震动触物感；在执行观察模仿时，具有对应动作的患手触物感震动。
一种基于眼动及脑电信息的大型游戏场景康复系统及方法
技术领域
[0001]本发明属于医疗康复设备技术领域，具体涉及一种基于眼动及脑电信息的大型游戏场景康复系统及方法。
背景技术
[0002]随着人口老龄化的出现，中风患者数量逐年增多。在中风患者中只有少数轻微患者可以自然恢复，大部分中风患者都会遗留下残疾问题。对于中风患者来说术后的康复训练至关重要，康复的首要目标是恢复身体、心理和社会功能，提高各种运动、感觉和认知障碍患者的生活质量。
[0003]近几年，脑机接口技术、康复机器人技术及游戏开发技术不断发展，在中风运动康复、中风感觉康复及中风认知障碍康复方面得到了广泛的应用，然而，进一步分析，这些技术均存在或多或少的不足，到目前为止没有在巧妙发挥各自优势避免劣势的基础上将多种技术融合一起的更全面系统的康复方案。
[0004]脑机接口技术有着主动意图识别的优势，可以用来控制各类外部设备，例如：机械外骨骼、屏幕中的光标等，经过主动的训练能够促进神经重塑。不过，考虑到中风病人的病情特点，脑机接口技术仅仅能够使用非侵入式技术，目前非侵入式脑机接口可识别意图少，所以很难开发大型脑机接口系统，亟需一种在避免劣势的基础上能够做到顺畅自然的康复系统。
[0005]游戏开发技术能够提高患者中风训练的兴趣，这对需要接受高强度训练的中风患者来说至关重要，并且使用各种游戏进项康复训练极大提高了中风患者的认知功能。目前市场上出现了各种基于简单交互的小游戏康复训练系统，并且这些康复训练游戏显著地提高了患者康复的效果。然而，小游戏始终无法形成一种强大的沉浸感，长期使用会使得患者兴趣下降。大型场景类的游戏可以增加患者对康复系统的吸引力，和其他系统的融合方式仍是一大难题。
发明内容
[0006]本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于眼动及脑电信息的大
型游戏场景康复系统及方法，可以使用健侧和患侧协同的方式完成大型游戏的操作，在患侧操作方面，采取了眼动信息及脑电信息整合的多意图识别方案，反馈上采取了震动沉浸式反馈，在保证患者体验游戏的乐趣的同时实现更加自然的神经回路重建，从而促进中风患者运动、感觉及认知上的康复。
[0007]本发明采用以下技术方案：
[0008]一种基于眼动及脑电信息的大型游戏场景康复系统，包括脑电电极、机械外骨骼、显示屏、眼动仪和控制摇杆及BCI判断按键装置，脑电电极设置在患者的头顶，机械外骨骼设置在患者的患侧，机械外骨骼上设置有触物感振子模块，控制摇杆及BCI判断按键装置设置在患者的健侧，显示屏设置在患者的前方，与计算机连接，眼动仪设置在显示屏上，通过
健侧和患侧配合完成康复大型游戏。
[0009]具体的，触物感振子模块包括指尖振子、指背振子和手背振子，指尖振子分布在患手的指尖，指背振子分布于患手指背，手背振子分布在患手的手背。
[0010]进一步的，指尖振子的振子单一控制，指背振子的每根手指单独控制，手背振子的振子为多个统一控制。
[0011]具体的，显示屏分为主画面和副画面，主画面和副画面根据系统流程由游戏场景画面和BCI画面交
替呈现。
[0012]进一步的，副画面所在位置为显示屏上患侧手所在位置对应的屏幕下方。[0013]具体的，控制摇杆及BCI判断按键装置包括控制摇杆和BCI判断按键，控制摇杆用于控制行走，BCI判断按键是BCI阶段开始的开关按钮。
[0014]具体的，眼动仪和脑电电极采集到患者的视线及脑电的信息，之后传给计算机，计算机识别出患者想要执行性的动作及意图的强度，并进行分类，根据判别的结果给于机械外骨骼、震动触觉物感反馈、游戏反馈。
[0015]一种基于眼动及脑电信息的大型游戏场景康复系统的操作方法，包括以下步骤：[0016]S1、患者睁开眼睛，观看游戏场景画面，同时健侧手控制控制摇杆及BCI判断按键装置实现第一视角的走动，当到想要操作的物体后，按下控制摇杆及BCI判断按键装置，进入患侧BCI阶段判断；
[0017]S2、BCI画面转化为主画面，主画面中出现+字，然后显示屏出现提醒患者观察并模仿的文字及语音提醒，在执行观察并模仿时显示屏根据游戏场景中手的状态显示推测的患者想执行动作的动画多宫格，患者通过视线进行选择，游戏场景画面和BCI画面始终保持场景的同步；
[0018]S3、主画面中出现动作的手势动画，当患者视线移动到想要执行动作动画的时候，眼动仪识别患
者所观看的动作并放大，根据要执行的动作指尖和指背处的触物感振子模块产生震动触感，患者进行观察并模仿意图动画；
[0019]S4、计算机根据采集到的脑电信息判断患者执行观察并模仿期间的意图强度及意图分类；
[0020]S5、主画面切换为游戏场景画面，若意图分类为患者想要执行意图，游戏场景中肢体会执行上一步患者选择的动作，机械外骨骼带动患手同步此动作，并在碰触到物体后产生持续性的震动触物反馈，副窗口BCI画面出现以意图强弱为基础的分数反馈；
[0021]S6、语音提示闭眼放松，进入闭眼放松环节，显示屏为黑屏，直到大脑状态回复到放松状态，语音提示睁开眼睛，重复执行以上步骤。
[0022]具体的，步骤S5中，若意图分类为患者观察想象强度低且分类错误，则主画面中不会产生任何运动且无震动，但副窗口仍有以意图强弱为基础的分数反馈。
[0023]具体的，游戏场景画面的行走过程中，患侧手指碰触到物体后所对应手指会产生相应位置的震动触觉反馈，除患侧手部外的其他肢体碰触到物体后，手背会产生震动的碰触反馈；抓取物体后患手一直有震动触物感；在执行观察模仿时，具有对应动作的患手触物感震动。
[0024]与现有技术相比，本发明至少具有以下有益效果：
[0025]本发明一种基于眼动及脑电信息的大型游戏场景康复系统，通过脑电电极采集患
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议