(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 202110086008.4
(22)申请日 2021.01.22
(71)申请人 江南大学
地址 214000 江苏省无锡市滨湖区蠡湖大
道1800号
(72)发明人 王映辉 王宁 梁炎兴
(74)专利代理机构 南京苏高专利商标事务所
(普通合伙) 32204
代理人 柏尚春
(51)Int.Cl.
G06F 9/54(2006.01)
(54)发明名称
(57)摘要
本发明公开了一种支持多模态交互的软件
适配层包含多种终端的驱动程序及包含这些终
端信息的硬件驱动库；控制层包含每个底层硬件
驱动程序的按键定义，通过适配器模式将这些按
键定义转化为统一的操作原语，用于屏蔽硬件操
作指令的差异性；控制层将中学虚拟实验分为了
察实验器材四类交互原语；操作层通过观察者模
式的交互信息监听，在每个实验器材的交互点上
加入BaseElement基类，通过继承和扩展实现了
用户硬件交互指令和虚拟实验器材的联动。权利要求书2页 说明书5页 附图1页CN 112749032 A 2021.05.04
C N 112749032
A
1.一种支持多模态交互的软件架构，其特征在于：包括有硬件适配层、控制层和操作层，所述硬件适配层包括有终端驱动程序以及包含终端信息的终端适配库；所述控制层为一个交互输入管理器，所述交互输入管理器包括有泛化交互原语，所述泛化交互原语将中学虚拟实验操作分为拿取实验器材、组装实验器材、调整实验器材、观察实验器材四类这四大类；所述操作层对实验器材的实际控制，以及操作层和控制层的衔接、控制层和仿真呈现模块的衔接，采用了基于观察者模式的交互消息监听机制进行设计。
2.根据权利要求1所述的一种支持多模态交互的软件架构，其特征在于：所述硬件适配层采用适配器模式实现对硬件的自适应，所述适配器模式采用统一的BaseInput基类作为所有输入设备类型的基础公共类，按照交互原语的拿取、组装、调整、观察这四大类操作，封装了抓取、放下、拖拽、按下和握住这些基本操作。
3.根据权利要求2所述的一种支持多模态交互的软件架构，其特征在于：所述BaseInput基类的执行流程如下：
S1：BaseInput基类读取接入到操作系统的输入设备的硬件识别号，即VID和PID，查终端适配器库中是否存在该硬件识别号，如果不存在，则调用键盘鼠标模拟器，强制以键盘鼠标代替该硬件；
S2：如果输入设备的硬件识别号存在，则根据预制在软件中的交互配置文件，加载到交互输入管理器，形成按键映射规则的实例；
S3：如果同时包含了用户自定义的实验操作交互规则定义文件，则继续加载用户自定义规则，加以补充。
4.根据权利要求1所述的一种支持多模态交互的软件架构，其特征在于：所述控制层中的泛化交互原语是指用于完成一个功能、一个动作或者一个过程的若干条指令的最小集合，泛化交互原语被执行过程必须连续不可中断，要不全执行，要不全不执行；
所述控制层支持用户通过JSON文件形式自定义组合原语，形成独有的实验操作定义；
所述控制层中加入扩展点机制进行对接，用户针对实验器材的每一步操作，都有可能触发预先设置在实验流程拓扑图中的监测点，操作触发监测点并将操作信息传回实验流程引擎，实现实验流程控制贯穿多模态交互的过程；
所述中学虚拟实验操作中拿取实验器材包括单手拿取器材和双手拿去器材；所述组装实验器材包括单手拼接组装点和双手拼接组装点；所述调整实验器材包括旋转整个器材、平移整个器材、旋转器材上的某个部件、平移器材上的某个部件和触碰实验器材；所述观察实验器材包括从特定位置观察、以特定角度观察和进行微观放大观察；
所述交互输入管理器通过传递状态控制命令，实现对用户的操作进行选择性屏蔽。
5.根据权利要求1所述的一种支持多模态交互的软件架构，其特征在于：所述操作层中观察者模式是一种描述一对多关系的设计模式，在该模式中，目标和观察者是核心，一个目标可以有多个观察者，但是一个观察者只能有一个目标，当一个目标变化时，它的所有观察者都自动收到响应，并且根据目标的参数自动更新自身的参数，目标不需要知道自己有多少个观察者，只管更新自己的状态即可，而对目标状态感兴趣的观察者会自己订阅状态更新，自动维护信息，保持状态同步；
所述消息是指带有特定信息的指令，完整的事件消息机制包括消息产生、消息队列循环、消息分发和消息响应。
6.根据权利要求5所述的一种支持多模态交互的软件架构，其特征在于：所述事件是具体负责处理特定消息的响应函数。
7.根据权利要求1所述的一种支持多模态交互的软件架构，其特征在于：所述实验器材上继承有BaseElement公共基础类，该类只提供各个交互原语的操作接口，并不负责具体的交互实现，不同实验器材上的BaseElement公共基础类响应优先级不同；
所述实验器材上允许交互的部位上设置有监听点，所述监听点为一个或一组允许消息监听的句柄。
一种支持多模态交互的软件架构
技术领域
[0001]本发明涉及计算机软件开发技术和虚拟现实相结合的交叉学科技术领域，特别涉及一种支持多模态交互的软件架构。
背景技术
[0002]虚实融合的中学虚拟仿真实验软件可以完成传统实验手段无法完成的实验，诸如危险(爆炸)、太大(太空星系)、太小(微观粒子)等实验，已经成为一种新型的高技术实验实现手段。然而，虚实融合技术要求不仅仅是实验呈现效果的逼真感和沉浸感，还要同时满足多模态的自然人机交互。具体来说，虚实融合的中学虚拟实验要求输入输出方式的多样化，包括但不仅限于键盘、鼠标、触摸屏、手柄、手势、语言等，尽可能满足用户的多种使用需求，达到自然交互的感觉。
[0003]现今常用的支持单模态交互的软件框架中，软件在运行时同一时间只能支持一种输入设备的操作，同时，单模态交互的软件框架为了支持多种交互终端，不得不同时发布多个内容相同，仅仅是输入输出设备不同的软件版本，给开发人员、企业还是用户都造成了很多不便。
[0004]然而对于支持多模态交互的虚实融合中学虚拟实验软件，需要同时支持键盘鼠标、VR手柄、AR
手势、语音交互、体感姿态等多种形态的输入交互和语义解析，现有的软件框架已无法支持多模态输入功能的实现，因此需要一种从底层硬件接入、输入管理、到顶层实验操作控制均支持多模态交互的新型软件架构。
发明内容
[0005]发明目的：本发明的目的是提供一种支持多模态交互的软件架构，用于解决现有软件架构无法解决的跨平台多终端适配问题，满足中学虚拟实验软件同时支持多种模态的输入交互和语义解析。
[0006]技术方案：本发明所述的一种支持多模态交互的软件架构，包括有硬件适配层、控制层和操作层，所述硬件适配层包括有终端驱动程序以及包含终端信息的终端适配库；所述控制层为一个交互输入管理器，所述交互输入管理器包括有泛化交互原语，所述泛化交互原语将中学虚拟实验操作分为拿取实验器材、组装实验器材、调整实验器材、观察实验器材四类这四大类；所述操作层对实验器材的实际控制，以及操作层和控制层的衔接、控制层和仿真呈现模块的衔接，采用了基于观察者模式的交互消息监听机制进行设计。
[0007]作为优选，所述硬件适配层采用适配器模式实现对硬件的自适应，所述适配器模式采用统一的BaseInput基类作为所有输入设备类型的基础公共类，按照交互原语的拿取、组装、调整、观察这四大类操作，封装了抓取、放下、拖拽、按下和握住这些基本操作。[0008]作为优选，所述BaseInput基类的
执行流程如下：
[0009]S1：BaseInput基类读取接入到操作系统的输入设备的硬件识别号，即VID和PID，查终端适配器库中是否存在该硬件识别号，如果不存在，则调用键盘鼠标模拟器，强制以
键盘鼠标代替该硬件；
[0010]S2：如果输入设备的硬件识别号存在，则根据预制在软件中的交互配置文件，加载到交互输入管理器，形成按键映射规则的实例；
[0011]S3：如果同时包含了用户自定义的实验操作交互规则定义文件，则继续加载用户自定义规则，加以补充。
[0012]作为优选，所述控制层中的泛化交互原语是指用于完成一个功能、一个动作或者一个过程的若干条指令的最小集合，泛化交互原语被执行过程必须连续不可中断，要不全执行，要不全不执行；
[0013]所述控制层支持用户通过JSON文件形式自定义组合原语，形成独有的实验操作定义；
[0014]所述控制层中加入扩展点机制进行对接，用户针对实验器材的每一步操作，都有可能触发预先设置在实验流程拓扑图中的监测点，操作触发监测点并将操作信息传回实验流程引擎，实现实验流程控制贯穿多模态交互的过程；
[0015]所述中学虚拟实验操作中拿取实验器材包括单手拿取器材和双手拿去器材；所述组装实验器材包括单手拼接组装点和双手拼接组装点；所述调整实验器材包括旋转整个器材、平移整个器材、旋转器材上的某个部件、平移器材上的某个部件和触碰实验器材；所述观察实验器材包括从特定位置观察、以特定角度观察和进行微观放大观察；
[0016]所述交互输入管理器通过传递状态控制命令，实现对用户的操作进行选择性屏蔽。
[0017]作为优选，所述观察者模式是一种描述一对多关系的设计模式，在该模式中，目标和观察者是核心，一个目标可以有多个观察者，但是一个观察者只能有一个目标，当一个目标变化时，它的所有观察者都自动收到响应，并且根据目标的参数自动更新自身的参数，目标不需要知道自己有多少个观察者，只管更新自己的状态即可，而对目标状态感兴趣的观察者会自己订阅状态更新，自动维护信息，保持状态同步；
[0018]所述消息是指带有特定信息的指令，完整的事件消息机制包括消息产生、消息队列循环、消息分发和消息响应。
[0019]作为优选，所述事件是具体负责处理特定消息的响应函数。
[0020]作为优选，所述实验器材上继承有BaseElement公共基础类，该类只提供各个交互原语的操作接口，并不负责具体的交互实现，不同实验器材上的BaseElement公共基础类响应优先级不同；
[0021]所述实验器材上允许交互的部位上设置有监听点，所述监听点为一个或一组允许消息监听的句柄。
[0022]有益效果：本发明基于适配器模式的硬件自适应设计，保证了多种硬件设配输入设备的同时接入响应；通过将实验操作的交互语义进行统一规范，屏蔽了硬件操作指令的差异；通过观察者模式将硬件输入设备操作转化为用户对实验器材的操作，解决了多终端跨平台自适应兼容和虚拟实验多模态交互问题。
附图说明
[0023]图1是本发明的结构示意图；
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议