电子设备操作方法及其操控设备

本发明涉及电子设备操作方法及其操控设备,属于电子设备操控技术领域。

目前，随着智能操作系统的出现和发展，智能电子设备在市场占有量越来越大。所有智 能设备迅速发展的一个重要原因是智能设备丰富的应用，而且这些应用是用户可以按照自己 的喜好下载安装的。但是，众所周知，由于没有触摸屏，目前传统的智能电视等电子设备在 操作上还存在很多缺陷，其它智能电子设备在特定情况下也存在不方便使用触摸屏操作的情 况，例如驾驶中操作智能设备，视力障碍人士或者手指功能障碍人士操作智能设备，不方便 使用键盘鼠标或者距离较远（例如躺在床上）时操作电脑等等。

目前，手机、PAD（本文中所述PAD均指平板电脑）、PDA(本文中所述PDA均指个人数字 助理手持设备)、导航仪、智能冰箱等使用触摸屏，电脑使用键盘鼠标，当手机、PAD、导航 仪、电脑等不方便使用触摸屏或者键鼠套件时，以及智能电视这种本身不带触摸屏或者不适 合触摸屏操作的设备，以及对于视力障碍人士或者手指功能障碍人士来说操作是非常不方便 的。

由于上述原因，目前的基于现有技术的智能电视、电视盒子、机顶盒等本身不带或者说 不适合使用触摸屏的设备，导航仪、智能冰箱、智能手机、平板电脑、计算机、PDA(个人数 字助理手持设备)以及可穿戴智能设备（例如智能手表）等任何其它存在不方便使用触控以及 按键设备的情况下，在操作方式上目前还存在着很多缺陷。

虽然使用触摸屏结合部分按键通常情况下操作起来比较方便，但是在特定情况下则存在 操作缺陷，例如：在驾驶中操作导航仪或者操作智能设备的导航功能时不方便，而且非常危 险；例如：家庭主妇炒菜时不方便用沾满油污的手指操控智能冰箱的炒菜视频播放等功能， 又例如：在跑步时不方便使用触摸屏方式操作可穿戴设备(例如智能手表等)等等。另外，视 力障碍人士和手指功能障碍人士在对于操作上述智能设备时也存在很多不方便的地方。

电脑的操作方式及其在特定情况下也存在很多操作缺陷以及很多不方便之处：例如，在 不方便使用键盘、鼠标或者与电脑距离较远（例如躺在床上）时操作电脑等情况。

另外，现有的普通智能电视也无法通过一到两次遥控器按键的操作实现要操作的目标功 能，往往在进入某个功能时需要多次切换遥控器的方向键，然后再按确定键进入，使用起来 很不方便。

现有的空鼠的缺点是在不同位置的精确度较低，用户体验较差，并且由于现有空鼠技术 的缺陷，使得有些应用中智能设备的部分屏幕内容无法使用空鼠操作。

现有的无线键盘鼠标套件，可以像控制电脑一样控制智能电视，但是相比传统遥控器， 键鼠套件缺点非常明显：其需要一个平面操作平台，不如遥控器拿着方便。

另外，目前存在手机APP用于在智能手机上模拟遥控器来控制智能电视。但是其缺点是 操作复杂、没有按键的手感而且在操作时还需要看着手机屏幕等等。

现有的盲人手机或者在手机等电子产品上安装或集成的读屏软件需要在屏幕上各个区域 点击来发现屏幕上有哪些功能，也不能主动地把屏幕上提供的功能提示给用户；另外，这些 读屏软件无法通过语音方式直接操作屏幕上的功能。视力障碍人士以及手指功能障碍人士操 作起来并不方便。

本发明的目的在于提供一种能够克服上述技术问题的电子设备操作方法及其操控设备。

本发明所述的电子设备是指内置操作系统的智能设备，所述智能设备包括但不限于智能 电视、电视盒子、机顶盒、智能手机、电脑、智能冰箱、导航仪、PAD、PDA、可穿戴设备等；

所述操作系统是指上层应用程序运行所需的操作系统，包括必要的系统框架层、中间件 等。本发明所述操作方法对应的操作程序基于所述操作系统运行并实现相应的信息获取及操 作功能。

所述操作系统包括但不限于IOS/MAC，ANDROID，WINDOWS/WINCE，TIZEN，BLACKBERRY， LINUX，COS（余弦操作系统又称中国操作系统），阿里操作系统等等。

本发明所述的操控设备是指部分被操控电子设备所需的遥控设备，该遥控设备基于普通 的遥控器添加了本发明所述部分操作方法所需的特定按键以及内置运动控制传感器。

所述运动控制传感器为加速度传感器、陀螺仪等可以感知电子设备运动及所处角度的装 置。

所述空鼠为无线空中鼠标，其通常内置在电视遥控器中。

所述键鼠套件为无线键盘鼠标套件，可用于操控电视、电脑等。

本发明的电子设备操作方法包括以下部分：

（1）采用语音操作智能设备的方法以实现对全部功能的语音控制包括对系统通用模块的 功能、系统中预置的应用程序以及用户安装的应用程序的控制，包括对任何第三方应用程序 内部功能操作的统一操控；其中包括应用程序中语音输入文本的方法、语音模拟各种触摸屏 式操作的方法、语音控制应用程序音视频播放的方法、语音查屏幕文本的方法、语音模拟 运动控制操作（“左倾”“右倾”“前倾”“后倾”等操作）以及语音控制组合操作的方法。该 方法除了方便普通人操作电子设备外，尤其方便了视力障碍人士和手指功能障碍人士操作电 子设备。

（2）采用数字标示屏幕功能以及采用数字键操作智能设备的方法以实现对全部功能的数 字按键控制以及语音控制，包括对系统通用模块的功能、系统中预置的应用程序以及用户安 装的应用程序的控制，包括对全部第三方应用程序内部功能操作的统一操控；同时提供了方 便的类似触摸屏划屏的上下左右翻页的快捷操作方法，从而能快速操作电子设备的所有功能。

（3）采用用户自定义遥控器按键的方法以便于用户快速访问自定义的功能或者功能组 合、便于用户快速访问自己经常访问或者其他人经常访问的推荐功能或者功能组合。

（4）采用特定按键以及固定屏幕区域触摸来按顺序逐个读取和响应屏幕区域对应功能的 方法来实现对屏幕功能的读取播报以及操作执行，从而方便视力障碍人士操控智能电子设备； 采用语音主动播报屏幕功能以及语音控制执行屏幕功能的方法，从而方便手指功能障碍人士 操控智能电子设备。

本发明适用于所有本身带有显示屏或者虚拟显示屏（例如把显示内容投射到桌面等平面 的虚拟屏幕显示方式）尤其适合于本身不带触摸屏或者不方便使用触摸屏的智能设备或者存 在不方便使用触摸屏的情况的智能设备。本发明能够控制包括第三方应用程序内部功能操作 在内的所有操作，即实现功能一键直达、音视频播放控制、模拟触摸屏的操作方式等。

本发明的基于空鼠的智能设备操作方法及其操控设备适用于本身带有或者连接显示屏或 者虚拟显示屏但是本身不带触摸屏或者不方便使用触摸屏的智能设备或者存在不方便使用触 摸屏的情况的智能设备。本发明能够基于空鼠实现拖拽从而实现了基于空鼠的上下左右翻页 以及手写输入法。

本发明所述用于操作电子设备操作方法对应的程序安装或者集成在被操控电子设备上， 该程序可以作为APP（即应用程序）形式安装在电子设备中，也可以集成到被操作电子设备 的系统层。

所述被操作电子设备是指智能电视、机顶盒、电视盒子、电脑、手机、PAD、PDA、导航 仪、智能冰箱等包含上层应用程序运行所需的操作系统（OS）的主体智能设备。

所述操作程序是指用于语音或者数字键以及本发明所述的操作方法对应的应用程序，可 以是APP的形式，也可能是嵌入在操作系统内或者系统的框架层内部、或是嵌入在信息获取 及操作执行模块内部。

本发明所述操作方法对应的操作程序包括但不限于信息获取及操作执行模块、语音模块； 本发明所述操作方法对应的操作程序中还包括支撑本发明所述操作方法对应的操作程序运行 所必需的功能模块或者组件。

本发明所述操作方法对应的程序运行在被操控电子设备上，所述被操控电子设备包括无 线模块、显示模块、存储器、录音模块、扬声器、信息获取及操作执行模块、语音模块、支 撑本发明所述电子设备操作方法对应的操作程序运行所必需的功能模块或者组件；

所述信息获取及操作执行模块用于获取屏幕上的信息，包括文本、图片等对应的控件或 者对象及其对应屏幕区域以及控件的描述信息等属性，然后把被操作电子设备接收到的对应 的语音或者按键指令转换为系统可以执行的命令，并调用系统接口执行，完成相应功能。

所述语音模块是指能够进行语音语义识别及文本朗读的模块，可以是网络方式的识别也 可以是本地方式的识别。

所述语音模块是用于对语音控制方案所需要的。

所述无线模块是指遥控器与被操作电子设备之间无线传输模块，包括但是不限于红外传 输模块、2.4G无线传输模块、蓝牙传输模块、DLNA传输模块等可以用于在被操作电子设备和 遥控器之间进行无线传输的无线传输模块。

所述显示模块对于智能电视、手机等本身包含显示屏的设备来说，是设备本身的显示模 块，而对于机顶盒、电视盒子等本身不包含显示屏的智能设备来说是用于播放视频的外接显 示屏，例如外接的电视显示屏。

所述存储器用于存储信息获取及操作执行模块、语音模块、支撑本发明所述电子设备操 作方法对应的操作程序运行所必需的功能模块或者组件。

所述录音模块用于录制用户的语音指令。

所述扬声器用于播放语音指令及对指令的返回结果以及给用户的提示声音等等。

本发明所述电子设备操控设备是基于普通的操控设备（例如遥控器）并增加了自定义按 键、推荐键、截图键和运动控制传感器；其中自定义按键用于快速执行用户自定义的功能； 推荐键用于执行用户常用功能或者大家常用的功能；截图键用于在任意时刻截取被操控电子 设备屏幕画面；运动控制传感器用于感应操控设备的运动和所处的角度，从而控制游戏或其 它应用。

所述电子设备操控设备为添加了自定义键、推荐键、截图键和运动控制传感器的支持语 音遥控的遥控器。

所述遥控器内置运动控制传感器来感应操控设备的运动和所处的角度，从而控制游戏或 其它应用。

本发明同样能适用于所有能够接收语音输入的智能设备；本发明能够控制包括第三方应 用程序内部功能操作在内的所有功能操作，即实现功能一键直达、文本输入、音视频播放控 制、界面文字查、模拟触摸屏的操作方式等，因此，本发明能够实现对智能设备的全功能 的语音操作，本发明的优点是操作简单方便，大大方便了普通人操作智能设备，并且使视力 障碍人士和手指功能障碍人士得以操作智能设备，本发明实现了功能一键直达、文本输入、 音视频播放控制、界面文字查、模拟触摸屏的操作方式的统一操控，具有较强的实用价值 和现实意义。

图1是本发明所述基于电子设备操作方法对应的操作程序在整个被操作电子设备中所处 的位置及该操作程序的功能模块示意图。

下面结合附图和实施例对本发明进行详细描述。

本发明所述用于操作电子设备操作方法对应的程序安装或者集成在被操控电子设备上， 该程序可以作为APP（即应用程序）形式安装在电子设备中，也可以集成到被操作电子设备 的系统层，由于第一种方式可以更灵活的安装和卸载，因此优先选用第一种实施方式，在该 实施方式中，本发明所述操作方法对应的操作程序在整个被操作电子设备中所处的位置及该 操作程序的功能模块如图1所示。

在本发明的实施例中，本发明要解决目前智能设备操作不方便的问题，例如开车时使用 导航仪或者手机的导航功能、躺在床上使用电脑等；本发明同时也要解决现有技术无法操控 第三方应用程序等技术问题。

1.本发明采用屏幕可见功能语音方式直达，适用于包括电视、盒子、机顶盒、导航仪， 手机、PAD、PDA、电脑、智能空调等所有自带或者连接显示屏及虚拟显示屏的智能设备。

2.本发明采用屏幕可见功能对应的数字键一次或者两次按键直达，适用于电视等不方便 触摸屏操作的设备，屏幕能看到的功能，都可以用对应的数字键操作。

3.本发明采用方便快捷的文本输入；提供以下两种文本输入方式：

方式一，直接用语音说出要输入的内容，转换为文本输入到对应的文本框内；

方式二，用空鼠实现手写输入；

同时，可以允许选用系统自带的输入法。

4.本发明采用方便的视频音频播放控制，例如暂停，继续，快进，快退等操作，对于视 频跳转提供以下两种可选方式：

方式一，语音指令：直接说出跳转到的播放时间或者相对位置；

方式二，数字键跳转到对应的时间。

5.本发明采用屏幕内容自动查；使用语音方式，说出想查的内容，如果在当前屏 幕到对应内容，则选中或者直接进入对应功能，如果查内容不在当前屏幕可视范围内， 则以某种规则切换到下一屏或者上一屏继续查，直到到对应内容，或者最终发现并提示 所查的内容不存在。

6.本发明采用语音控制模拟屏幕双击、划屏、屏幕缩放、截屏操作，例如，分别通过 说出下面语音指令来实现对应功能以及通过语音控制模拟运动和角度感应事件：

双击：例如通过说出“双击我的电脑”达到双击“我的电脑图标的操作”。

划屏：包括“前翻，后翻，上翻，下翻”或者“上一页”“下一页”的操作。

屏幕缩放：包括“放大”“缩小”的操作。

截屏：包括通过语音指令“截屏”“拍照”的操作。

运动和角度感应事件：说出类似“左倾”“右倾”“前倾”“后倾”等指令，来模拟相应操 作。

7.本发明通过按键模拟触摸屏式操作：例如：划屏，截屏等操作

划屏：上下左右键分别对应“上一页”“下一页”“前一页”“后一页”或者增加上翻，下 翻，前翻，后翻四个按键。

屏幕缩放：遥控器增加放大、缩小键。

截屏：遥控器上增加截屏键。

8.本发明通过软件增强空鼠功能，实现鼠标拖拽，完成拖拽屏幕元素或者划线、手写输 入、翻页等功能。

9.本发明采用自定义按键，例如，添加一个自定义按键，用户按此键时，如果从来没有 设置过对应的功能，则引导用户设置选择自己常用的功能，设置完毕，再次按此键时直接执 行对应的功能，如果用户添加多个自定义功能，则按此键时，弹出选择菜单，用户从已设定 的多个功能中选择执行某一个。功能的设置提供三种方式：

方式一，提供菜单选项，例如：这些功能可以包括但不限于：

请选择操作指令；

打开应用：提供应用列表供选择；

设置：提供设置项；

播放：提供频道列表；

推荐：初次使用智能电子设备时，给用户推荐一些可选快捷操作项；如果用户已经使用 一段时间，则根据用户常用操作来给出推荐；

方式二，录制语音指令，即用户自己录制语音指令或者输入文本命令；

方式三，录制操作过程，用户开始录制过程后，则正常操作电视，该软件负责记录用户 的操作或者操作组合，用户选择录制完毕，提示用户保存或者放弃本次录制过程。

10.本发明采用推荐键（经常访问功能键），即在遥控器上添加推荐键，用户按此键时， 初次使用智能电子设备时，给用户推荐一些可选快捷操作项；如果用户已经使用一段时间， 则根据用户常用操作来给出推荐。

11.本发明采用特定按键以及固定屏幕区域触摸来按顺序逐个读取和响应屏幕区域对应 功能的方法来实现对屏幕功能的读取播报以及操作执行，从而方便视力障碍人士操控智能电 子设备；采用语音主动播报屏幕功能以及语音控制执行屏幕功能的方法，从而方便手指功能 障碍人士操控智能电子设备。

12.本发明采用遥控器内置运动控制传感器来感应操控设备的运动和所处的角度，从而 控制游戏或其它应用。

以下对本发明的实施例作进一步详细描述：

1，屏幕可见功能语音方式直达，屏幕上能看到的文字，都可以用语音方式进入对应功能；

对于无法获取文本的操作项，可以通过下述第几项方式操作。

2，屏幕可见功能按键直达，屏幕能看到的功能，都可以用对应的数字键直达，即获取屏 幕可操作区域或者说可点击区域，获取方法在不同操作系统上稍有差别，可以先获取屏幕上 控件或者说对象及其对应的属性，判断该控件或者说对象是否可以响应点击操作（相关概念 在不同操作系统上可能不同），按照特定顺序为每个可点击区域标号1-n或者0-n，这些标号 以半透或者非半透方式叠加到屏幕上，用户可以直接通过这些标号对应的数字键来直接进入 对应的功能，也可以通过语音播报“第几项”来进入对应的功能。这种叠加的标号可以通过 设置是否显示，也可以通过语音或按键呼出和隐藏。

用户按标号对应的数字键时，相当于点击标号对应的控件或者说对象；用户说“第几项” 时，相当于点击对应标号的控件或者说对象。

3，方便快捷的文本输入；提供三种可选方式：

方式一，直接用语音说出要输入的内容，转换为文本输入到对应的文本框内；

方式二，用增强空鼠方案手写输入；

方式三，允许选用系统自带的输入法，即不使用语音输入或者空鼠手写输入时，用户仍 然可以使用系统自带的输入法；

4，方便的视频音频播放控制；

提供两种可选方式：

方式一，语音指令：暂停，继续，快进，快退，跳转（到指定播放时间或者播放位置等）， 等音视频播放控制指令；

具体操作流程如下：

（1）接收并识别语音指令

（2）判断并计算需要点击的屏幕坐标；

（3）向系统注入事件点击对应的坐标点或者模拟点击所需功能对应的遥控器按键。

方式二，数字键跳转到对应的时间，例如，输入12则跳转到第12分钟，输入1*23则 跳转到1小时23分，如果视频长度小于改数字键对应的值，则对应数字降级，例如12可能 代表第12秒，1*23代表1分23秒；这里的*可以替换成