(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 201811233389.9
(22)申请日 2018.10.23
(71)申请人 诺百爱（杭州）科技有限责任公司
地址 311100 浙江省杭州市余杭区五常街
道五常大道181号9幢201-19室
(72)发明人 王娜娜
(51)Int.Cl.
G06F 3/01(2006.01)
G06F 3/0346(2013.01)
G06K 9/00(2006.01)
(54)发明名称一种基于肌电信号手语识别翻译臂环及手语识别方法(57)摘要本发明主要公开了一种基于肌电信号手语识别翻译臂环及手语识别方法，包括臂环主体、连接带、肌电传感器、九轴惯性测量传感器、单片机、蓝牙模块以及扬声器，所述臂环主体由若干闭环外壳组成，相邻闭环外壳之间通过连接带连接，所述连接带与闭环外壳可拆卸连接，所述肌电传感器和九轴惯性测量传感器分别与单片机连接，通过肌电传感器采集肌电信号，通过九轴惯性测量传感器采集惯性信号，然后STM32单片机对肌电信号与惯性信号进行处理，并传输到外接的PC端或移动端上，通过PC端或移动端将对肌电信号与惯性信号发送给外部服务器，通过外部服务器进行深度学习的算法解算然后进行反馈， 最后通过扬声器进行播放。权利要求书1页 说明书4页 附图2页CN 109508088 A 2019.03.22
C N 109508088
A
1.一种基于肌电信号手语识别翻译臂环，其特征在于：包括臂环主体、连接带、肌电传感器、九轴惯性测量传感器、单片机、蓝牙模块以及扬声器，所述臂环主体由若干闭环外壳组成，相邻闭环外壳之间通过连接带连接，所述连接带与闭环外壳可拆卸连接，所述闭环外壳内侧表面对应连接一个肌电传感器，所述肌电传感器和九轴惯性测量传感器分别与单片机连接。
2.根据权利要求1所述的一种基于肌电信号手语识别翻译臂环，其特征在于：所述闭环外壳设置有指示灯和功能按键，所述扬声器设置于闭环外壳外侧。
3.根据权利要求1或2所述的一种基于肌电信号手语识别翻译臂环，其特征在于：所述连接带与闭环外壳卡扣连接。
4.根据权利要求3所述的一种基于肌电信号手语识别翻译臂环，其特征在于：所述单片机采用STM32单片机。
5.一种手语识别肌电信号的方法，其特征在于：首先将臂环主体套入手臂上，通过肌电传感器采集肌电信号，通过九轴惯性测量传感器采集惯性信号，然后STM32单片机对肌电信号与惯性信号进行处理，并传输到外接的PC端或移动端上，通过PC端或移动端将对肌电信号与惯性信号发送给外部服务器，通过外部服务器进行深度学习的算法解算然后进行反馈，最后通过扬声器进行播放。
6.根据权利要求5所述的一种手语识别肌电信号的方法，其特征在于：所述深度学习的算法框架采用谷歌tenserflow、百度paddlepaddle或keras框架。
7.根据权利要求6所述的一种手语识别肌电信号的方法，其特征在于：采用百度paddlepaddle框架可以先将所有数据做归一化处理，将每一个动作下不同人之间的肌电信号（emg）与惯性信号(ori)做交叉，即
将不同人的同动作的肌电信号（emg）以及惯性信号(ori)数据进行混排匹配，从而大幅度提高数据量；其次模型分两个部分，一个是对肌电信号(emg) 的卷积，一个是对惯性信号(ori)的卷积，然后做拼接后经一个全链接层，再进行预测，其中，肌电信号(emg ）与惯性信号(ori ）均为一个卷积层、一个池化层与一个全链接层构成，其中肌电信号(emg）的卷积结构为4*16=64，池化结构参数为8*8=64；惯性信号(ori ）卷积结构为8*2=16，池化结构参数为4*4=16，之后都选用relu进行全链接，最后与数据库内整体700000条数据test集进行对比识别。
权 利 要 求 书1/1页CN 109508088 A
一种基于肌电信号手语识别翻译臂环及手语识别方法
技术领域
[0001]本发明涉及手势识别控制技术领域，尤其是涉及一种基于肌电信号手语识别翻译臂环及手语识别方法。
背景技术
[0002]目前识别手势动作的方法有很多种，例如光学，压力传感器等。通过图像拍摄手部的动作，双目视觉解算每个手指、手掌、小臂的动作。也可以佩戴压力传感器手套，通过压力和惯性导航重新得到手
指动作。这些方法都是可行的，但是需要一个比较负责的外设。例如光学成像必须有双目摄像机，而且不能运动中拍摄。手套更加复杂，需要佩戴，而且体积较大。为了设计便携，快速使用的手势识别工具，需要采用更高级，更原始的信号。
[0003]肌肉电信号是人体电信号的一种，和脑电波类似。在人体肌肉收缩和舒张的时候，肌肉生物电电压会产生电势差，通过电极可以采集到这种变化。肌电信号的电压幅值因人而异，大约在50mV，频率在200-100Hz。
[0004]人体小臂肌肉的三块主要肌肉能够比较完备的表达出手臂和手指的动作，因此通过在小臂部分佩戴臂环的方式，测量肌电信号，从而重构出手势动作。
[0005]参考中国专利申请号为CN201720816796.7，名称为一种手语识别翻译臂环，只是阐述了基本结构，并未对识别的性能做出改进，识别准确率低下，鲁棒性差，这种传统的识别方法包括支持向量机、隐马尔可夫等模式识别手段，都难以参考大样本，因而导致结果不佳。
发明内容
[0006]本发明针对现有技术的不足，提供一种基于肌电信号手语识别翻译臂环及手语识别方法，具有结构简单，佩戴简单，携带方便，识别词库量和准确度。
[0007]本发明是通过以下技术方案使上述技术问题得以解决。
[0008]一种基于肌电信号手语识别翻译臂环，包括臂环主体、连接带、肌电传感器、九轴惯性测量传感器、单片机、蓝牙模块以及扬声器，所述臂环主体由若干闭环外壳组成，相邻闭环外壳之间通过连接带连接，所述连接带与闭环外壳可拆卸连接，所述闭环外壳内侧表面对应连接一个肌电传感器，所述肌电传感器和九轴惯性测量传感器分别与单片机连接。[0009]作为优选，所述闭环外壳设置有指示灯和功能按键，所述扬声器设置于闭环外壳外侧。扬声器可以防止冬天袖子遮住臂环，无法发出声音。
[0010]作为优选，所述连接带与闭环外壳卡扣连接，闭环外壳与闭环外壳之间通过连接带固定，连接方式简单方便。
[0011]作为优选，所述单片机采用STM32单片机，工作速度快，性能高。
[0012]一种手语识别肌电信号的方法，首先将臂环主体套入手臂上，通过肌电传感器采集肌电信号，通过九轴惯性测量传感器采集惯性信号，然后STM32单片机对肌电信号与惯性信号进行处理，并传输到外接的PC端或移动端上，通过PC端或移动端将对肌电信号与惯性
信号发送给外部服务器，通过外部服务器进行深度学习的算法解算然后进行反馈，最后通过扬声器进行播放。
[0013]作为优选，所述深度学习的算法框架采用谷歌tenserflow、百度paddlepaddle或keras框架。
[0014]作为优选，采用百度paddlepaddle框架可以先将所有数据做归一化处理，将每一个动作下不同人之间的肌电信号(emg)与惯性信号(ori)做交叉，即将不同人的同动作的肌电信号(emg)以及惯性信号(ori)数据进行混排匹配，从而大幅度提高数据量；其次模型分两个部分，一个是对肌电信号(emg)的卷积，一个是对惯性信号(ori)的卷积，然后做拼接后经一个全链接层，再进行预测，其中，肌电信号(emg)与惯性信号(ori)均为一个卷积层、一个池化层与一个全链接层构成，其中肌电信号(emg)的卷积结构为4*16＝64，池化结构参数为8*8＝64；惯性信号(ori)卷积结构为8*2＝16，池化结构参数为4*4＝16，之后都选用relu 进行全链接，最后与数据库内整体700000条数据test集进行对比识别。
[0015]本发明有益效果：
[0016]所述相邻闭环外壳之间通过连接带连接，所述连接带与闭环外壳可拆卸连接，方便拆卸，所述闭环外壳内侧表面对应连接一个肌电传感器，肌电传感器采用干电极臂环形式，佩戴简单，携带方便，适应不同肌肉形状的人，并且有一定隐藏性，为聋哑人保证隐私。
[0017]通过肌电传感器和九轴惯性测量传感器分别采集肌电信号和惯性信号，先进行预先采集，然后STM32单片机对肌电信号与惯性信号进行处理，去除一些掺杂的滤波，前端采集与滤波过滤都在臂环内完成，接着传输到外接的PC端或移动端上，通过PC端或移动端将对肌电信号与惯性信号发送给外部服
务器，通过外部服务器进行深度学习的算法解算然后进行反馈，采用百度paddlepaddle框架可以先将所有数据做归一化处理，肌电信号(emg)得出手指手腕弯曲动作，而惯性信号(ori)能得出手臂的状态，完整的表达手语动作，通过数据库内整体700000条数据test集识别率为95％，识别准确度更高，最后通过扬声器进行播放。
[0018]肌电信号属于生物电信号的一部分，是肌肉动作最直接的表达，相比光学图像(被光照影响)和压力传感器(个体力量差异)，具有更更强的普适性。.深度学习算法相对传统模式识别算法能够学习更大量的样本，适合对手语这种复杂的多变模式进行分类，显著提高识别词库量和准确度。
附图说明
[0019]结合以下附图旨在便于描述较佳实施例，并不构成对本发明保护范围的限制。[0020]图1是本发明的框体示意图；
[0021]图2是本发明实施例中通过外设播放声音的手语识别原理图；
[0022]图3是本发明实施例的结构示意图。
[0023]附图标记：1、闭环外壳；2、连接带；3、肌电传感器；4、扬声器；5、指示灯；6、功能按键。
具体实施方式
[0024]为了方便理解本发明，下面结合附图中给出的本发明的较佳的实施例对本发明进行详细的描述。
[0025]如图1-3所示，一种基于肌电信号手语识别翻译臂环，包括臂环主体、连接带、肌电传感器、九轴惯性测量传感器、单片机、蓝牙模块以及扬声器，所述臂环主体由若干闭环外壳组成，相邻闭环外壳之间通过连接带连接，所述连接带与闭环外壳可拆卸连接，具体连接结构可采用卡扣连接，连接方式简单方便，所述闭环外壳内侧表面对应连接一个肌电传感器，肌电传感器一般采用8个，其中一个闭环外壳内部连接有九轴惯性测量传感器和蓝牙模块，所述肌电传感器和九轴惯性测量传感器分别与单片机连接。所述闭环外壳设置有指示灯和功能按键，所述扬声器设置于闭环外壳外侧，扬声器可以防止冬天袖子遮住臂环，无法发出声音。所述单片机采用STM32单片机，工作速度快，性能高。所述相邻闭环外壳之间通过连接带连接，所述连接带与闭环外壳可拆卸连接，方便拆卸，所述闭环外壳内侧表面对应连接一个肌电传感器，肌电传感器采用干电极臂环形式，佩戴简单，携带方便，适应不同肌肉形状的人，并且有一定隐藏性，为聋哑人保证隐私。肌电信号属于生物电信号的一部分，是肌肉动作最直接的表达，相比光学图像(被光照影响)和压力传感器(个体力量差异)，具有更更强的普适性。深度学习算法相对传统模式识别算法能够学习更大量的样本，适合对手语这种复杂的多变模式进行分类，显著提高识别词库量和准确度。九轴惯性测量传感器可以输出九轴数据分别为X，Y，Z方向上的加速度计、旋转角速率、磁通量数据。
[0026]一种手语识别肌电信号的方法，首先将臂环主体套入手臂上，通过肌电传感器采集肌电信号，通
过九轴惯性测量传感器采集惯性信号，然后STM32单片机对肌电信号与惯性信号进行处理，并传输到外接的PC端或移动端上，通过PC端或移动端将对肌电信号与惯性信号发送给外部服务器，通过外部服务器进行深度学习的算法解算然后进行反馈，最后通过扬声器进行播放。
[0027]所述深度学习的算法框架采用谷歌tenserflow、百度paddlepaddle或keras框架。[0028]采用百度paddlepaddle框架可以先将所有数据做归一化处理，将每一个动作下不同人之间的肌电信号(emg)与惯性信号(ori)做交叉，即将不同人的同动作的肌电信号(emg)以及惯性信号(ori)数据进行混排匹配，从而大幅度提高数据量；其次模型分两个部分，一个是对肌电信号(emg)的卷积，一个是对惯性信号(ori)的卷积，然后做拼接后经一个全链接层，再进行预测，其中，肌电信号(emg)与惯性信号(ori)均为一个卷积层、一个池化层与一个全链接层构成，其中肌电信号(emg)的卷积结构为4*16＝64，池化结构参数为8*8＝64；惯性信号(ori)卷积结构为8*2＝16，池化结构参数为4*4＝16，之后都选用relu进行全链接，最后数据库内整体700000条数据test集识别率为95％。
[0029]实际操作时，通过肌电传感器和九轴惯性测量传感器分别采集肌电信号和惯性信号，先进行预先采集，然后STM32单片机对肌电信号与惯性信号进行处理，去除一些掺杂的滤波，前端采集与滤波过滤都在臂环内完成，接着传输到外接的PC端或移动端上，传输方式可以采用蓝牙模块向外发射，通讯方式也可以采用蓝牙以外的其它任何可行的无线通讯及有限通讯方式，与外部接收设备及运算平台构成通讯连接即可；通过PC端或移动端将对肌电信号与惯性信号发送给外部服务器，通过外部服务器进行深度学
习的算法解算然后进行反馈，采用百度paddlepaddle框架可以先将所有数据做归一化处理，肌电信号(emg)得出手
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议