基于Leap Motion手语语音转换的设计与实现

胶囊模具
烘手机- 67 -
第07期2020年4月No.07
April,2020
手势识别是手语语音转换的首要步骤,包括手势的采集与手势识别。手势的釆集广泛使用的方法有数据手套[1]、专业的视频釆集摄像机等[2]。而手势识别的研究方向有两个:一个是静态手势识别,另一个是动态手势识别。静态手势识别始于20世纪初,主要利用获取到的单个时间点的手势图像中手的形状、手指的姿态等信息进行手势表达含义的识别[3]。相比于静态手势识别,动态手势识别要稍晚一些,需要对连续一段时间的手势图像信息进行图像处理,通过获取处理后的连续时间内手、手指的位置、速度等数据信息来识别手势表达的意义[4]。
本文提出的基于Leap Motion 的手语语音转换是基于视觉(图像)的手势识别系统[5],采用的手势识别系统是Leap Motion 体感控制器,是支持C#语言的三维引擎,且提供了手势开发的软件开发工具包(Software Development Kit ,SDK ),为手势定义成文字提供了便利条件。本文是使用C#语言对手语语音转换进行开发的。
聚酰亚胺板材2    Leap Motion手语语音转换的原理2.1  Leap Motion 功能介绍
本文采用的Leap Motion 是Leap 公司最新研发的体感控制器,是一款微米级3D 手动交互设备,十分小巧且应用广泛。当手在传感器上方活动时能够实现对手和手指的运动追踪。能够追踪到一个人10根手指的三维坐标信息且位置精度高达0.01 mm ,具有150°的超宽幅空间视场,能够以高达每秒200帧
以上的速度追踪一个人的手部移动。延迟比显示器的刷新率还要低,特别适合做手语翻译器。
Leap Motion 内置两个红外摄像头,从不同角度捕捉两张画面,重建出手掌在真实世界三维空间的运动信息。检测的范围大体在传感器上方25~600 mm 之间,检测的空间大体是一个倒四棱锥体。
Leap Motion 的系统采用了右手笛卡尔坐标系,返回的数值都是以真实世界的毫米为单位。如图1所示,原点在Leap Motion 控制器的中心,X 轴和Z 轴在器件的水平面上,X 轴和设备的长边平行,Z 轴和短边平行。Y 轴是垂直的,以正值增加形式朝上。
基金项目:2019年辽宁省大学生创新创业训练计划资助项目;项目编号:201910149053。作者简介:姜檬(1997— ),女,辽宁铁岭人,本科生;研究方向:电子信息工程。
摘  要:文章介绍了基于Leap Motion 手语语音转换的原理以及在实际中如何实现应用,其能够将手语手势翻译成所需语
vagoo言,并且以语音的形式传递消息,实现为聋哑人“发声”的目的。Leap Motion 手语语音转换的硬件部分采用Leap Motion 体感控制器,能够实时采集人手指的坐标、加速度、方向等动态手势的运动信息。软件采用Unity 3D 三维引擎,提供了开发手势识别的SDK ,并给出了一些基本手的模型,在Unity 3D 中完成由手势到文字,再到语音的转换。关键词:动态手势识别;厉动;Unity 3D 基于Leap Motion手语语音转换的设计与实现接触式位移传感器
姜    檬,郭仁春,李俊龙,王志淳
(沈阳化工大学,辽宁  沈阳  110142)面包炉
无线互联科技
Wireless Internet Technology
图1  Leap Motion的空间直角坐标系

本文发布于:2024-09-21 22:31:16,感谢您对本站的认可!

本文链接:https://www.17tex.com/tex/1/108585.html

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

标签:手势   识别   语音   转换   信息   能够
留言与评论(共有 0 条评论)
   
验证码:
Copyright ©2019-2024 Comsenz Inc.Powered by © 易纺专利技术学习网 豫ICP备2022007602号 豫公网安备41160202000603 站长QQ:729038198 关于我们 投诉建议