第19卷第8期2007年8月
计算机辅助设计与图形学学报
JOURNAL OF COMPU TER 2AIDED DESIGN &COMPU TER GRAPHICS
Vol 119,No 18Aug 1,2007
收稿日期:2006-09-20；修回日期:2007-03-071基金项目：国家自然科学基金(60021201)；国家“九七三”重点基础研究发展规划项目
(2002CB312102)1王修晖，男,1978年生，博士，讲师，主要研究方向为计算机视觉、图形图像处理、虚拟现实1鲍虎军，男,1966年生，博士，研究
员，博士生导师，主要研究方向为真实感图形学、虚拟现实等1
王修晖
1,2)
鲍虎军
2)
1)(中国计量学院信息工程学院 杭州 310018)
2)
(浙江大学CAD &CG 国家重点实验室 杭州 310058)(wangxiuhui @cad 1zju 1edu 1cn )
厉剑
摘要 基于小样本库的手势识别是先进人机交互研究中的一个重要分支1根据Tortoise 人手模型训练手势模式库并结合交互者的具体手部特征进行手形训练，生成适用于特定交互者的手势模式库1在交互过程中，根据来自一个或多个同步摄像头的视频信息进行基于自适应遗传算法的手势识别1实验结果表明，在环境光照基本稳定的条件下，文中算法可以实现鲁棒的实时手势识别1 关键词 虚拟现实；手势交互；人手模型；手势识别；自适应遗传算法中图法分类号 TP391
G esture R ecognition B ased on Adaptive G enetic Algorithm
Wang Xiuhui 1,2) Bao Hujun 2
紫光阁是什么机构
)
1)(Instit ute of Inf ormation Technology ,Chi na Jiliang U niversity ,Hangz hou 310018)2)
(State Key L aboratory of CA D &CG ,Zhejiang U niversity ,Hangz hou 310058)
Abstract G esture recognition based on small samples is one of the main trends in the advanced human 2computer interaction research 1This paper tries to develop a general hand 2shape model database based on the
Tortoise Model (TM )1Before the interactions ,we use the user ’s hands information to update the general gesture model database and create the user 2specified gesture database 1Thereafter ,during the course of in 2teractions ,via the video information from one or more synchronous cameras ,we match the user ’s certain gesture with the user 2specified gestures based on adaptive genetic algorithms 1The experimental results show that the robustness of real 2time gesture identification can be improved greatly if the ambient light is relative 2ly stable 1
K ey w ords virtual reality ;gesture 2based interaction ;human hand model ;gesture identification ;adaptive genetic algorithm
手势是一种符合人类日常习惯的人机交互媒介，以人手直接作为计算机系统的输入设备，可以通过
预先定义的特定手势来对周围的事物进行控制1手势是人手或者手和臂结合产生的各种姿势或动作，包括静态手势(指姿态，单个手形)和动态手势(指动作，由一系列姿态组成)[1]1随着计算机视觉技术在各个领域的应用日益广泛，如何实现自然和
谐的人机交互成为备受关注的研究热点，相关研究包括面部表情识别、手势辨识、头部运动跟踪以及背影识别等[2]1其中，手势辨识作为高级人机交互系统的关键技术，在计算机视觉、视频会议、机器人等领域有着广阔的应用前景1根据感知设备的不同，当前手势辨识的研究成果可以分为基于硬件传感器(如数据手套)和基于计算机视觉的方案2大类1 基于硬件传感器的手势辨识方案主要有使用数据手套来感应手形变化的方法[324]和通过在指关节设置感应环来识别手指形态的方法[5]1由于此类方法通常需要给交互者的手部佩戴某种物理感应装置，这在一定程度上影响了交互界面的友好性；另外，数据手套等物理感应设备的灵敏度对手的尺寸和形状变化过于敏感，而且其内部传感部件容易磨损老化，这些都进一步限制了此类辨识方法的应用场合1基于视觉的手势辨识研究主要有提取并跟踪人手特征线条的识别方法[6]、通过计算模板的相关系数来进行预测匹配的模板匹配法[7]和在中国手语手指字母集上进行的基于Hausdorff距离[8]的手势识别方法1此类方法主要通过对手部肤、手形轮廓或者预设标识的分析识别来提取手部特征，并通过进一步的手形匹配来理解当前手势的交互语义1相对而言，基于计算机视觉的手势辨识更加符合人类的日常交互习惯，而且识别的准确性和系统的耐用性也有较大幅度地提高1但是，由于人手复杂的非刚体变
形和视频信息的不稳定性，给手势辨识带来了一定的困难1为了保证识别精度，通过以牺牲实时性为代价，因此这种手势辨识方法目前主要用于静态手势识别中1
为了克服当前基于视觉的手势辨识方法实时性不足的问题，本文提出一种基于自适应遗传算法的手势辨识方法1首先给出一种简洁的Tortoise模型来表征人手部的基本特性，并在此基础上建立和训练手势模式库；然后根据实时的手形图像序列，基于优胜劣汰规则在几何与纹理混合特征空间进行目标手形与模式库中手形的匹配，在降低误判率的同时，保证了手势交互系统的实时性1
1 基本概念
手势辨识作为人体运动视觉分析技术的重要组成部分，是计算机视觉领域中最活跃的前沿方向之一1从技术角度而言，手势交互研究涉及到计算机视觉、模式识别、图像处理等多学科知识，属于典型的交叉学科范畴1下面给出基于视觉手势辨识技术中的基本概念和评价标准1
定义11人手部模型1基于真实手形的特征和手势辨识的需要抽象出来的数学模型，根据人手部模型提取的人手部几何和纹理特征是建立手势模式库和进行手形匹配的基础1人手部模型与手势模式库共同构成手势辨识的分类器，用于确定哪些属性(尺寸、形状、纹理等)需要计算，以便能够用它最好地区别各种手势1
定义21手势库训练1在进行手势交互前，需要提取当前交互者手部的几何和纹理信息，以更新通用手势模式库(general hand shape model database, GHSMDB)中各预定义手势的可调整参数(决策阈值等)，从而得到当前交互者的专用手势模式库(special hand shape model database,SHSMDB)，这个过程称为手势库训练1
定义31手势辨识1指根据人手部模型和SHSMDB，对输入图像序列进行手形检测、特征提取和手势分类的过程1手势辨识包括手形检测和手势匹配2个步骤，其中，手形检测研究如何从复杂交互背景下分离手形对象和抽取当前手形的基本特征；而手势匹配则研究如何根据现有手形分类标准来匹配模式库中的手形与当前手形，其实质是对手势进行理解的过程1
定义41误判率1模式识别过程中，把一个类别的样本错误地归为其他类别事件发生的概率，称为误判率1这里特指手势辨识时，手势错误归类和无法识别事件发生的总概率，记作E C1E C是评价手势辨识算法的主要标准之一1
定义51平均辨识速度1在n次测试中，完成手形检测、特征提取和手势分类等一系列操作的平均速度，称为本次测试的平均辨识速度，记作 V n1 V n 是基于视觉手势辨识算法的另一个主要评价标准1
2 人手部Tortoise模型
211 Tortoise模型
在进行基本手势的训练和手形匹配仔，通常将手部分解成饼状的手掌和n(n∈[0,5])根被看作刚体的手指，本文提出一种特征显著且便于表达和更新的人手部Tortoise模型来描述人手部的基本特征(
如图1所示)1
图1 人手部Tortoise模型
Tortoise模型的参数形式定义为
y=f(r1,r2,n,L1,…,L n,W1,…,W n,
θ1,…,θn,R,G,B)(1)
7501
8期王修晖等：基于自适应遗传算法的手势识别
满足约束条件
r 1≥115r 2
n ∈[0,5]
112r 1≥L i ≥013r 1,i =1,…,n
r 1≥310W i ,i =1,…,n
θi ∈[
0,90],i =1,…,n
R ∈[0,255],G ∈[0,255],B ∈[0,255]
(2)
其中,r 1为手掌部半径,r 2为手腕部半径,n 为手指个数,L 1,…,L n 为每根手指的长度,W 1,…,W n 为
每根手指的宽度,θ1,…,θn 为每根手指与手腕间夹角(θi ∈
[0,90),i =1,…,n ),R ,G ,B 为皮肤颜1Tortoise 模型具有以下优势:
1)采用近似对称的饼状手掌模型，简洁的模型表达提高了手形匹配速度；同时，模型的对称性也减少了由于手部旋转造成的误匹配概率1
2)分布比较随意的条状手指模型，使得在具体
应用中，可以通过增加摄像机数量，从不同二维图像中计算总的手指数量来判断手形，降低了由于遮挡带来的匹配误差1
3)使用手掌和手指的相对尺寸作为区分不同手势的依据，减少了手臂相对镜头运动造成的手形缩放所带来的匹配误差1212 手势模式库
在典型的手势交互过程中，通常只需容量很小的手势模式集1考虑到手势库训练和手形匹配的时间代价，本文选择了18种区分度较大的基本交互手势来建立和训练通用手势模式库，如图2所示1在Tortoise 模型基础上，通过对不同人交互图像的手
形检测和特征分析来初始化式(1)中的手形参数1
图2 基本交互手势
3 实时手势辨识
311 手势库训练
手势库训练之前，需要收集当前交互者对
n (n >5)种基本手势的近距离演示图像，并从中分割出手形模板来提取关键特征参数，然后基于GHSMDB 生成当前交互者的SHSMDB 1根据手势交互的特点，在综合考虑Tortoise 模型中各个特征参数对手势辨识影响程度的基础上，本文设计了如下手势库训练算法1
算法11SHSMDB 生成算法
Step11复制GHSMDB 得到初始状态的SHSMDB 1Step21输入第k 帧演示图像，提取手形轮廓S k ，并提取
颜参数向量c k 和几何参数向量g k :
c k =[R k ,G k ,B k ],
g k =[r 1,k ,r 2,k ,L 0,k ,…,L n ,k ,W 0,k ,…,
W n ,k ,θ0,k ,…,θn ,k ]1 Step31根据式(2)对c k 和g k 进行检验，满足条件则继
续；否则，转Step2提示重新输入手形图像1
Step41根据c k 依次调整SHSMDB 中的肤信息，并计
算肤调整增量
Δc =
(R k -R ^)2+(G k -G ^)2+(B k -B ^)2 ,
其中带^的变量表示调整前的特征参数值1
Step51根据g k 调整SHSMDB 中的角度信息和尺度比
值信息，并计算几何信息调整增量Δg =r ^2Πr 2r ^
1Πr +1
n ∑
n
i =1
L ^i r ^
1-L i
r 12
+
W
^i r ^
1-W i战场
r 1
2
+
1n
∑n
i =1
|θ^i
-θi
|
,
其中带^的变量表示调整前的特征参数值1
Step61判断调整增量Δc 和Δg 是否满足给定阈值，若满
足，转Step7；否则，转Step21
Step71完成训练，无需再输入新的手形图像1
Step2中，为了减少训练时间，用于手势库训练
8
501计算机辅助设计与图形学学报2007年
的手形图像统一采用黑背景且只包含单只手的形状和颜信息，因此可以通过简单的二值化和Can 2ny 算法[9]进行轮廓提取;Step4中c k 包含了S k 内部的平均颜值1Step5中g k 的角度信息直接用于比较和调整，而尺度信息以r 1作为基准来比较比值
(如r 2Πr 1,L 1Πr 1,L 2Πr 1等)，需要调整时则直接用
新值替换1
312 手形检测
手形检测主要研究如何从具有复杂背景的交互图像中分割出目标手形模板[10]1本文利用手势交互的运动连贯性、手部肤特征和Tortoise 模型的基本形状信息，采用逐步细化的方法实现手形图像的提取(如图3所示)
1
大律师巴布
图3 手形的提取过程
手形检测的具体步骤如下:
Step11利用交互操作的连贯性，由上一帧的手形窗口向
四周扩张得到初始搜索窗口，如图3a 所示1
Step21根据手势库训练时提取的肤特征对初始搜索
窗口内物体进行筛选，剔除窗口内的大部分干扰对象[11]，如图3b 所示1
Step31根据Tortoise 模型的基本形状特征对Step2筛选
后剩下的对象进行选择和过滤，分割出粗略的手形模板(腕部以下部分)，如图3c 所示1
Step41应用Canny 算子进行边缘检测，得到含有少量干
扰的手形轮廓，如图3d 所示1
Step51在边缘检测基础上，根据训练中提取的手掌与手
指的相对尺寸进一步对轮廓图进行滤波和连接，得到如图3e 所示的完整轮廓信息1
313 手势辨识的自适应遗传算法
根据预定义的手势模式库进行手势辨识，本质上是
min F =(n ^-n )2
+
(r ^1-r 1)
2
(r ^2-r 2)
2 +
∑
n
i =1
L ^i
r ^1
-L i
r 12
+
W ^i r ^1
-W i
r 1
2
・|θ
^i -θi | +
(R
^-R )2+(G ^-G )2+(B ^-B )2 (3)
所描述的最优化过程，即根据待分类手形的几何特
征(手指个数、手指长度、手指方向、手的轮廓等)和纹理特征(肤信息)，在模型库中到最匹配的手势1其中带^的变量表示模型库中的基本参数值，参数的具体意义同式(1)1由于问题的计算规模较大，在实时手势交互中，采用穷尽搜索法对模型库中每一个预定义手势分别计算并比较目标函数值是不现
实的1本文综合传统遗传算法(genetic algorithm ,
G A )[12]的优势和手势辨识问题的特点，提出了基于自适应遗传算法的手势辨识算法(gesture 2identification based on adaptive 2genetic 2algorithm ,A G A 2GI )1
遗传算法是借鉴生物进化中优胜劣汰的思想，通过模拟生物在染体层面的各种遗传优化作用进行体迭代的过程1G A 的基本思路是从一个随机的初始体出发，依据优胜劣汰原则，通过选择、交叉和变异等遗传优化操作，产生性能更优的下一代体，直到到满足环境约束的最优个体或者进化过程达到具体应用的终止条件为止1在传统G A 运行后期，个体适应度趋向一致，优秀的个体在生成下一代时优势不明显，造成整个种进化缓慢1另一方面，由于手势辨识是一个多峰值最优化过程，因此在遗传迭代时容易过早地陷入局部极值而造成误匹配1我们利用手势模式库中相似度的连贯性和种内个体间适应度偏差程度来自适应地选择交叉和变异因子，大幅度地提高了匹配速度和精度1
《保安服务管理条例》图4 A G A 2GI 流程
由于输入图像的质量受采集设备精度、噪声和镜头扭曲等多种因素影响，在很大程度上增加了手形测量和手势匹配的复杂度1为了减少手形测量的计算量,A G A 2GI 仅提取特征参数向量中易于检测
9
5018期王修晖等：基于自适应遗传算法的手势识别
且区分能力较强的分量来构造适应度函数,
f g =(n ^-n )2+
(r ^1-r 1)2
(r ^2-r 2)
2+
L ^i
r ^1
-L i
r 12
(4)
而将其他特征分量融入终止条件中1
算法21A G A 2GI
Step11编码方式1每条染体对应手势模式库中一个
模式，并将相似度较大的手势连续编码，以便于应用自适应交叉策略1
Step21初始体选择1根据预定义容量，用随机方法从训
练后的手势模式库中提取若干预定义手势来生成初始种1
Step31选择方法1采用最适应个体优先策略，在进行
体交叉前，选出一个适应度最高的个体直接复制到下一代中；然后对剩余个体根据尺度优先(即优先考虑几何相对尺寸接近的个体)的概率P S 进行选择1第i 个个体的选择概率
P S (i )=1-f g ,i
∑n k =1
f
g ,k
,
其中n 为当代种规模1
Step41交叉策略1G A 的交叉操作是从当代体中随机
地选择2个个体，依照一定规则产生一个新子女个体1利用模式库中相似度的连贯性，自适应地从编码差别较大的个体中选择父母个体，避开了“近亲繁殖”造成的局部极值陷阱，使得算法能很快跳出局部最优解，并向全局最优解转化1
Step51变异规则1交叉完成后，新的子女个体以一定概
率P m 进行变异1根据适应度偏差来选择种内个体的变异概率，使得后代能尽量继承好的性能(满足式(2)且相似性较好)，加快了算法收敛的速度1第i 个个体的变异概率
P m (i )=|1-
1n
∑n
k =1
f
g ,k
Πf g ,i
|
,
其中n 为当代种规模1
Step61适应度测试1如果连续10代中种个体没有变
化，转Step8；如果迭代次数超过指定阈值，转Step7;
否则，转
Step31
Step71随机等待ε(ε<10)ms 以避开手势变化过程中
的非标准手形，转Step2重新开始检测1
Step81综合W 1Πr 1,…,W n Πr 1和θ1,…,θn 等信息，从
当代种中选择适应性最好的个体得到最佳匹配手势1
Step3中，最有可能成为最优的个体被直接复
制到下一代1另外考虑到不同模式中肤变化较小，选择概率中只考虑尺度信息来减少不必要的计算开销，则在保证后代能尽量集成好的性能的同时，加快了算法收敛的速度;Step5中仅选择与种内个体平均几何误差偏离较大的极少量个体进行变异操作，使得与目标手形差别最大的个体被淘汰，这在一定程度上提高了收敛速度;Step7随机等待一定时间，主要是针对连续交互操作中不可避免地存在与所有预定义模式都不匹配的非标准手形的情况而设置的1
4 实 例
411 问题描述
实验任务是通过在有限手势集上的交互，实现
虚拟场景中对象的选中和平移操作1考虑到手势集容量直接影响交互系统的易用性和识别的鲁棒性，只选用10种区分度较大的手势，如图5所示1
在对象选中和平移操作的交互过程中主要涉及到4类状态:
1)空闲状态1既是交互过程的初始状态也是终
结状态，记作sLeisure 1
601计算机辅助设计与图形学学报
2007年李含琳
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议