第25卷 第7期
2008年7月
公 路 交 通 科 技
Journal of Highway and T ransportation Research and Development
V ol 125 N o 17
Jul 12008
文章编号:1002Ο0268(2008)07Ο0128Ο04
档案解密全集2012收稿日期:2007Ο05Ο21南充和兴证券
基金项目：国家自然科学基金项目(60472006)
作者简介：林土胜(1945-)，男，广东化州人，教授，博士生导师，研究方向为信号与图像信息处理、电路与系统的理论与技术1 (eetshlin @scut 1edu 1cn )
基于类H aar 特征的驾驶者人眼
林土胜，陈少珠
(华南理工大学 电信学院，广东 广州 510640)
摘要：使用摄像头采集视频图像，对输入图像做预处理(图像灰度化、中值滤波等)；通过学习训练的方法构造基于类Haar 特征的层叠式分类器，利用基于类Haar 特征的层叠式分类器从输入图像中直接定位人眼；把人眼部分的图像截取出来，二值化人眼图像；然后计算二值化图像中垂直方向上瞳孔的宽度大小，从而判断眼睛的状态；最后通过多次的捕捉，计算眼睛闭合的频率来得出其疲劳状态。试验验证了上述算法的有效性。关键词：交通工程；疲劳检测；类Haar 层叠式分类器；眼睛定位；图像处理中图分类号:U49112+54 文献标识码:A Study on the Method for Driver ’s Eye s Fatigue State
Detection Ba sed on Haar Οlike Feature
LI N Tu Οsheng ,CHE N Shao Οzhu
(School of E lectronic &Engineering ,S outh China University of T echnology ,G uangzhou G uangdong 510640,China )
Abstract :With help of Haar Οlike cascaded classifier designed by Adaboost alg orithm and constructed by training method ,driver ’s eyes were located by the pretreated input video images 1Fatigue states of driver ’s eyes were classified by the frequency of blinking 1In order to calculate the frequency ,the open degrees of the driver ’s eyes were calculated first ,and the eyes ’images were trans ferred into binary images ,then the pupil widths on vertical direction of the binary images were calculated to judge the fatigue states of eyes 1Experiments proved its validity 1K ey words :traffic engineering ;fatigue state detection ;Haar Οlike cascaded classifier ;eyes location ;image processing 0 引言
司机疲劳驾驶已经成为潜在的交通隐患，驾驶者
的疲劳状况可以从眼睛的闭合频率和眼皮的张开程度反映出来。一般地，驾驶者精神饱满时，其眨眼频率和眼皮张开程度都有统计的正常值，而当驾驶者处于疲劳状态下，眼皮的张开程度较小，眨眼频率也明显
降低[1]
。因此，利用眼睛的状态就可以判断出驾驶者的疲劳程度。在车辆中装入监控摄像头，从监控录像
中截取图像，对图像进行实时处理。为了达到实时的
效果，必须寻一种快速收敛的算法进行眼睛定位以获取眼睛状态的信息。
本文采用普通US B 摄像头作为输入设备，利用
DirectShow 视频捕捉技术[2]
，使用基于Adaboost 算法[3]
的层叠式分类器搜索图像中眼睛的位置，得到包含眼睛的一个矩形区域。后面的处理就只对眼睛矩形区进行处理判断，大大降低了运算量。
1 预处理
自然条件下获得的图像总是存在一些噪声，在进行眼睛定位之前先对图像进行去噪处理。可采用中值滤波，它对于干扰脉冲和点状噪声有良好的抑制作用；本文采用3×3的中值滤波器，经过中值滤波后的图像噪声得到了明显的抑制。
2 眼睛定位
为了得到眼睛图像的信息，必须进行眼睛定位。现有的眼睛定位方法有很多，基于肤模型的方法[4]，灰度投影法[5]，基于模板的方法[6]，基于神经网络的方法[7]，基于特征提取[8]等。本文利用Ada2 Boost算法构造一个基于类Haar特征的层叠式分类器来进行人眼的定位。类Haar特征[9]通常由2～4个矩形组成，如图1所示。
2Ο矩形特征表示两个形状大小相同的矩形区域内所有像素和的差值，如A,B;3Ο矩形特征表示外面的两个矩形的像素和减去中间矩形的像素和;4Ο矩形特征表示对角矩形内像素和之差。为了方便计算，在这里引进积分图像概念:
ii(x,y)=∑
u<x<,v<y
i(u,v)。(1
)
图1 类Haar特征矩形
Fig11 HaarΟlike feature rectangle
这样，这些矩形特征就能用积分图像中的几个点表示[10]。然而，一幅图像的矩形特征远远比它的像素的个数要多，必须有一个高效的分类器才能有效地筛选出有用的特征。Freund等人在Boosting算法的基础上提出了AdaBoost算法[3]，其主要思想是给定一弱学习算法和一训练集，通过训练后将弱学习算法提升为强学习算法。这样只要到一个比随机猜测好一点的弱学习算法提升为强学习算法，就不必直接去通常情况下很难获得的强学习算法。利用AdaBoost算法，从所有的矩形特征中选择一个，训练出一组比随机猜测略好一点的分类器，加权组合成一个层叠式分类器。层叠式分类器是一个退化的决策树结构[10]，如图2所示。
假设每个分类器可识别50%的非目标模式，且目标模式的错分概率为012%，则h=01998,f= 015。如果N=12那么最终识别正确率约为9716% ,
图2 层叠式分类器结构
Fig12 Schematic diagram of the cascaded classifier
误检测率约为01024%。在算法的训练过程中，最好的分类器不断地被加进来，直到达到所需的误检测率为止。
Viola等的试验结果表明[10]，在人脸检测过程中, AdaBoost算法选出的第1个特征是“眼睛所在的矩形区域比眼睛下面的脸颊区域的灰度值小”，第2个特征是“两只眼睛的灰度值比中间鼻梁的灰度值要小”。
在训练分类器时，需要很大数量的目标图像集合和非目标图像集合来构造正、负样本库。具体的步骤如下:
(1)构造正负样本图片库。
(2)每一层训练Boosting训练：从所有特征中选取加权后整体错误率最小的弱分类器；通过样本的训练进行权重更新，直到达到需要的检测率和误判率。
(3)将每一层训练好的强分类器串联起来组成层叠分类器，用于目标检测。
此算法的大部分时间用来训练检测具体目标的分类器，分类器训练好后用来检测目标能够达到实时性要求。因此利用此方法来检测驾驶者的眼睛状态能够达到很好的实时性。
在眼睛的检测过程中，检测子窗口是固定的(采用22×5)，图像中人眼睛的尺寸是变化的。为了尽可能多的检测到各种尺寸的眼睛，采用图像金字塔的扫描方式。将图像在一定范围内依次进行尺寸的缩放，将缩放后的图像作为眼睛检测器的输入。
本文在324×146的原始图像上，以1125的因子依次进行图像的缩小，进行12次之后原始图像就缩小为22×10。这个过程就相当于检测子窗口进行了从22×5到320×73上12个梯度的放大，在CPU为2 G H z,512M B内存的计算机上，检测一幅324×146的图像可达到10帧Πs，检测的效果如图3所示。可以根据输入图像的大小以及具体的运用，在检测之前使用G aussian金字塔分解对图像向下采样，以降低运算量。
3 判断眼睛状态
截取出眼睛图像之后，对眼睛图像进行分析。由于判断人眼疲劳状态的重要指标是眼皮的张开程度和眨眼的频率，其实眨眼频率也是计算眼皮张开程度的
921
第7期 林土胜，等：基于类Haar特征的驾驶者人眼疲劳状态的检测方法研究
图3 眼睛检测
Fig13 Results of eyes detection
变化频率，因此，计算眼皮的张开程度就成为判断眼睛状态的主要任务。
从先验知识可以得出眼皮张开的程度可以等价于眼皮之间瞳孔的大小，即垂直方向上瞳孔夹在眼皮之间可看见的直径大小。由于眼睛的特殊特点：眼睛瞳孔的灰度值比周围的小很多。介于此特点，可以通过二值化眼睛图像来分割出瞳孔。二值化的操作如下，将灰度值小于T的归到目标类，即为0；灰度值大于T的归为背景，其灰度值都为255。国内域名
g(x,y)=255,
0,
g(x,y)>T,
g(x,y)<T。
(2)
二值化的关键是确定阈值T，阈值如果选择不好，就会影响目标物体和背景的错分率。在图像采集过程中由于光照不同的影响，最佳阈值可能不是同一个值。因此，本文采用自适应阈值法来确定T，避免了不同光照条件下使用同一阈值而增加错判率，具体的方法是使类间方差最大来分割物体。方差是灰度分布均匀性的衡量标准，方差越大，说明目标物体和背景的差别越大，越容易分割出来。当部分目标错分为背景或者部分背景错分为目标都会导致两部分的差别变小，因此，使类间方差最大就意味着错分的几率最小。
假设目标样本像素和与背景样本像素和分别占总
体样本像素和的w
0、w
1
，且各自的平均灰度值为g0、
g1，图像整体平均灰度值为g，则两类方差表示为
w0(g0-g)2+w1(g1-g)2。(3)为了减少计算量，可将该式化减，即将w
+w1=1
和w
g0+w1g1=g代入上式，可得到
w0w1(u0-u1)2。(4)求解使上式达到最大值的灰度阈值就是所求的二值化阈值，此方法在试验中达到了很好的效果。
图4是对图
3中截取的眼睛图像进行自适应阈值法的二值化图像，可以看到，此方法能够有效地分割出目标物体。
图4是眼睛睁开状态和眼睛闭合图像，这是眼睛
图4 利用自适应阈值法的二值化图像
Fig14 Binary images from adaptive threshold value method
状态中的两个极端。从这两幅图像可以看出，眼睛的张开程度可以以眼睛瞳孔的垂直宽度作为衡量。图5是眼睛不同状态的一系列图像，其中包括半开合的中间状态。
分割出目标物体之后，计算垂直方向两眼皮之间瞳孔的宽度就变得很容易了
。从左到右扫描图像，计算垂直方向瞳孔的宽度，保存其最大值。由于眼睛的对称性，只需要扫描左眼或者右眼进行计算就行了，具体的算法描述如下:
图5 眼睛检测及二值化结果
Fig15 A series of eyes image detection and binary images
flag←0,max←0,eyeheight←0
for i←image1left to image1left+image1widthΠ2ΠΠ扫描左眼
for j←image1bottom to image1topΠΠ计算垂直方向黑线段的长度
if g(i,j)=0&&flag=0
point1x←jΠΠ记下黑线段的起始位置
flag←1
if g(i,j)=255&&flag=1
point1y←jΠΠ记下黑线段的结束位置
list1AddT ail(point)ΠΠ将标记黑线段的起始合结束位置的点加到列表中
flag←0
switch(list1G etC ount())
case0:ΠΠ列表空，退出
break
case1:ΠΠ列表中只有一个点，即只有一段黑线段
031 公 路 交 通 科 技 第25卷
tem p ←list 1G etAt (0)
eyeheight ←tem p 1y -tem p 1x ΠΠ计算该线段的长度if eyeheight >max ΠΠ记下整个左眼图像的最大值max ←eyeheight break
default :ΠΠ如果列表中有多个线段mergeLine ()ΠΠ合并间隔很小的线段
for k ←0to list 1G etC ount ()-1ΠΠ计算各线段的长
度，保存最大值tem p ←list 1G etAt (k )
广州黄埔造船厂eyeheight ←tem p 1y -tem p 1x if eyeheight >max max ←eyeheight list 1Rem oveAll ()return max
从左到右扫描图像的过程中，如果在垂直方向有
多个黑线段，那么相邻两个线段间隔很小的话，将它们合并成一个线段。如图4中的瞳孔由于光照问题出现了反光现象，即二值化的图像中瞳孔中间出现白的斑点。在计算垂直方向上黑线段的长度时，这些白的斑点将一个黑线段分隔成两个黑线段，这样有可能造成检测出来的黑线段不是最长的瞳孔宽度。如果将相邻很紧的黑线段合并就可以避免这样的问题，合并相邻很紧的黑线段可以改善反光的问题，图6是上述算法检测的结果
。
图6 检测眼睛的张开程度
Fig 16 Detection of eyes ’open states
4 结论
基于类Haar 矩形特征检测目标的方法可以快速
地检测到驾驶者的眼睛。由于类Haar 矩形特征是利用灰度信息检测目标物体，输入图像是灰度图像就
可以了。虽然没有利用到颜信息，但是由于灰度图像是单通道，减少了计算量，提高了效率。本文提出了一种判断眼睛状态且易于实现的算法，即利用可见瞳孔的大小计算眼睛张开的程度。另外本文回避了驾驶者戴深眼镜的情况，有待在以后的学习中改进。
参考文献:
R eferences :
[1] 王荣本，郭克友，储江伟，等1适用驾驶员疲劳状态
监测的人眼定位方法研究[J ]1公路交通科技,2003,
20(5):111-1141
W A NG R ong Οben ,G U O K e Οy ou ,CH U Jiang Οwei ,et al 1S tudy
on the E ye Location M eth od in Driver Fatigue S tate Surveillance [J ]1Journal of H igh way and T rans portation Research and Devel 2opment ,2003,20(5):111-1141
[2] 陆其明1DirectShow 开发指南[M]1北京：清华大学出
版社,20031
LU Qi Οming 1DirectShow Developing G uide [M ]1Beijing :
Tsinghua University Press ,20031
上海电信大楼[3] TERRI LLON J C ,SHIRAZI M N ,FUK AM ACHI H ,et al 12
C om parative Per formance of Different Skin Chrominance M odels and Chrominance S paces for the Automatic Detection of Human Faces in C olor Images [C]ΠΠProceedings of the F ourth IEEE International C on ference on Automatic Face and G esture Recog 2nition 12000:54-611八三版射雕
[4] FRE UND Y,SCH APIRE R E 1A Decision Οtheoretic G enerali 2
zation of On Οline Learning and An Application to Boosting [J ]1Journal of C om puter and System Sciences ,1997,55(1):119-1391
[5] K ANADE T 1Picture Processing System by C om puter C om plex
and Recognition of Human Faces [D ]1K y oto University ,19731
[6] Y UI LLE A L ,C OHE N D S 1Feature Extraction from Faces Us 2
ing Deformable T em plates [C]ΠΠProceedings of IEEE C om put 2er S ociety C on ference on CRPR 11989:104-1091
[7] W AITE J ,VI NCE NT J 1A Probabilistic Framew ork for Neural
Netw ork Facial Feature Location [J ]1British T elecom T echn 2ology Journal ,1992,10(3):20-291
[8] LAM KM ,Y AN H 1Locating and Extracting the Eye in Human
Face Images [J ]1Pattern Recognition ,1996,29(5):771-7791
[9] PAPAGE ORGI OU C ,ORE N M ,POGGI O T 1A G eneral
Framew ork for Object Detection [C ]ΠΠIn International C on 2ference on C om puter Vision 11998:555-5621[10]
VI O LA P ,JONES M 1Rapid Object Detection Using a Boosted Cascade of S im ple Features [C]ΠΠProceedings of IEEE C on 2ference on C om puter Vision and Pattern Recognition 1Hawaii :2001:511-5181
1
31第7期 林土胜，等：基于类Haar 特征的驾驶者人眼疲劳状态的检测方法研究
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议