第26卷 第3期2009年3月
公 路 交 通 科 技
Journal of Highway and Transportation Research and Development
富士j25Vol .26 No .3 Mar .2009
文章编号:1002-0268(2009)03-0139-05
收稿日期:2008-10-19
基金项目：国家高技术研究发展计划(八六三计划)资助项目(2006AA11Z114)
作者简介：张春雨(1974-)，女，博士，副研究员，从事车载视频技术，驾驶员智能监控技术的研究.(zcy @itsc .c om ) 张春雨1
，郭克友2
，蔡 蕾1
，王 琪
1
(1.交通部公路科学研究院 智能交通关键技术交通行业重点实验室，北京 100088;
2.北京工商大学 机械自动化学院，北京 100037)
摘要：研究基于计算机视觉的视线估计方法，对驾驶员视线估计的暨有研究成果加以回顾与评述，并对可能的发展趋势进行分析。主要针对3类基于计算机视觉的方法展开论述：基于PCCR (Pupil Center Corneal Reflection )技术的视线估计方法；基于AAM 模型(Active Appearance Model )的视线估计方法；基于统计模式识别的视线估计方法。总体上讲各种技术都是基于图像传感器的，很难突破图像传感器特有的鲁棒性不强、难以适应全天候工作要求的缺点，但各种技术有着各自的特点，因此也很难用统一的标准去衡量各种监测技术的优劣。本文给出了几种有代表性系统的性能比较。 关键词：智能运输系统；智能监控；视线估计；安全辅助驾驶；疲劳监测中图分类号:U491 文献标识码:A
A Summary of Gase Estima tion Methods
ZHANG Chunyu 1
,GUO Keyou 2
,C AI Lei 1
,W ANG Qi
1
(1.Research Institute of High way ,Ministry of Communications ,Beijing 100088,China ;
2.School of Mechanical Engineering and Automation ,Beijing Technology and Bus iness University ,Beijin g 100088,China )
Abstract :The latest researches of gaze estimation methods based on computer vision was revie wed and the potential development in this area was analyzed .Three kinds of gaze estimation methods based on computer vision were
discussed :methods based on Pupil Center Corneal Reflection (PCCR ),methods based on Active Ap
pearance Model (AAM )and methods based on statistical pattern rec ognition .Although all the methods mentioned above are based on image sensor which is difficult to overcome the shortcomings of lacking of robustness and unfit for the all -weather working c onditions ,these methods have their own characteristics ,so it is difficult to weigh up the superiority and inferiority of these methods by a unified criterion .Comparison of the performance of current gaze estimation systems was given .
Key words :ITS ;intelligent super vision and control ;gaze estimation ;driving assistant of vehicle safety ;fatigue detection 0 引言
据世界卫生组织和世界银行2004年发布的《全球道路交通伤害预防报告》指出：每年全球交通事故死亡人数从1990年的约99万上升到2002年的近120万，其中驾驶员疲劳驾驶位居超速行驶和酒后驾车之
后，成为交通事故致因的第3大风险因素。为降低交通事故的发生，对驾驶员的疲劳或注意力分散状态进
行智能监测是有效的控制手段之一，即利用传感器系统和智能控制系统判断驾驶员是否处在疲劳或注意力分散状态，以便及时对驾驶员进行有效警示或对车辆进行有效的制动控制。目前，随着国家与社会对交通
的重视力度不断加大，此研究方向已逐渐成为安全辅助驾驶领域内的技术攻关热点。对于驾驶员疲劳状态的监测技术大多数基于驾驶员眼睑闭合程度，通过计算PERCLOS指标(单位时间内眼睛闭合时间所占的百分率)来评价驾驶员的疲劳等级，并给出相对应的警示级别。对于驾驶员注意力分散状态的判断，则集中在对驾驶员视线变化规律的研究上。视线被定义为眼睛的视线方向，它表明了人的注意力方向。由于驾驶员视线预测技术在辅助驾驶系统、驾驶员智能监控系统和汽车的主动安全等许多方面都有着重要应用，因此早在20世纪中期就受到很多学者的广泛关注[2]，并不断发展成为新兴的研究热点。
1 视线估计技术研究现状
目前已有的视线方向监测方法从实现手段上可分为接触式和非接触式2个大类[3]。在接触式系统中，由于需要在使用者身上安装介质，可能会对使用者造成某些物理伤害，同时在实际应用中也会对使用者的活动造成一定限制，因此目前研究较多的大都是非接触式监测系统。
从视线估计原理上讲，视线追踪系统可分为压电式视线估计系统、磁场式视线估计系统及光学式视线估计系统。压电式视线估计系统是利用眼压的变化来检测眼球活动方向，检测方式主要是利用贴在眼睛周围的压电传感器，将眼压转换成电信号，再将所得电信号加以处理判读。磁场式视线估计系统与压电式视线估计系统类似，在眼球四周形成磁场，用以判断眼睛的活动状态。
压电式和磁场式视线估计系统因为利用电流或磁场进行检测，而电场或磁场容易受人体及其他因素的影响，估计结果准确率低。光学式视线估计系统主要以数字视频图像为分析介质，运用图像处理和模式识别的方法，提取图像脸部和眼部的特征点，确定相关参数以估计视线。由于不需要在用户身上安装其他介质，并且随着视频技术和计算机技术的发展，目前基于视频分析的非入侵式视线估计方法正逐渐成为主流。
2 基于计算机视觉的视线估计技术研究现状
目前，基于计算机视觉的视线估计方法有很多，主要有以下3类方法：利用图像处理技术的基于PC-CR技术的视线估计方法，根据基于AAM模型的头部姿态估计方法中延伸而来的视线估计方法以及基于统计模式识别技术的视线估计方法。2.1 基于PCC R技术的视线估计方法
基于PCCR技术的视线估计方法[4-8]主要通过跟踪虹膜或者瞳孔的相对位置以及头部数学模型确定的参数来共同估计视线。此类系统监测的准确性可以通过外加红外光源增强，主要是利用辅助光源在眼睛图像中产生较亮的反射点(bright glint)，作为标示点进行标定，进而有利于图像处理，效果如图1所示。通常，在头部位置固定的前提下，在物体距离屏幕550 mm，且屏幕上的映像不小于10mm时，大多数系统都能够达到平均估计误差小于1°的准确率。但如果头部位置偏离原始摄像机标定的位置，那么视线估计的准确率将会大幅度下降[6]
。
图1 有光源反射点的单眼图像
Fig.1 Eye image with corneal reflection(or glint)
大多数基于PCCR技术[9-11]的视线估计方法有2个主要不足，首先是需要摄像机系统的校正，以确定一些依赖于用户的参数；其次，对头部转动角度有一定的限制，不能有明显的转动。近年来由于3维视线估计技术的产生，对上述限制有了一定的松动[5,9]，但仍然没有从根本上解决问题，这也是制约这种方法在实际中应用的原因。目前解决头部转动限制问题的常规方法有2种，一种是当头部运动时，
重新做摄像机标定，但在实时视线跟踪系统中，这个方案很难实现[12]；另一种是限定头部只能做微小的运动，但这样的限定明显不利于该技术手段的实际应用。
基于PCCR的方法进行视线估计，在确定虹膜或者瞳孔的相对位置后，确定视线有2类方法，一是根据头部姿态的计算，得到头部转动的3维数据，而后进行视线估计；另一类是不求头部姿态，直接利用3维的圆锥模型求取视线。
2.2 基于AA M模型的视线估计方法
AAM和ASM(Active Shape Model)模型是人脸配准方法中的经典主流方法[13-14]，目前在计算机视觉领域里吸引了广大研究人员的注意。
AAM采用形状的点分布模型(Point Distribution Model，简称PDM)。其思想最早可以追溯到1987年KASS等人提出的SNAKE方法，主要用于边界检测与图像分割。该方法用一条由N个控制点组成的连续
140
公 路 交 通 科 技 第26卷
闭合曲线作为Snake 模型，再用一个能量函数作为匹配度的评价函数，首先将模型设定在目标对象预估位置的周围，再通过不断迭代使能量函数最小化，当内外能量达到平衡时即得到目标对象的边界与特征。
1995年COOTE S 等人提出的ASM 是AAM 的直接前身，采用参数化的采样形状构成对象形状模型，并利用PCA 方法建立描述形状的控制点运动模型，最后利用一组参数控制形状控制点的位置变化从而逼近当前对象的形状。该方法只单纯利用对象的形状，因此准确率不高。1998年,C OOTE S 等人在ASM 算法的基础上首先提出AAM ，与ASM 的不同之处是将局部纹理匹配和全局形状子空间约束融合起来，通过局部搜索和全局形状约束的交替迭代，优化外观模型的参数实现特征配准，最终目标是期望合成的图像纹理能够最佳的匹配输入图像纹理。
由于ASM 和AAM 本身具有迭代优化过程，不可
避免导致算法具有较高的复杂度且易于陷入局部极小，同时AAM 对外轮廓的定位依赖于训练集合中图像外观的变化情况，推广能力有限。基于这些算法上的缺陷，在传统的ASM 、AAM 基础上，很多研究人员对此进行了扩展，提出了更加实用、鲁棒的统计模型或改进策略。文献[15]中提出了基于不同视角视图(View )的主动外观模型方法，通过若干不同视角外观统计模型来覆盖较大范围的视角变化，这些模型还可用于在大的视角变化下估计头部方向，进而跟踪人脸。
CMU (Carnegie Mellon University )和Denso 利用AAM 模型进行视线估计，取得了一定进展，可以准确地对驾驶员的视线进行估计，并进行实时跟踪，如图2所示。同时CMU 还进行了进一步的研究，如研
究在遮挡的情况下AAM 的跟踪变化情况[16-17]
，并进一步利用AAM 研究人的表情变化
[18-19]
。
图2 (a )～(c )为车外移动目标(圆圈内为移动目标),(d )～(f )为利用AA M 模型进行的视线估计Fig .2 (a )～(c )are vehicle exterior moving target (in the circle ),(d )～(f )are gaze estimation by AAM method
2.3 基于统计模式识别的视线估计方法
随着统计模式识别理论的发展，有一些研究者尝试采用统计模式识别方法进行视线估计。与传统的使用眼部几何特征确定瞳孔轮廓和眼角位置的方法不同，基于统计模式识别的视线估计方法利用基于直接表征(Appearance -based Method )的方法来实现视线估计，即直接利用不同视线方向的眼睛图像做训练样本，从而估计未知视线方向图像的视线方向。现有试验表明，直接表征法可以很好地进行视线估计，基本可以达到基于PCCR 方法达到的精度。
Tan 等
[20]
将眼睛图像看成是高维空间的一个点,
使用样本的稀疏表征和样本子集的线性插值，从而利用邻域空间的方法到与待测图像视线最相近的已知视线图像。估计的视线结果与实际的视线平均偏差为0.38°。
文献[10,21-22]的作者都使用了人工神经网络方法，将人眼图像(注视某些特定方向的点的图像)以及特定点的坐标(特定点设置在人前方)作为神经元输入的训练样本，将未知视线方向的人眼样本作为测试样本。文献[21]使用了2000个样本，在
141
第3期 张春雨，等：驾驶员视线估计方法综述
允许头部有轻微运动的情况下，得到了1.5°的精确度。文献[22]使用了3000个样本，也得到了1.5°的精确度。但文献[2-3]指出，基于人工神经网络的方法对于光线条件和使用者都十分敏感。
同时也有研究者尝试利用其他的统计模式识别的经典方法进行视线估计，如文献[24]使用支持向量机，在没有对摄像机做标定的情况下，得到了平均误差2.34°的精确度。
3 现有系统优缺点比较
现有技术手段多种多样，实现机理也不尽相同，总体上各种技术都是基于图像传感器，因此很难突破
图像传感器特有的鲁棒性不强、难以适应全天候工作要求的缺点。但各种技术有着各自的特点，因此也很难用统一的标准去衡量各种监测技术的优劣，表1给出了几种有代表性系统的性能比较,
表1 现有视线估计系统的性能比较
Tab.1 Comparison of current gaze estimation systems 系统准确度(°)是否需要训练是否使用标定
Ohno-Mukawa[26]1否是Hennessey[27]0.46否是Takahiro Ishikawa[25]3.2否是
Tan-Krieg.-Ahuj a[20]0.38否是
Baluja-Pomerkeau[21]1.5是是
Basilio Noris08[24]2.34是否
4 展望
虽然目前对基于视频处理技术的视线估计的研究取得了一定的进展，但跟人们的期望相比，仍然存在很大的差距，并不能完全满足实际应用的需要。究其原因，主要是存在以下几个方面的困难或挑战:
(1)光照差异(Illumination Variation)
驾驶员监控系统所应用的环境受光照变化影响较大，有些时候还要在夜间工作，这就需要添加特殊辅助光源，要求算法对光照条件的鲁棒性强，并且不受驾驶员姿态的影响，这些都加大了视线估计的难度。
(2)遮挡问题(Occlusion)
驾驶员脸部某些部位有可能会被头发，眼镜和帽子等物体遮挡，给人脸区域和眼睛区域的定位带来难度。另外，虹膜和瞳孔时常被上下眼睑部分覆盖，给虹膜和瞳孔的精确定位检测带来困难。
(3)图像分辨率(Image resolution)
由于在驾驶员的视频监测视野中，眼睛的宽度所占的像素数只有几十个像素，虹膜区域大概只有几个到十几个的像素[17]，因此很难可靠地检测到连续的虹膜轮廓以及精确确定眼角位置，导致视线方向的估计结果有所偏差。
在实际应用中，需要能够追踪多用户视线，可以适应带有轻微遮挡的头部和身体可以自由运动的系统，而目前现有系统大多在使用前需要做摄像机的标定，而且在使用时需要使用者的配合，如限定使用者头部的运动或者只允许头部的缓慢运动。另外，现有系统的高价格也是一定程度上限制视线估计系统推广的原因之一。
在今后一段时间内，视线估计研究应该会呈现出以下几个主要趋势:
(1)由于分辨率的限制，眼部区域在整幅图像中所占比例很小，因此很难精确检测虹膜或者瞳孔轮廓，因此针对低分辨率图像的视线估计问题，是未来发展的一个重要趋势。
(2)目前很少有文献指出视线和固定模式之间的交互，也就是人和环境的关系。今后驾驶员视线估计将与驾驶员行为信息(如方向盘转向、握力等数据)、道路环境信息(如前后方驶近的车辆等数据)结合起来，即将车内对驾驶员的监控和车外对环境状态的监控结合成一体，形成真正的人车路一体化交互意义上的智能车辆概念。
参考文献:
References:
[1] GERRY E.Warning System for Fatigued Drivers Nearing Reali-
ty with New Eye Data[J].Science Daily Magazine,1999
(7):25-30.
[2] WANG Jiangang,SUNG E,VENKATE SWARLU R.Estim-
ating the Eye Gaze from One Eye[J].Computer Vis ion and
Image Understanding,2005,98(1):83-103.
[3] Driver Alert Systems Inc.Fatigue Facts[EB OL].http:∥
[4] LC Techn ologies Inc.The Eye Gaze Develop ment System[EB
公共基础设施OL].aze,
[5] ZHU Zhiwei,JI Qiang.Eye and Gaze Tracking for Interactive
Graphic Display[J].Journal of Machine Vision and Applica-
tions,2004,15(3):139-148.
[6] MORIMOTO C H,M IMICA M R M.E ye Gaze Tracking Tech-
niques for Interactive Applications[J].Journal of Computer
Vision and Image Understandin g Special Issue on Eye Detection
and Tracking,2005,98(1):4-24.
[7] EBISAWA Y,OHTANI M,SUGIOKA A.Proposal of a Zoom
and Focus Control Method Usin g an Ultrasonic Distance-meter
for Video-based Eye-gaze Detection under Free-hand Condi-
tion.[C]Proceedings of the18th Annual International
142
公 路 交 通 科 技 第26卷
Conference of the IEEE Engineering in Medicine and Biology
Society.1996,2(31):523-525.
[8] MORIMOTO C H,KOONS D,al.Frame-rate Pu-
pil Detector and Gaze Tracker[C]IEEE International Con-
ference on Computer Vision on Frame-rate Workshop.1999. [9] XIA Dongsheng,RUAN Zongcai.IR Image Based E ye Gaze
Estimation.[C]8th International Conference on Software
Engineerin g,Artificial Intelligence,Net workin g,and Paral-
lel Distributed Computin g.2007,8(1):220-224.
[10]STIEFELHAGE N R,YANG Jie.Gaze Tracking for Multimodal
Human-computer Interaction.[C]Proceedings of IEEE In-
ternational Conference on Acoustics,Speech,and Signal Pro-
cessin g.1997,4:2617-2620.
[11]ZHU Zhiwei,JI Qiang.Eye Gaze Tracking under Natural Head
Movements.[C]Proceedings of the IEEE Computer Society
Conference on Computer Vision and Pattern Recognition.2005,
1:918-923
[12]J ACOB R.J.K.E ye-movement-based Human-computer Interac-
tion Techniques:Towards non-command Interfaces[M].No-
rwood:Ablex Publis hing Corporation.1993.
[13]C OOTES T F,TAYLOR C J,COOPER D,et al.Active
Shape Models:Their Training and Applications[J].Compu-
ter Vis ion and Image Understanding,1995,61(1):38-
59.
[14]C OOTES T F,EDWARDS G J,TAYLOR C J.Active Appear-
苯酚硫酸法ance Models[C]Proceedings of the European Conference of
Computer Vision.London:Springer-Verlag,1998,2:484-
498.
[15]COOTES T F,WHEELER G V,WALKER K N,et al.View-
Based Active Appearance Models[C]Proceedings of the4th
IEEE International Conference on Automatic Face and Gesture
Recognition.Washington:IEEE Computer Society,2000:
227-238.
[16]THE OBALD B,MATTHEWS I,B AKER S.Evaluatin g Error
Functions for Robust Active Appearance Models[C]Pro-
ceedings of the International Conference on Automatic Face and
Gesture Recognition.2006,4:149-154.
[17]WU Haiyuan,C HE N Qian,WADA T.Visual Line Estimation具体符合说
from a Single Image of Two Eyes[C]Proceedings of the
17th International Conference on Pattern Recognition.2004,4:
290-293.
[18]DE LA TORRE F,CAMPOY J,AMBADAR Z,et al.Te-
mporal Segmentation of Facial Behavior.[C]International
Conference on Computer Vision.2007.
[19]DE LA TORRE F,CAMPOY J,AMBADAR Z,et al.Si mu-
郭志辰ltaneous Registration and Clustering for Temporal Segmentation
of Facial Gestures from Video[C]2nd International Confer-
ence on Computer Vision Theory and Applications.2007. [20]TAN K H,KRIEGMAN D J,AHUHA N.Appearance Based
Eye Gaze Estimation[C]Proceedings of the IEEE Work-
shop on Applications of Computer Vision.2002:191-195. [21]B ALUJ S,PPMERLE AU D.Non-intrusive Gaze Tracking Usin g
Artificial Neural Net works[D].School of Computer Science,
C MU,C MU Pittsburgh,1994.
[22]XU Liqun,MACHIN D,SHEPPARD P.A Novel Approach to
Real-time Non-intrus ive Gaze Finding[C]British Machine
Vision Conference.1998.
[23]KAWATO S,S HINJIRO S.Gaze Direction Estimation with a
Single Camera Based on Four Reference Points and Three Cali-
bration Images[C]As ian Conference on Computer Vi-
芥川龙之介河童sion.2006:419-428.
[24]NORIS B,BENMACHICHE K,BILLARD A.Calibaration-
Free Eye Gaze Direction Detection with Gauss ian Process
[C]IEEE Computer Society Conference on Computer Vision
and Pattern Recognition.2008.
[25]ISHIKAWA T,BAKER S,MATTHEWSET I.Passive Driver
Gaze Tracking with Active Appearance Models[D].The Ro-
botics Institute Carnegie Mellon University,2004.
[26]OHNO T,MUKAWA N.A Free-head,Simple Calibration,
Gaze Tracking System that Enables Gaze-based Interaction
[C]Proceed ings of the Sympos iu m on E ye Tracking Re-
search&Applications.New York,USA:AC M,2004:115
-
122.
[27]HENNESSEY C,NOUREDDIN B,LAWREBCE P.A Single
Camera Eye-gaze Tracking System with Free Head Motion
[C]Proceed ings of the Sympos iu m on E ye Tracking Re-
search&Applications.New York,USA:AC M,2006:87-
94.
143
第3期 张春雨，等：驾驶员视线估计方法综述
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议