第２５卷第４期增刊仪器仪表学报２００４年８月人机交互中基于眼动仪的输入技术研究 郭北苑方卫宁
（北京交通大学机械与电子控制工程学院北京１０００４４）
摘要讨论一种使用眼动仪实现人机交互中光标移动与定位的方法。通过对眼动仪输出视频的图像处理，得到注视点以及计算机显示器在视场中的位置坐标，并计算出注视点在显示器中的相对位置，由此实现了人机交互中光标的移动与定位。由于考虑了注视点与显示器的相对位置关系，该方法可以实现测试者头部任意活动状态下的交互输入。
ＩｎｐｕｔＴｅｃｈｎｉｑｕｅＢａｓｅｄｏｎＥｙｅｍａｒｋｉｎＨｕｍａｎ—ｃｏｍｐｕｔｅｒＩｎｔｅｒａｃｔｉｏｎ
ＧｕｏＢｅｉｙｕａｎＦａｎｇＷｅｉｎｉｎｇ（ＣｏｌｌｅｇｅｏｆＭｅｃｈａｎｉｃａｌａｎｄＥｌｅｃｔｒｉｃＣｏｎｔｒｏｌＥｎｇｉｎｅｅｒｉｎｇ，ＢｅｉｊｉｎｇＪｉａｏｔｏｎｇＵｎｉｖｅｒｓｉｔｙ，Ｂｅｉｊｉｎｇ１０００４４，Ｃｈｉｎａ）
ＡｂｓｔｒａｃｔＡｍｅｔｈｏｄｏｎｃｕｒｓｏｒｍｏｖｅｍｅｎｔｓａｎｄｏｒｉｅｎｔａｔｉｏｎｓｕｓｉｎｇＥｙｅｍａｒｋｉｎｈｕｍａｎ—·ｃｏｍｐｕｔｅｒｉｎｔｅｒａｃｔｉｏｎｉｓｄｉｓ—．ｃｕｓｓｅｄ．ＢａｓｅｄｏｎｔｈｅｉｍａｇｅｐｒｏｃｅｓｓｏｆＥｙｅｍａｒｋ’Ｓｏｕｔｐｕｔｖｉｄｅｏ，ｔｈｅｐｏｓｉｔｉｏｎｓｏｆｇａｚｉｎｇｐｏｉｎｔｓａｎｄｃｏｍｐｕｔｅｒｍｏｎｉ—ｔｏｒｉｎｓｃｅｎｅｓａｒｅｆｏｕｎｄ，ａｎｄｔｈｅｃｏｏｒｄｉｎａｔｅｓｏｆｇａｚｉｎｇｐｏｉｎｔｓｒｅｌａｔｉｖｅｔＯｃｏｍｐｕｔｅｒｍｏｎｉｔｏｒａｒｅｃｏｍｐｕｔｅｄ．Ｃｕｒｓｏｒｍｏｖｅｍｅｎｔｓａｎｄｏｒｉｅｎｔａｔｉｏｎｓｉｎｈｕｍａｎ—ｃｏｍｐｕｔｅｒｉｎｔｅｒａｃｔｉｏｎｃａｎｂｅｆｏｒｍｅｄｕｓｉｎｇｔｈｅｓｅｖａｌｕｅｓ．Ｓｉｎｃｅｔｈｅｒｅｌａｔｉｖｅｐｏｓｉｔｉｏｎｓｏｆｇａｚｉｎｇｐｏｉｎｔｓａｎｄｃｏｍｐｕｔｅｒｍｏｎｉｔｏｒａｒｅｃｏｎｓｉｄｅｒｅｄ，ｔｈｉｓｍｅｔｈｏｄｃａｎｂｅｕｓｅｄｉｎｉｎｔｅｒａｃｔｉｏｎｉｎｐｕｔｕｎｄｅｒａｎｙｍｏｖｅｍｅｎｔｓｔａｔｅｏｆｓｕｂｊｅｃｔ’Ｓｈｅａｄ．
ＫｅｙｗｏｒｄｓＨｕｍａｎ—ｃｏｍｐｕｔｅｒｉｎｔｅｒａｃｔｉｏｎＥｙｅｔｒａｃｋｉｎｇＩｍａｇｅｐｒｏｃｅｓｓＥｙｅｍａｒｋ
１引‘言
随着计算机在各领域的广泛应用，对人机界面的要求亦日益提高，新一代的人机界面更加强调以人为本的设计原则，综合应用视觉、听觉、触觉、嗅觉、味觉的多通道人机交互技术成为最新发展方向。在输入技术方面，基于视觉的人机交互技术虽不成熟，但由于其直接性、自然性与双向性受到人们的普遍重视，成为研究的热点口，。基于视觉的人机交互技术有多种技术路线，ＨｕｔｃｈｉｎｓｏｎＴ．Ｅ．、尹海荣等使用红外摄像机获取眼球的转动信息，从而实现视线跟踪∞‘３１；ＢａｒａｔｔｅｌｌｉＳ．使用Ｓｅｎｓ０１＇ｎｏｔｏｒｉｃＩｎｓｔｒｕｍｅｔｓ公司的Ｅｙｅｌｉｎｋ系统开发了一套结合视觉跟踪、自然语言、手势、头部运动的多通道交互系统ｎ］；ＭｉｙｏｓｈｉＴ．利用眼动仪实现了头部固定情况下的视觉输入口１。
＊铁道部科技发展计划（２０００Ｊ０４３）基金项目。
本文讨论一种使用眼动仪实现人机交互中光标移动与定位的方法。通过对眼动仪输出视频的图像处理，得到注视点以及计算机显示器在视场中的位置，由此计算出注视点相对于显示器的坐标，并使用该坐标值实现人机交互中光标的移动与定位。与现有的方法相比，本方法可在输入者头部任意活动的情况下实现对光标的控制。
２系统概述
２．１眼动仪原理
眼睛是人体的重要感觉器官，它是人体最主要的输入通道，眼睛的运动是人操作、控制及判断的重要代表。因此，了解人们如何利用视觉来获取信息就显得至关重要，通过测量人的眼注视点来实现人的视觉注意力分配测试，是探索人体如何从视觉获取信息提供一
万方数据
仪器仪表学报第２５卷
种重要的手段。眼动仪便是实现上述功能的实验设备。眼动仪由头盔以及控制单元、处理单元组成，通过检测并提取眼睛的位置信息来达到记录视觉运动过程的目的，其工作流程如图１所示。眼动仪头盔上设置有两个摄像机，一个为瞳孔摄像机，这是一部红外摄像机，它在红外光源的辅助下，得到眼睛的视频图像，该图像经数字化及瞳孔中心检测后与另一个普通摄像机得到的视场视频信号一起送入控制单元进行注视点的标定及视场匹配。匹配完毕的结果以视频方式输出，可以通过录像机记录到磁带上供日后分析之用，或直接通过处理单元进行实时的分析。 圃蜃
图１眼动仪工作缘理
２．２基于眼动仪的人机交互方案
基于眼动仪的人机交互方案有多种，一种可以使用眼动仪的处理单元直接输出的眼注视点的坐标数据进入输入的驱动，然而，该方案采用的注视点坐标为相对与视场图像的坐标，为了得到相对与显示器的坐标，要求固定头部不动Ｂ３，而且眼动仪处理单元输出数据的协议格式由生产厂家控制，并非人人都能取用，因此该方案具有一定的局限性。本文通过直接对经过标定的视场图像进行处理，并由此得到所需光标驱动信息，实现了一个新的眼动仪支持下的人机交互方案。方案的系统工作流程如图２所示。
图２基于眼动仪的人机交互方案
系统由三部分组成，分别为眼动仪、视频采集与数据处理子系统和光标驱动子系统。分别完成眼注视点标定及视场匹配、图像采集、图像处理、光标坐标计算以及光标驱动等功能。考虑到图像处理占用较多的系统资源，因此设计了利用ＴＣＰ／ＩＰ协议族中的ＵＤＰ协议进行坐标数据传输的坐标服务器／客户机方案，这样视频采集与数据处理子系统以及光标驱动子系统可根据硬件条件分别运行在两台物理机上，通过以太网实现相互间的通讯。当单机的硬件满足要求时，基于服务器／客户机体系结构的方案亦可使视频采集与数据处理子系统和光标驱动子系统方便地运行于同一部物理机Ｅ。
３光标位置的判定
通过采集卡采集进入计算机的图像需要进行两方面的图像处理工作，以分别对注视点及显示器进行定
位，然后再计算出光标的位置。大数据广告
３．１注视点的定位
经眼动仪标定后得到的视场图像Ｇ如图３所示。注视点使用一个７×７像素标志图形Ｔ如图４所示进行标定。因此，采用模板匹配算法对注视点进行定位。
图３眼动仪输出的视频图像
回
图４注视点标志图形
将模板Ｔ叠放在视场图像Ｇ上，在
ｆ１≤ｉ≤ｗ一７ｗ为视场图像宽度…
ｌ１≤ｊ≤Ｈ一７Ｈ为视场图像高度
范围内移动，通过下式：
Ｅ（ｉ，ｊ）一∑∑ＩＧ，，（ｍ，ｎ）一Ｔ（ｍ，ｎ）１（２）求得Ｔ与被Ｔ当前覆盖的Ｇ的子图Ｇｉ，的误差，Ｅ（ｉ，ｊ）最小值处即为匹配目标， （ｉ＋３，ｊ＋３）（３）即为求得的注视点位置。
为了提高匹配的速度，可采用二次匹配算法，第一次匹配是粗略匹配，取模板的隔行隔列数据，即四分之一的模板数据，在视场图像上进行隔行隔列的扫描匹
显篁
是 万方数据
第４期增刊人机交互中基于眼动仪的输入技术研究５７
配，第二此匹配再在第一次误差最小点的领域内进行精确的匹配。同时，为了提高Ｔ与Ｇ。匹配的计算速度，取一个误差阈值Ｅ。，当计算过程中Ｅ。，，＞Ｅ。时，就停止该点的计算。
３．２显示器的定位
为了求得显示器的位置信息，可采用在显示器的四角边缘或软件窗口四角加上标志的方法，这样只要采用与注视点定位相同的方法就能获取所需的显示器位置。在原型系统的开发中，采用的是在软件窗口的四角使用红（根据周围环境的颜情况亦可选用三原中的绿或蓝）块的方法，该方法只需对采集到的图像的红通道（或绿、蓝通道）进行简单的灰度值的比较就能得到显示器图形窗口的四个角的坐标。
３．３注视点相对位置判定
求得显示器四个角坐标以及注视点坐标后，就可以计算得到注视点相对位置坐标，该坐标值经与视场图像中显示器边长比较归一化处理后即可通过坐标服务器发送给客户机用于光标的驱动。值得注意的是注视点可能会落在显示器以外的区域，此时光标应停留在显示界面相应的边界上。
４系统实现
塑料单向阀应用以上方法，我们基于日本ＮＡＣ公司的ＥＭＫ７型眼动仪开发了一套实现光标定位与移动的原型
超前支架
系统，系统由两台奔腾４型微机、ＭａｔｒｏｘＣｏｒｏｎａ／８／Ｅ图像采集卡以及自行开发的图像处理及数据处理、通讯以及光标驱动软件组成，在原型系统中，光标数据的更新速率可以达到５Ｈｚ，满足最低限度的实时性要求。
５结束语
本文讨论的基于眼动仪的人机交互技术，对使用眼动仪作为输入装置时头部任意活动情况下的光标定位与移动作了初步研究，提出的实现方案经原型系统验证切实可行。然而，该方法的研究还处于探索阶段，要开发实用的系统还要解决许多问题。这些问题归纳起来有以下几点：
（１）对注视点位置判定的时间要求，开发速度更快的图像处理与识别算法，达到更高的刷新率。
（２）由于视场摄像机导致的显示器图像的梯形失真、鼓形失真、透视以及鱼眼变形的校正问题。
（３）由于头部的大范围运动而导致的显示器没有完全落在视场图像中引发的显示器定位问题。
（４）由于视场图像大小限制所导致的光标控制精度问题。
参考文献
水密电缆１方志刚．人机交互中的视线跟踪技术［Ｊ］．人类工效学，２０００，６（１）：４３～４５．
２ＨｕｔｃｈｉｎｓｏｎＴ．Ｅ．，ＷｈｉｔｅＫ．Ｐ．Ｊｒ．，ＭａｒｔｉｎＷ．Ｎ．，ｅｔａ１．．Ｈｕｍａｎ—ｃｏｍｐｕｔｅｒｉｎｔｅｒａｃｔｉｏｎｕｓｉｎｇｅｙｅ—ｇａｚｅｉｎｐｕｔＥＪ］．Ｓｙｓｔｅｍｓ，ＭａｎａｎｄＣｙｂｅｒｎｅｔｉｃｓ，１９８９，１９（６）：１５２７～１５３４．
３尹海荣，屠大维．基于红外电视法的眼睛盯视人机交互技术［Ｊ］．红外技术，２００２，２４（４）：１～３．
４ＢａｒａｔｔｅｌｌｉＳ．，ＳｉｃｈｅｌｓｃｈｍｉｄｔＬ．，ＲｉｃｋｈｅｉｔＧ．．Ｅｙｅ—ｍｏｖｅｍｅｎｔｓａｎｉｎｐｕｔｉｎｈｕｍａｎｃｏｍｐｕｔｅｒｉｎｔｅｒａｃｔｉｏｎ：ｅｘｐｌｏｉｔｉｎｇｎａｔｕｒａｌｂｅｈａｖｉｏｕｒ［Ａ］．ＩｎｄｕｓｔｒｉａｌＥｌｅｃｔｒｏｎｉｃｓＳｏｃｉｅｔｙ，１９９８．ＩＥＣＯＮ９８．Ｐｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅ２４ｔｈＡｎ—ｎｕａｌＣｏｎｆｅｒｅｎｃｅｏｆｔｈｅＩＥＥＥ［Ｃ］，１９９８，４（８）：２０００～２００５．
５ＭｉｙｏｓｈｉＴ．，ＭｕｒａｔａＡ．．Ｉｎｐｕｔｄｅｖｉｃｅｕｓｉｎｇｅｙｅｔｒａｃｋｅｒｉｎｈｕｍａｎ—ｃｏｍｐｕｔｅｒｉｎｔｅｒａｃｔｉｏｎ［Ａ］．ＲｏｂｏｔａｎｄＨｕｍａｎＩｎｔｅｒａｃｔｉｖｅＣｏｍｍｕｎｉｃａｔｉｏｎＰｒｏｃｅｅｄｉｎｇｓ［Ｃ］，２００１，９：５８０～５８５．
万方数据
人机交互中基于眼动仪的输入技术研究
作者：郭北苑， 方卫宁
作者单位：北京交通大学机械与电子控制工程学院，北京,100044
刊名：
仪器仪表学报
英文刊名：CHINESE JOURNAL OF SCIENTIFIC INSTRUMENT
年，卷(期)：2004，25(z1)
被引用次数：3次
1.方志刚人机交互中的视线跟踪技术[期刊论文]-人类工效学 2000(01)
2.Hutchinson T E.White K P Jr.Martin W N Human-computer interaction using eye-gaze input 1989
3.尹海荣.屠大维基于红外电视法的眼睛盯视人机交互技术[期刊论文]-红外技术 2002(04)
4.Barattelli S.Sichelsehmidt L.Rickheit G Eyemovements as an input in human computer
interaction:exploiting natural behaviour 1998
5.Miyoshi T.Murata A Input device using eye tracker in human-computer interaction 2001
1.学位论文单彩峰用于人机交互的视觉手势识别2004
基于视觉的手势识别，是让计算机能够像人那样看见并理解人的手势；它在人机交互、虚拟现实、手语理解、远程控制等领域中有着广泛而重要的应用.以智能轮椅作为研究平台，该文对视觉手势识别在人机交互中的应用做了深入的研究，包括手的特征选取、手势跟踪、静态手势识别、动态手势理解等方面的内容.该文的主要工作和贡献有:①提出了一种改进的粒子滤波算法-结合均值漂移的粒子滤波MS
EPF.通过在粒子滤波中加入均值漂移步骤,MSEPF实现了更为有效的采样策略，提高了粒子集中的有效粒子数，在一定程度上避免了传统粒子滤波的采样恶化和采样枯竭问题；同时,MSEPF不需要大量粒子来维持后验概率的多峰分布，节约了所需粒子数，提高了计算效率.②使用MSEPF实现了智能轮椅人机交互场景下的实时手势跟踪.得益于粒子漂移,MSEPF使用了简单但有效的弱动态模型.我们首先选用肤对手建模，并且考虑到动态场景中光照变化会带来肤改变，在跟踪过程中自适应更新肤模型.为了克服背景中存在的肤干扰，我们提出了融合肤和运动信息的观测模型.MSEPF中的粒子漂移也是基于肤和运动信息进行.③基于方向直方图思想，提出使用手轮廓方向直方图来识别静态手势.在借助手势跟踪算法定位图像中手的位置后，我们根据肤分割出手的轮廓；然后计算手轮廓方向直方图，通过与事先训练好的模型匹配来识别手势.④通过在时序模板中引入时空轨迹，提出了时序模板轨迹概念，将从运动序列中跟踪得到的手势运动轨迹压缩到单幅图像中.我们设计了一种两层分类器，通过时序模板轨迹的形状和运动方向分析，实现对预先定义的七种动态手势的识别.实验表明，时序模板轨迹优于一般的时序模板，对动态手势具有更好的可分性；且实现简单，不需要复杂的训练.⑤在上述研究的基础上，设计并实现了智能轮椅基于视觉手势识别的外部控制接口，作为轮椅多模态感知接口的一个重要组成部分.该实时手势控制接口在实际中工作良好.
2.学位论文王超基于LPM特征与级联SVR的视线跟踪系统研究2008
多媒体人机交互技术是多媒体技术和人机交互技术的结合，其主要内容是信息表示的多样化和如何通
过多种输入输出设备与计算机进行交互。它包括基于视线跟踪、语音识别、手势输入等各种新的交互技术。而视线跟踪与视线输入作为这个领域中新兴的技术，成为近年来人机交互领域中倍受关注的前沿方向。围绕着视线跟踪与视线输入这个主题，本文主要探讨了人眼视觉跟踪理论与基于视线输入的人机系统等相关问题。
首先，本文简要论述了人机交互技术和计算机视觉理论的发展历程，并扼要介绍视线跟踪技术的现有基本原理和方法，总结其研究现状和进展。同时介绍本文的研究背景和研究内容。
其次，不同于主动红外源照射下基于角膜反射—瞳孔中心(PCCR)的理论，提出了一种基于人眼“特征”的视线跟踪系统。具体来说是将眼睛的空间坐标与眼睛图像的LPM特征相结合作为视线判别的特征，通过级联支持向量回归的算法(级联SVR)预测视线方向与屏幕坐标的映射关系，实现了人在与计算机进行交互过程中头部自然运动情况下的视线跟踪。
用眼睛图像LPM特征来表示眼睛视线的信息，是对经典的基于红外线眼睛图像的瞳孔中心反射点向量方法的一种改进。传统的瞳孔中心反射点向量的算法，在计算瞳孔中心时通常需要边缘形状检测，然后确定中心位置，由于瞳孔的形状随着眼睛运动会产生变化，而且瞳孔的边缘经常会出现模糊现象影响瞳孔中心的检测结果，同时反射点过大也会使检测的反射点位置发生偏移，所以在计算瞳孔中心反射点向量时经常会出现误差，影响实验效果。利用LPM特征不仅能够表现瞳孔中心反射点向量所代表
的方向信息，而且还能体现视线方向变化时眼睛的纹理变化。经过大量的实验表明，本文使用的跟踪方法与经典的跟踪算法相比有明显的改善，视线跟踪达到了很好的效果。
3.会议论文吕玉生.赵杰煜具有视觉跟踪的中英文语音动画系统2008
本文给出了一个具有视觉跟踪的中英文语音动画系统的实现过程.该文介绍了该系统的设计过程以及所需的技术，包括可视音素、三维人头模型的制作与显示、语音与动画的同步、动画的平滑自然的过渡、眼睛的跟踪与随机眨眼、与外部程序接口的设计等.该语音动画系统具有人脸表情真实自然等特点，在普通PC机上能够产生高质量的语音动画.
4.学位论文陈冬艳基于红外LED的实时视觉跟踪若干关键技术研究2007
视觉跟踪是虚拟现实、人机交互、视觉监控等领域内的关键技术，具有巨大的应用前景。由于存在遮挡、图像处理复杂等特点，视觉跟踪的实时性一直难以提高，实时性是目前视觉跟踪技术研究的重点。采用基于红外LED人工标志点可以最大程度减小背景变化对于特征识别的影响，且由于红外目标特征明显，易于识别，在实时视觉跟踪上有非常高的研究价值。本论文研究了基于红外LED标志点的实时视觉跟踪若干关键技术。
基于轮廓提取、区域分割、柱状图的三种思想，到了三种适合该种方式的视觉跟踪的特征提取方法，
并且对于这三种方法进行比较分析，综合考虑稳定性、耗时、精度等因素，确立基于轮廓提取的特征识别为最优。研究了基于卡尔曼滤波的运动预测在该类跟踪中的应用，分析了卡尔曼滤波对于提高视觉跟踪实时性的作用，并且从分析图像坐标系下和世界坐标系下两种方式卡尔曼滤波的特点，确定适合于基于红外LED视觉跟踪的方式为世界坐标系下的滤波方式。分析了如何将多相机的特征点信息合成红外LED标志点的世界坐标信息，利用极线约束和预测信息提取合成单个标志点的世界坐标，然后利用空间相互位置约束关系进行多标志的模型匹配。利用简单的设备搭建了实验平台，研发了原型软件系统，对于原型系统的高实时性和强鲁棒性进行了分析，验证了研究思路。
红外特征明显、背景变化的影响小，使得快速特征提取非常方便。卡尔曼运动滤波预测有效减小了特征提取的搜索区域，使得特征提取更为快速
，预测结果还可以用于在跟踪失败时代替测量数据，提高鲁棒性。在合成标志点的世界坐标，基于多种约束关系，增加了视觉跟踪系统的鲁棒性。所有上述特点都为基于红外的视觉跟踪实时性的提高提供了保障。
5.学位论文翟良松基于核函数的视觉跟踪算法研究及其应用2008
视觉跟踪是当前计算机视觉研究的热点之一，并且逐步在视频监控、人机交互，机器人，无人驾驶等领域得到广泛的应用。目前视觉跟踪算法层出不穷，同时也涌现了数个设计巧妙、理论完备、效果较
好的目标跟踪算法。基于核函数的均值位移目标跟踪算法是其中最优秀的算法之一，但由于应用场合的复杂性，到目前为止，建立一个稳健的、鲁棒的、实时的目标跟踪系统仍然是一个相关困难的事情。
人工智能研究的基本思想之一是通过模仿人类的机理给机器赋以人的智能。本文正是在这个思想的指导下通过模仿人类及灵长类动物的视觉机制
，深入研究了目标建模和跟踪的过程，借鉴心理学、生理学领域的研究成果，提出了一种目标描述新思路，并且通过水平投影、垂直投影巧妙地融入目标空间信息，应用均值位移优化过程，实现一个全新的目标跟踪过程。具体研究内容分成如下几个部分：
1.回顾介绍基于核函数的均值位移跟踪算法原理与过程
2.详细介绍了基于关注度的目标建模方法
冷却塔布水器3.详细介绍了基于水平投影、垂直投影的均值位移优化过程
4.详细介绍了基于关注度和投影的均值位移跟踪算法，并分析了其主要优点。
基于以上的思路，本文主要在以下两个方面取得了一定突破和进展，获得了一定研究成果。
第一、改变以往建立精确目标模型的思路，通过突出目标的主要特征，压制背景和非主要特征，建立一个目标特征突出的目标模型，而且这个模型是基于目标和背景的区别的，不是具体的颜或者纹理等特征，因此不会因为光照、形变等恶劣环境而丢失目标，具有很好的稳定性和鲁棒性。
第二、采用水平投影、垂直投影来综合目标的空间信息，有利于准确定位目标中心位置，实验证明了基于投影的算法比基于核函数的方法能够更加准确地定位出目标中心位置，取得良好效果。
6.学位论文杜凤仪增强现实在文物展示中的应用研究2009
增强现实是一项综合众多学科的高新技术，是计算机图形学、图像处理技术、人机交互技术、传感技术不断发展相结合的产物，具有广阔的应用前景。古迹的保护是增强现实应用的重要领域，增强现实技术的应用可以打破时间、空间的限制，提高文物的展出效果和展出效率，对保护文化遗产具有重大的意义。
本文初步探讨了增强现实在文物展示领域的应用。主要对以下三方面的内容进行了探讨：
其一，AR在文物展示中的跟踪方法。本文对基于标示物的视觉跟踪方法和无标示物的跟踪方法在文物展示中的应用分别进行了分析。
其二，AR文物展示中的交互方法。包括适合于文物展示的用户界面和基于手势识别技术的交互方法。
用户界面采用基于桌面隐喻的图形用户界面(GUI)的理念，采用基于标示物的视觉跟踪方法，利用图形学的多种图形绘制与渲染技术来完成界面的设计；手势识别的跟踪部分将采用借助于标示物的视觉跟踪方法，采用了符合人手操作的方式进行对文物模型及各种虚拟信息交互。
傅科摆图片其三，基于可用性原理的评估。给出评估的结果，用户界面在文物展示中的易用性较好、能实现虚拟信息的多种表达方式；手势交互部分体现了实物用户界面的基本思想，符合人对文物模型观摩的习惯，参观者对文物的感知得到了较好的体现。
本文对基于增强现实的博物馆文物展示方面的初步研究，为今后增强现实更深入、更广泛的运用到文化遗产的保护领域提供了初步的参考。
7.学位论文唐凤山基于子空间的视觉跟踪算法研究与应用2009
视觉跟踪是当前计算机视觉的研究热点之一，是视频监视、人机交互以及虚拟现实等领域的关键技术，具有巨大的应用前景。目前视觉跟踪算法层出不穷，在鲁棒性、准确性和快速性等方面各有优劣。由于光照、尺度变化以及运动目标转动、遮挡变形等引起的目标外观变化使算法的鲁棒性受到严重挑战，并成为当前视觉跟踪算法研究的一个重要方向。目标外观变化会导致跟踪漂移甚至丢失目标，要求视觉跟踪算法能迅速有效地学习到目标外观变化模式。基于区域的视觉跟踪算法是应用最广泛的算法之一，基于子空间的视觉跟踪算法即是属于基于区域视觉跟踪的一类，该类算法通过构建子
空间来描述目标外观以实现跟踪。传统的基于子空间的算法需要在跟踪开始之前预先通过训练来得到子空间，并且跟踪的鲁棒性以及准确性也对训练所采用的图像提出了较高的要求。
本文对基于子空间的视觉跟踪算法进行了研究。文章对PCA子空间以及正交子空间基础上的增量学习法进行学习和研究之后，提出了综合子空间算法。该综合子空间既能快速学习到目标外观的变化模式，又能学习到目标的最优低维描述子空间，实验表明该算法在光照变化、目标转动等情况下仍能稳定地跟踪目标。采用自顶向下思路进行跟踪时，需要对目标状态进行动态估计。传统的卡尔曼滤波只在处理线性高斯问题时效果很好。为处理非线性非高斯问题，提出采用粒子滤波来处理，估计精度较高。人脸跟踪是视觉跟踪应用较多的一个方面，首先必须进行人脸检测。Adaboost算法是人脸检测领域的经典算法之一，基于扩大的Haar-like矩形特征的分类器性能较好。采用混合接口编程的方式用Visual Studio生成基于扩大Haar-like矩形特征的Adaboost人脸检测动态链接库，在Matlab中结合综合子空间算法进行实验，取得了很好的效果。
8.学位论文冯春来自然场景下的视觉目标跟踪问题研究2004
作为计算机视觉的研究领域难点之一，视觉目标跟踪在视频监视，虚拟现实，增强现实，人机交互，动画运动捕获，视频压缩，视频会议，智能交通，军事制导等方面都有广泛的应用前景，同时目标跟踪也是行为识别等高级机器视觉的基础。
本课题在国际人工智能及机器视觉界是一个研究热点问题，在各种关于机器视觉国际会议中都有数量可观的文章涌现，各种方法不断提出，但是由于现实世界光照条件，目标物建模等的复杂性，还没有一种较实用较通用的方法来实现对目标进行跟踪的方法。本文对该课题方向进行了初步的探讨同时对与其相关的问题进行了初步研究。
文中首先介绍了视觉跟踪问题的分类，并对各类视觉跟踪问题解决的基本步骤及存在的难点进行了阐述。对静态场景下的视觉目标跟踪问题，文中着重对背景建模和目标物阴影去除问题进行了研究。对背景建模问题，文中提出了根据帧差信息指导不同图像帧中的目标物区域位置定位，据此用不同帧目标物区域像素值合成“空”背景的方法。对阴影去除问题，文中提出了结合目标物区域亮度畸变和调畸变信息对目标物区域像素进行分类的方法，其中还提出了一种基于上述信息对应直方图的自动阈值确定方法。对于动态场景下的视觉目标跟踪问题，文中结合人脸这一具体对象进行了研究，提出了一种基于颜信息，结构信息等的特征量定义方法较好的实现了人脸跟踪，对于主动视觉目标跟踪问题，针对小车这一具体研究对象展开研究，文中研究了系统的具体构成及其中的控制方法。文中最后对基于计算机视觉的一个实际应用项目进行了研究，根据课题对象特点和实时性，可靠性等的要求，文中提出了一种基于线扫描和像素周期性统计的方法，并达到了较好的效果。
9.学位论文黄菁基于单目视觉的触摸屏技术研究2009
随着计算机性能的不断提升和各领域对计算机使用的不断深入，人机交互技术也越来越受到重视，传统的基于鼠标和键盘的人机交互方式也越来越显示出它的局限性。而触摸屏技术可以完全摆脱鼠标和键盘，为人们提供方便快捷的服务，但是目前的触摸屏技术都是以硬件为基础的，容易受到电子元件的性能所影响，并且应用成本较高。
计算机视觉跟踪技术已经能够保证对目标进行实时跟踪，为视觉人机交互技术奠定了坚实的基础。视觉人机交互接口允许操作者在不直接接触输入设备的情况下进行相应的输入控制。因此基于视觉的触摸屏技术的研究，具有广阔的应用前景，是未来新一代输入接口的发展方向。
本文主要研究在静态背景下，通过单只摄像头采集手指信息，获取触点信息，模拟硬件触摸屏，并完成单击、压按以及触摸移动三种交互动作。
本文采用两种方案对基于单目视觉的触摸屏技术进行了初步研究并提出了基于单目视觉的目标深度信息提取算法。一种是通过颜标记指尖所在的位置，并利用改进CamShift算法进行跟踪，通过算法搜索框的变化规律提取手指的深度信息，判断触摸状态，并利用触摸信息和移动信息来完成三种动作的实现；另一种方法是通过对人手进行肤分割，轮廓提取以及指尖识别等过程，并进行轮廓优化组成新轮廓，并根据轮廓包含区域所占的视频区域比例变化规律来获得深度信息，从而得到触点信息，并结合移动信息来完成三种动作。
最后分别利用三个应用程序来测试三种动作的完成情况，测试结果显示，实验结果基本上达到预期效果，但是同时也存在一些不足，如跟踪精度还不够高，深度信息提取准确度还有待加强等等。
10.会议论文王海滨.蔡平.阮秋琦虚拟现实系统中人机交互技术研究1999
虚拟现实系统要求计算机所创建的三维虚拟环境能使用户全射心感觉到参与和体验感，人机交互对于虚拟现实系统来说是非常重要的一个关键技术。该文基于ＰＣ机平台建立了一个以视觉技术作为交互方法的虚拟现实人机交互系统，实现了对人头部姿态的检测。
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议