图形图像
文章编号:1007-1423（2019）13-0062-05DOI：10.3969/j.issn.1007-1423.2019.13.013
马迎杰，王佳斌
（工业智能化与系统福建省高校工程研究中心.泉州362021）
摘要：
在机器人的行业中，辅助机器人技术领域在研究和工业界都受到关注。然而，现有机器人平台的能力仍然需要改进以实现有意义的人机交互。通过进行外部系统的设计和实施，该系统显著增强NAO机器人的人员检测、跟踪和识别功能。对每个系统模块在不同交互条件下所取得的效果进行定性分析，并对整个系统进行评估测试，取得较好的应用效果。 关键词：
服务机器人；计算机视觉；人脸识别；人员检测与跟踪；NAO
基金项目：
华侨大学研究生科研创新能力培育计划资助项目（No.17013084002）
0引言
在日常生活中与人类互动和支持的辅助和社交机器人是一个在研究和工业社区中获得一致兴趣的领域，常见的应用领域包括通知商业和展览场所的客户，博物馆的访客指导以及大型超市的购物指导。已经有许多供应商提供机器人解决方案，其功能可以基本满足上述应用。然而，虽然机器人平台种类繁多，但根据客户要求，适应和快速调整辅助机器人从一种情况到另一种情况的行为仍然是一项挑战，
NAO机器人它是第一台专门设计用于与人类互动的机器人机器之…，具有非常友好可爱的外观。与机器人的交互可以通过语音，手势或触摸完成，并且可以通过说话或使用平板电脑上显示的视觉信息进行回复。Nao处理的功能已经允许在日常环境（例如公共办公室或商店）中成功部署演示，以及实施教育应用：然而，我们设想的应用场景的规范（例如，商城用户协助）要求机器人能够在更严重的部分遮扌半条件下以更高的准确度检测、跟踪和识别更远距离的人。该场景考虑先前未映射的封闭空间的情况，其中机器人执行随机搜索以寻感兴趣的用户。在检测到人时，机器人需要跟踪并移近检测到的用户以便执行面部识别机器人重复一个检测周期-跟踪-识别，直到它能够到并识别需要通知待
处理通知的人。本文也是致力于服务机器人的研究与开发，作者也是众多研究者中的一员。从国外的最新服务机器人进展来看，未来人们对服务机器人的研究肯定一步一步地深入，说明笔者所做的研究是有意义的
1硬件系统与软件系统
新型大棚骨架本文采用的智能机器人平台为NAO仿人机器人其中系统所需要的硬件系统包括摄像头、CPU、语音合成器、扬声器等。由于识别算法运算量大，而其CPU运算能力较差.同时需要担负NAO系统的运行，因此难以支撑识别算法的实时运算：因此采用通过机器人进行图像采集，并将图像通过网络传输到上位机进行处理，再将识别结果返回到机器人上进行跟踪识别。在软件层面，系统是在NAOqi框架冋之上开发的，这是机器人的默认环境：
2计算机视觉框架描述
机器人具有称为自主生命的默认操作模式，使其
现代计算机2019.05±
图形图像
能够活跃并与用户交互。这种操作模式使机器人一旦接近足以吸引机器人的注意力就能与人接触。然而，我们提出的方案要求机器人能够主动检测并移动到超出其默认交互距离范围的人。此外，人们的检测和识别需要处理目标用户的部分遮扌当的情况，以及不同的照明水平。这促使我们利用外部计算机视觉框架进行物体检测和人脸识别。在这项研究中，我们使用YOLO 进行物体检测，使用FaceNet进行人脸识别。YOLO是一种在图像中进行物体检测的方法，该方法可以通过卷积神经网络实时地在图像上的一次通过中检测来自定义的类别列表的所有对象实例。YOLO只用一个神经网络和一次评价，就直接从输入的整幅图像预测边框和类别概率。正因为整个检测流程是一个网络，所以它可以直接进行端到端的优化。作为一种统一结构,YOLO的运行速度非常快。基准YOLO模型每秒可以实时处理45帧图像，同时保持较高的目标检测平均准确率(mAP)，而且应用于训练领域外的图像时泛化能力也较强。因此，这种方法足以实现我们的目标，实现物体的实时检测。
FaceNet在考虑人脸识别任务时给出了最佳结果。对于图像中的每个面.FaceNet提供了128个元素的嵌入，这是通过将图像传递到深度神经网络而产生的。从相似面部获得的两个矢量具有彼此更接近的特性。通过这种方式，可以导出相似性度量，并且可以使用支持向量机对面部进行分类，或者使用k均值方法进行聚类。
FaceNet使用的监督培训方法使用大量标记图像，可以在我们遇到不同面部位置和方向，不同光度或图像质量的真实条件下获得更好的结果.
3架构实施
本文拟议的系统有几个组成部分。机器人平台使用来自内部和外部处理的数据。内部处理是指传感器、照相机和移动，而外部处理是指用于获得所需信息(即人的检测和识别)的图像处理：
图1显示了系统架构。图像处理任务在远程服务器上实现，结果随后传递给机器人。对外部处理的需求是由于机器人的有限计算能力，其无法达到具有实时结果的良好技术水平。
人物检测模块将检测到的人的边界框(bbox)信息与深度信息一起转发给人物跟踪模块。该模块将当前检测与先前检测相关联。此步骤是必需的，因为机器人必须一次跟踪一个人。在并行处理管道中，RGB图像被传递到面部检测和识别模块，该模块能够提取关于面部位置和其识别的人的信息。然后通过TCP连接将提取的信息(检测到的人的边界框，跟踪会话的id，深度信息和名称)传递回机器人。
图1系统架构概述
3.1人员检测模块
系统最重要的组成部分之一是用于人员检测的模块，必须以准确的结果实时进行检测，以便跟踪一致，没有错误。如前所述，对于此任务，我们使用YOLO网络，因为它很适合我们的系统，能够处理大约每秒40帧。
机器人产生的图像流和YOLO之间的集成在服务器上运行，具有高计算能力。我们使用来自NAOqi框架的ALVideoDevice模块来访问两种已经相关的图像流、RGB和深度。
我们使用预先训练的YOLO网络进行快速检测。
图像的网络结果是一组边界框以及相应的置信度，其中每个边界框表示人在图像像素中的位置。检测限于顶部正方形，顶部正方形由检测宽度定义。此更改对于跟踪部件非常有用，因此机器人可以将其头部位置对准检测到的人的上半身。
3.2人员跟踪模块
人员跟踪模块负责在尝试向检测到的人移动时改变机器人相对于被跟踪人的姿势。为了估计机器人相对于检测到的人的相对定位，我们依赖于基于输入图像和机器人的相机参数计算角度近似：传统的单目测距方法基本思想是：当识别出追踪目标后，调节头关节使目标处于视野中心.机器人身高为h.再求出目标在
现代计算机2019.05
±
图形图像
摄像头处形成的夹角a，以及宽度半径r，如此利用勾股 定理计算出目标与机器人的距离为：S=
，但是该方法仅适用于静止物体，对于
移动物体的跟踪显得较为迟钝:
图2人物跟踪图像表示以及角度计算
因此借鉴单目测距原理进行改进，观察图2可知:
tan(a+P)=刀\〔
将公式变换为：新。
其中h 为机器人站立时颈部到脚底的高度.h=
为HeadPitch 关节当前偏移角，即垂直偏移
角，可由系统函数获得；角度B 为NAO 机器人嘴部摄像
头硬件位置与水平线的夹角，查表可得P=39.74 0将相
045959-r 关数据带入公式可得:5=謊益和
当r 很小时，可得S 与a 的对应关系为：
0.45959
"tan(a + 39.7)
在跟踪过程中如果要求机器人与目标保持1米的 对话距离，则每次只需要移动S-1米的距离即可。
在最小深度范围内跟踪。当一个人离机器人比深 度范围更近时，机器人将要求该人转身并面对它以便
被人脸识别模块识别。
3.3人脸识别模块
如前面所述，用于面部检测和识别的网络是
FaceNet 。使用NAOqi 框架拍摄RGB 图像，然后将其
smdao传递到外部服务器到面部检测和识别模块，在该模块
中网络获得检测。该应用程序仅考虑有人情况下检测
到面部。该检查基于边界框完成：如果检测到的面部 的边界框在检测到的人的边界框内，则关于面部的信
息与该检测到的人相关联；否则面部会被忽略.因为我 们没有检测到人物第二种情况一般不会在实践中发
生，因为YOLO 网络在人员检测方面给出了非常好的 结果，特别是在某人的面部是可见的情况下。
3.4用户交互模块
丝网除沫器安装目前，该模块是针对我们一开始所呈现的场景实 现的，即向所识别的人发出关于个人消费或购买问题
的声音和视觉通知，并等待该人的确认
当机器人到达人时，基于面部识别信息，它知道它 是否到达了它正在寻的人。如果它看不到前面的人 的脸，它会通过声音提醒人(例如“你好，请看我! ”)。
使用NAOqi 框架模块实现与用户的交互。机器人 从外部服务器接收人员的通知，并使用TextToSpeech
模块逐个开始说明。它使用TabletService 创建一个视
图，该视图还在平板电脑上显示通知，以便用户可以将
其标记为已读，或者可以向前或向后浏览它们机器 人解释的声音命令用于确认提醒或关闭显示。它们使
用语音识别模块进行解释。
4 实验
4.1系统实现
该系统在具有不同人员的实验室环境中进行了实
验测试.建议的测试场景意味着机器人从随机位置开 始，并开始寻特定的人来提供通知，机器人不停地
环顾四周，如果它检测到一个人.它就会向它们移动; 这个人可以站立或坐着，它可以被展示的商品等完全
可见或部分遮挡。如果检测到的人是正确的，那么
NAO 将读出待处理的通知，否则它将继续搜索
机器人位于初始位置并开始旋转，首先是头部.然
后是整个身体，头部从右上角到左上角，然后从左下 角到右下角进行圆周旋转。我们选择这种行动来检查 机器人当前位置的视野中的所有可能位置。如果没有 人检测到，那么它将以120。旋转整个身体。当检测到 人时.头部和身体旋转都停止，并且下一个模块被激
活，更准确地说，是并行运行的跟踪和面部识别。
机器人将跟踪检测到的人并且将越来越近.直到 达到预定义的距离阈值。如果机器人到达目标，但没
有检测到人的面部.它将要求该人直视它以识别它
们，如果此人被识别为目标人,NAO 将读出待处理的 通知：如果没有，它将继续搜索
现代计算机2019.05
±
图形图像4.2系统性能测试
我们对人物检测和人脸识别模块进行了定性评估。目标检测结果如表1所示。
表1YOLO与传统方法比较
类别识别初时间/ms
YCLO ij^ij98.7812
89.3675
从实验结果中可以得出：NAO目标检测系统实时识别效果与速度满足实用要求。
对于常见视频320X240像素大小的图片，需要耗时56ms左右.常见视频的帧率为24-30帧/s，也就是说每帧时长为33-42ms，如果要做到实时的人脸检测，算法耗时最好少于20ms，以此为系统的后续处理留下足够的处理时间为此我们进行了图像大小的耗时测试，如表2所示
表2相同图像内容、不同图像大小耗时
图像尺寸/像素检测时间/ms
有机溶剂回收
512*512224
256*25648
128*12812
从实验结果中可以得出：选取128x128大小的图片满足实用条件的要求。
五轴联动雕刻机5结语
在这项工作中，我们使用NAO机器人的传感器，实现了在不受控制的封闭环境中检测、跟踪和识别人员的目的，证实了所提出的方法具有有效性。虽然机器人已经能够在室内光照条件不佳的情况下实现快速、准确、鲁棒的目标识别跟踪和人脸识别，但由于实际的超市环境可能更为复杂、干扰因素更多,NAO机器人的跟踪以及识别算法有待进一步的完善。
在未来的工作中，我们计划解决机器人真正接近用户时遇到的运动规划问题，我们可以通过使用SLAM 技术或通过提供先前生成的地图来扩展工作，其中机器人可以跟踪已经访问过的位置并将所识别的人的位置保存地图上。除了改善NAO的检测和用户跟踪功能外，我们的解决方案还具有可以移植到具有类似传感器和语音交互设施的其他机器人平台上的优势
参考文献：
[1]Parke F I.Computer Generated Animation of Faces[C].Proceedings ACM ANN Conference,1972,1:451-457
[2]许可.卷积神经网络在图像识别上的应用的研究[D].浙江大学,2012.
[3]Bruce V.Recognition Faces[M].London:Lawrence Erlbamn Associates,1998.
[4]由清圳.基于深度学习的视频人脸识别方法[D].哈尔滨工业大学,2013.
|5|Jaisakthi,S.M.,&Aravindan,C.Face Detection Using Data and Sensor Fusion Techniques.Soft Computing and Pattern Recognition, IEEE,2011:274-279.
|6]Kahraman,F.,Kurt,B.,Gokmen,M.Active Appearance Model Based Face Recognition[P].Signal Processing and Coniniunications Applications Conference,2005.Proceedings of the IEEE13th,2005.
[7]Shuzhi Sam Ge,Samani,II.A.,Ong,Y.H.J.,Chang Chieh Hang.Active Affective Facial Analysis for Hu m an-Robot Interaction!P|.Robot
and Human Interactive Coinmunication,2008.RO-M AN2008.The17th IEEE International Symposium on,2008.
|8]GuangShun Shi,BiJia Lan,Liang Huang,XiaoYong Peng,JiaFeng Ma,Qian Liang.Research of Face Recognition under Active Infrared Lighting Based on Embedded SystemfP],Pattern Recognition(ACPR),2011First Asian Conference on,2011.
|9|Chang,Chuan-Yu,Huang,Cyun-Siang.Application of Active Appearance Model for Dual-Camera Face Recognition!P|.1nfoimation Security and Intelligence Control(ISIC).2012International Conference on,2012.
[lOJQiang Yang.An Improved Algorithm of Face Tracking[P|.Transportation,Mechanical,and Electrical Engineering(TMEE),International Conference on,2011.
|11]林妙真.基于深度学习的人脸识别研究[D].大连理H大学,2013.
现代计算机2019.05±
图形图像
[12]李晨.视频图像中的快速人体运动目标跟踪算法研究[J].现代电子技术,2019(03):49-51.
[13]陈旭.孟朝晖.基于深度学习的目标视频跟踪算法综述[J].计算机系统应用.2019,28(01):1-9.
[14]K ansal,S.,Makhal,A.,Chakraborty,P.,Nandi,G.C.Tracking of a Target Person Using Face Recognition by Surveillance Robot[P].oel
Comniunication,Information&Computing Technology(ICCICT),2012International Conference on,2012.
[15]柏雪峰.杨斌.基于NAO机器人目标识别与定位算法[J|.成都信息工程学院学报,2014,29(06):625-629.
作者简介：
马迎杰(1994-)，男，河北邢台人，硕七研究方向为计算机视觉、图像处理、大数据
通信作者：王佳斌(1974-)，男，福建人，副教授.研究方向为嵌入式系统、物联网、云计算、软计算及其应用等
收稿日期:2019-03-07修稿日期：2019-03-17
Research on Target Tracking and Face Recog nition Based on NAO Robot
MA Ying-jie,WANG Jia-bin
(Universities Engineering Research Center of Fujian Providence Industrial Intelligent Technology and Systems,Quanzhou362021)
Abstract：
In the robotics industry,the field of assisted rol)otics has received attention in both research and industry.However,the capabilities of existing robotic platforms still need to be improved to achieve meaningful human-computer interaction.We have designed and implemented an external system that significantly enhances the personnel detection,tracking and identification capabilities of the Nao robot.We qualitatively analyze the effects of each system module under different interaction conditions,and evaluate and test the whole system,and achieved good application results.
Keywords:
Service Robot;Computer Vision;Face Recognition;Personnel Detection and Tracking;NAO
(上接第61页)
X-Ray Weld Defect Recognition Based on ICA
LI Zhi,MU Xiang-yang
(School of Electronic Engineering,Xi'an Shi you University,Xi'an710065)
Abstract:
Aiming at the problem of X-ray weld defect identification,proposes an optimization algorithm based on Independent Component Antdysis (ICA)for feature extraction and support vector machine for classification and identification of weld defects.Weld feature extraction is the key technology for weld defect identification.Introduces the preprocessing process of weld defect image and the principle of ICA algorithm, uses the support vector machine to classify and identify the database image.Experiments show tluit the ICA algorithm can improve the das-sification rate of weld defects.
Keywords：
Weld Image;Independent Component Analysis(ICA)
现代计算机2019.05±
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议