(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 201911108890.7
(22)申请日 2019.11.13
(71)申请人 北京卡尔斯通科技有限公司
地址 100089 北京市海淀区上地信息路1号
（北京实创高科技发展总公司1-2号）B
栋1-8层8-838室
(72)发明人 张飞虎
(51)Int.Cl.
G06K 9/00(2006.01)
G06K 9/62(2006.01)
(54)发明名称一种基于深度学习的视线方向估计方法(57)摘要本发明公开了一种基于深度学习的视线方向估计方法，本发明具体包括以下步骤：S1、输入人脸，S2、人脸和人脸特征点检测，S3、眼部图像提取，S4、提高分辨率，S5、瞳孔轮廓检测，S6、估计眼球模型，S7、计算瞳孔直径和判断瞳孔位置，本发明涉及视频分析技术领域。该基于深度学习的视线方向估计方法，可实现通过采用基于深度学习的眼动眼线识别方法，很好的解决了由于光照和其他视觉伪像之类的因素造成的眼动眼线识别困难的问题，达到了快速及时了解对象视线注意力的重点转移及变化的目的，从而能够进行一系列基于注意力分析的复杂任务，在辅助公安局或法院审判对嫌疑人状态分析、广告精准投放 以及客户喜好分析。权利要求书1页 说明书5页 附图2页CN 112800815 A 2021.05.14
C N 112800815
A
1.一种基于深度学习的视线方向估计方法，其特征在于：具体包括以下步骤：
S1、首先输入为一张任何场景下获取的人脸图像；
S2、再利用人脸检测技术检测出人脸部分，并利用人脸特征点检测技术获得人脸图像上关键特征点；
S3、根据人脸关键点提取出眼部图像，利用插值算法来提高图像分辨率，从而将人眼部分分辨率提高；
S4、利用瞳孔轮廓检测技术检测出瞳孔在图像上的椭圆轮廓，然后构建人眼部模型；S5、以步骤S4图像上检测的瞳孔轮廓与眼球模型投影到图像平面的瞳孔轮廓的匹配为修正，利用深度卷积神经网络训练出适合的模型，该模型输入为眼部图像，输出为正确的眼球模型，根据步骤S3构建的人眼部模型分别计算瞳孔直径r、瞳孔的位置以及瞳孔在眼睛区域的位置；
S6、然后利用人脸特征点检测技术获得人脸图像上关键特征点，结合标准人脸三维特征点与人脸图像上检测出的特征点解析出头部姿态；
S7、根据步骤S6解析出的头部姿态，将人脸图像转换到更利于识别的自由度更低的空间，在该空间中，结合场景信息使用步骤S5中已训练好的深度卷积神经网络进行视线方向的估计，最后输出人脸在三维世界下的视线方向，并以向量g(x ,y ,z)来表示。
2.根据权利要求1所述的一种基于深度学习的视线方向估计方法，其特征在于：所述步骤S1中任何场景下获取的人脸图像为特种作业时拍摄到的人脸视频。
3.根据权利要求1所述的一种基于深度学习的视线方向估计方法，其特征在于：所述步骤S4中人眼部模型包括眼球中心位置、瞳孔在眼球上的球面坐标(γ,δ)以及瞳孔大小r。
4.根据权利要求1所述的一种基于深度学习的视线方向估计方法，其特征在于：所述步骤S5中瞳孔在眼睛区域的位置为眼睛区域的上部、下部、左部、右部或中间五个位置中的一种。
5.根据权利要求1所述的一种基于深度学习的视线方向估计方法，其特征在于：所述步骤S6中人脸图像上检测出的特征点为二维图像坐标，且步骤S6中只利用SolvePnp算法解析出头部姿态。
6.根据权利要求1所述的一种基于深度学习的视线方向估计方法，其特征在于：所述步骤S2中人脸检测技术和人脸特征点检测技术均是采用ANN模型人脸检测算法、SVM模型人脸检测算法或Adaboost模型人脸检测算法中的一种。
权 利 要 求 书1/1页CN 112800815 A
一种基于深度学习的视线方向估计方法
技术领域
[0001]本发明涉及视频分析技术领域，具体为一种基于深度学习的视线方向估计方法。
背景技术
[0002]视线估计算法是对图片或视频中人眼的视线方向和眼球位置进行估计，计算并返回高精度的双眼眼球中心位置坐标，以及双眼视线方向向量，在视频中可以实现对人眼视线的实时追踪，视线估计技术能够让您及时了解用户注意力的重点及变化，帮助您完成一系列基于注意力分析的复杂任务，如广告精准投放、在线教育学生状态分析、判断是否撒谎等。
[0003]视线方向是反映专注、疲劳等精神状态的重要指标之一，常见的视线估计方法基于头戴式眼动仪或受限于屏幕前的近距离操作，需要获取高清的眼部图像，要求作业活动范围小，而特种作业种类多，动作幅度大，活动范围广，需要一种适用于开放场景的视线方向估计技术。
[0004]基于深度学习技术是根据人脸图像和场景图像设计视线方向估计算法框架，结合头部姿态，在眼睛部位遮挡或者不清晰时提供有效的人脸转向信息，减少算法对高清眼睛图像的依赖；另一方面，结合场景信息，通过估计显著性区域信息，进一步修正较远距离和大姿态下的视线方向。
[0005]传统的基于特征和基于模型的视线估计方法被证明在专业相机和固定光照环境下表现良好，但在无约束的现实环境中，由于光照和其他视觉伪像之类的因素对建模造成很大的困难。
发明内容
[0006]（一）解决的技术问题
针对现有技术的不足，本发明提供了一种基于深度学习的视线方向估计方法，通过该方法获取眼部区域，进而采用深度卷积神经网络模型进行基于人脸图像的视线方向估计。[0007]（二）技术方案
为实现以上目的，本发明通过以下技术方案予以实现：一种基于深度学习的视线方向估计方法，具体包括以下步骤：
S1、首先输入为一张任何场景下获取的人脸图像；
S2、再利用人脸检测技术检测出人脸部分，并利用人脸特征点检测技术获得人脸图像上关键特征点；
S3、根据人脸关键点提取出眼部图像，利用插值算法来提高图像分辨率，从而将人眼部分分辨率提高，以提高正确识别遮挡、正确识别反光光照影响以及其他干扰性因素的概率；
S4、利用瞳孔轮廓检测技术检测出瞳孔在图像上的椭圆轮廓，然后构建人眼部模型；
S5、以步骤S4图像上检测的瞳孔轮廓与眼球模型投影到图像平面的瞳孔轮廓的匹配为修正，利用深度卷积神经网络训练出适合的模型，该模型输入为眼部图像，输出为正确的眼
球模型，根据步骤S3构建的人眼部模型分别计算瞳孔直径r、瞳孔的位置以及瞳孔在眼睛区域的位置；
S6、然后利用人脸特征点检测技术获得人脸图像上关键特征点，结合标准人脸三维特征点与人脸图像上检测出的特征点解析出头部姿态；
S7、根据步骤S6解析出的头部姿态，将人脸图像转换到更利于识别的自由度（DOF）更低的空间，在该空间中，结合场景信息使用步骤S5中已训练好的深度卷积神经网络（DCNN）进行视线方向的估计，最后输出人脸在三维世界下的视线方向，并以向量g(x,y,z)来表示。[0008]优选的，所述步骤S1中任何场景下获取的人脸图像为特种作业时拍摄到的人脸视频。
[0009]优选的，所述步骤S4中人眼部模型包括眼球中心位置、瞳孔在眼球上的球面坐标(γ,δ)以及瞳孔大小r。
[0010]优选的，所述步骤S5中瞳孔在眼睛区域的位置为眼睛区域的上部、下部、左部、右部或中间五个位置中的一种。
[0011]优选的，所述步骤S6中人脸图像上检测出的特征点为二维图像坐标，且步骤S6中只利用SolvePnp算法解析出头部姿态。
[0012]优选的，所述步骤S2中人脸检测技术和人脸特征点检测技术均是采用ANN模型人脸检测算法、SVM模型人脸检测算法或Adaboost模型人脸检测算法中的一种。
[0013]（三）有益效果
本发明提供了一种基于深度学习的视线方向估计方法。与现有技术相比具备以下有益效果：该基于深度学习的视线方向估计方法，具体包括以下步骤：S1、首先输入为一张任何场景下获取的人脸图像，S2、再利用人脸检测技术检测出人脸部分，并利用人脸特征点检测技术获得人脸图像上关键特征点，S3、根据人脸关键点提取出眼部图像，利用插值算法来提高图像分辨率，从而将人眼部分分辨率提高，S4、利
用瞳孔轮廓检测技术检测出瞳孔在图像上的椭圆轮廓，然后构建人眼部模型，S5、以步骤S4图像上检测的瞳孔轮廓与眼球模型投影到图像平面的瞳孔轮廓的匹配为修正，利用深度卷积神经网络训练出适合的模型，该模型输入为眼部图像，输出为正确的眼球模型，S6、然后利用人脸特征点检测技术获得人脸图像上关键特征点，结合标准人脸三维特征点与人脸图像上检测出的特征点解析出头部姿态，S7、根据步骤S6解析出的头部姿态，将人脸图像转换到更利于识别的自由度（DOF）更低的空间，可实现通过采用基于深度学习的眼动眼线识别方法，很好的解决了传统的基于特征的视线估计方法在无约束的现实环境中，由于光照和其他视觉伪像之类的因素造成的眼动眼线识别困难的问题，很好的达到了快速及时了解对象视线注意力的重点转移及变化的目的，从而能够进行一系列基于注意力分析的复杂任务，在辅助公安局或法院审判对嫌疑人状态分析、广告精准投放以及客户喜好分析，在线教育学生状态分析等具有良好的应用前景。
附图说明
[0014]图1为本发明眼动信息提取的工作流程图；
图2为本发明视线方向估计的工作流程图；
图3为本发明八个虹膜边缘坐标和虹膜中心坐标迭代拟合示意图。
具体实施方式
[0015]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0016]请参阅图1-3，本发明实施例提供三种技术方案：一种基于深度学习的视线方向估计方法，具体包括以下实施例：
实施例1
S1、首先输入为一张任何场景下获取的人脸图像，任何场景下获取的人脸图像为特种作业时拍摄到的人脸视频；
S2、再利用人脸检测技术检测出人脸部分，并利用人脸特征点检测技术获得人脸图像上关键特征点，人脸检测技术和人脸特征点检测技术均是采用ANN模型人脸检测算法；
S3、根据人脸关键点提取出眼部图像，利用插值算法来提高图像分辨率，从而将人眼部分分辨率提高，以提高正确识别遮挡、正确识别反光光照影响以及其他干扰性因素的概率；
S4、利用瞳孔轮廓检测技术检测出瞳孔在图像上的椭圆轮廓，然后构建人眼部模型，人眼部模型包括眼球中心位置、瞳孔在眼球上的球面坐标(γ,δ)以及瞳孔大小r；
S5、以步骤S4图像上检测的瞳孔轮廓与眼球模型投影到图像平面的瞳孔轮廓的匹配为修正，利用深度卷积神经网络训练出适合的模型，该模型输入为眼部图像，输出为正确的眼球模型，根据步骤S3构建的人眼部模型分别计算瞳孔直径r、瞳孔的位置以及瞳孔在眼睛区域的位置，瞳孔在眼睛区域的位置为眼睛区域的上部位置；
S6、然后利用人脸特征点检测技术获得人脸图像上关键特征点，结合标准人脸三维特征点与人脸图像上检测出的特征点解析出头部姿态，人脸图像上检测出的特征点为二维图像坐标，且步骤S6中只利用SolvePnp算法解析出头部姿态；
S7、根据步骤S6解析出的头部姿态，将人脸图像转换到更利于识别的自由度（DOF）更低的空间，在该空间中，结合场景信息使用步骤S5中已训练好的深度卷积神经网络（DCNN）进行视线方向的估计，最后输出人脸在三维世界下的视线方向，并以向量来表示。[0017]实施例2
S1、首先输入为一张任何场景下获取的人脸图像，任何场景下获取的人脸图像为特种作业时拍摄到的人脸视频；
S2、再利用人脸检测技术检测出人脸部分，并利用人脸特征点检测技术获得人脸图像上关键特征点，人脸检测技术和人脸特征点检测技术均是采用SVM模型人脸检测算法；
S3、根据人脸关键点提取出眼部图像，利用插值算法来提高图像分辨率，从而将人眼部分分辨率提高，以提高正确识别遮挡、正确识别反光光照影响以及其他干扰性因素的概率；
S4、利用瞳孔轮廓检测技术检测出瞳孔在图像上的椭圆轮廓，然后构建人眼部模型，人眼部模型包括眼球中心位置、瞳孔在眼球上的球面坐标(γ,δ)以及瞳孔大小r；
S5、以步骤S4图像上检测的瞳孔轮廓与眼球模型投影到图像平面的瞳孔轮廓的匹配为修正，利用深度卷积神经网络训练出适合的模型，该模型输入为眼部图像，输出为正确的眼球模型，根据步骤S3构建的人眼部模型分别计算瞳孔直径r、瞳孔的位置以及瞳孔在眼睛区域的位置，瞳孔在眼睛区域的位置为眼睛区域的左部位置；
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议