一种屏下眼动跟踪方法及装置与流程

1.本发明涉及眼动追踪技术领域，具体是涉及一种屏下眼动跟踪方法及装置。

背景技术：

2.眼动跟踪是一个识别某人在看什么、怎么看的过程，眼动跟踪已广泛应用于人机交互、虚拟现实、车辆辅助驾驶、人因分析和心理研究等多个领域。从眼球的生理结构来说，人类主要通过中央凹区域来获取视觉数据，中央凹只能提供约1-2度的视角。虽然该区域仅占视野范围的极小部分，但通过此区域记录的信息却包含了通过视觉神经传递到大脑的有效视觉信息的50%。因此，人类的视觉和注意系统围绕着一个主要目标工作：使感兴趣的目标的光学成像聚焦于中央凹处。这是眼动行为最根本、最主要的原因。
3.现有技术存在追踪眼动的产品，当现有技术中的眼动跟踪产品存在缺陷，例如：现有眼动追踪产品中的显示模块和摄像头模块通常是相互独立的，摄像头模块一般是放在显示模块外部的下方并向上有一个倾角，这样设置整个产品就会比较厚，并且屏占比偏低。

技术实现要素：

4.为了克服现有技术的不足，本发明提供了一种屏下眼动跟踪方法及装置，具体技术方案如下所示：一种屏下眼动跟踪方法，应用于包括显示单元、设置在所述显示单元的屏幕下的红外泛光发射单元、设置在所述显示单元的屏幕下的红外摄像单元、图像处理单元和眼动追踪计算单元的眼动追踪器；该方法包括：控制所述显示单元按照预设频率显示预设图像；在所述预设图像消失的瞬间，控制所述红外泛光发射单元启动，以照亮用户的人脸与人眼；同时控制所述红外摄像单元对所述用户的人脸与人眼进行拍摄，以得到红外图像；通过所述图像处理单元对所述红外图像进行处理，以得到图像特征数据；通过所述眼动追踪计算单元对所述图像特征数据进行视线跟踪计算，以得到所述用户的人眼所注视所述显示单元的屏幕位置的信息，完成眼动跟踪。
5.在一个具体的实施例中，所述红外泛光发射单元与所述红外摄像单元所在位置的屏幕的透光率为50%—100%之间。
6.在一个具体的实施例中，所述红外泛光发射单元发射的红外光的波长为930nm-950nm。
7.在一个具体的实施例中，所述红外摄像单元接收的红外光的波长为930nm-950nm。
8.在一个具体的实施例中，所述红外泛光发射单元设置有2个，其中一个所述红外泛光发射单元设置在所述显示单元的屏幕下的左侧，另一个所述红外泛光发射单元设置在所述显示单元的屏幕下的右侧；两个所述红外泛光发射单元相对所述显示单元的屏幕的竖向
中心线对称设置；或者，所述红外泛光发射单元设置有2个以上，2个以上所述红外泛光发射单元分别对应设置在所述显示单元的屏幕的四个角或四个侧边上。
9.在一个具体的实施例中，所述红外摄像单元设置在所述显示单元的屏幕下的中心区域。
10.在一个具体的实施例中，还提供了一种屏下眼动跟踪装置，应用于包括显示单元、设置在所述显示单元的屏幕下的红外泛光发射单元、设置在所述显示单元的屏幕下的红外摄像单元、图像处理单元和眼动追踪计算单元的眼动追踪器；该装置包括：图像显示控制模块，用于控制所述显示单元按照预设频率显示预设图像；操作模块，用于在所述预设图像消失的瞬间，控制所述红外泛光发射单元启动，以照亮用户的人脸与人眼；同时控制所述红外摄像单元对所述用户的人脸与人眼进行拍摄，以得到红外图像；图像处理模块，用于通过所述图像处理单元对所述红外图像进行处理，以得到图像特征数据；眼动跟踪计算模块，用于通过所述眼动追踪计算单元对所述图像特征数据进行视线跟踪计算，以得到所述用户的人眼所注视所述显示单元的屏幕位置的信息，完成眼动跟踪。
11.在一个具体的实施例中，所述红外泛光发射单元与所述红外摄像单元所在位置的屏幕的透光率为50%—100%之间。
12.在一个具体的实施例中，所述红外泛光发射单元发射的红外光的波长为930nm-950nm。
13.在一个具体的实施例中，所述红外摄像单元接收的红外光的波长为930nm-950nm。
14.相对于现有技术，本发明具有以下有益效果：本发明提供的一种屏下眼动跟踪方法及装置，能够将眼动跟踪与显示单元进行融合，能够将红外泛光发射单元、红外摄像单元与显示单元进行完美融合，能够降低产品的厚度，提高屏占比，减少红外泛光发射单元和红外摄像单元与显示单元之间的坐标系的复杂换算，能够减少误差，提升眼动追踪的效率和准确率。
15.为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
16.为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
17.图1是实施例中屏下眼动跟踪方法的流程步骤图；图2是实施例中眼动追踪器的第一结构示意图（2个红外泛光发射单元分别对应设置在屏幕的左右侧）；图3是实施例中眼动追踪器的第二结构示意图（4个红外泛光发射单元分别对应设
置在屏幕的四个侧边上）；图4是实施例中眼动追踪器的第三结构示意图（4个红外泛光发射单元分别对应设置在屏幕的四个角上）；图5是实施例中人眼注视显示单元屏幕上的预设图像的示意图；图6是实施例眼动跟踪装置的示意图。
18.主要元件符号说明：1-显示单元；2-红外泛光发射单元；3-红外摄像单元；4-预设图像；5-人眼。
具体实施方式
19.在下文中，将更全面地描述本发明的各种实施例。本发明可具有各种实施例，并且可在其中做出调整和改变。然而，应理解：不存在将本发明的各种实施例限于在此公开的特定实施例的意图，而是应将本发明理解为涵盖落入本发明的各种实施例的精神和范围内的所有调整、等同物和/或可选方案。
20.在下文中，可在本发明的各种实施例中使用的术语“包括”或“可包括”指示所公开的功能、操作或元件的存在，并且不限制一个或更多个功能、操作或元件的增加。此外，如在本发明的各种实施例中所使用，术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合，并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。
21.在本发明的各种实施例中，表述“或”或“a或/和b中的至少一个”包括同时列出的文字的任何组合或所有组合。例如，表述“a或b”或“a或/和b中的至少一个”可包括a、可包括b或可包括a和b二者。
22.在本发明的各种实施例中使用的表述(诸如“第一”、“第二”等)可修饰在各种实施例中的各种组成元件，不过可不限制相应组成元件。例如，以上表述并不限制所述元件的顺序和/或重要性。以上表述仅用于将一个元件与其它元件区别开的目的。例如，第一用户装置和第二用户装置指示不同用户装置，尽管二者都是用户装置。例如，在不脱离本发明的各种实施例的范围的情况下，第一元件可被称为第二元件，同样地，第二元件也可被称为第一元件。
23.应注意到：在本发明中，除非另有明确的规定和定义，“安装”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接、也可以是可拆卸连接、或者一体地连接；可以是机械连接，也可以是电连接；可以是直接连接，也是可以通过中间媒介间接相连；可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
24.在本发明中，本领域的普通技术人员需要理解的是，文中指示方位或者位置关系的术语为基于附图所示的方位或者位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或者元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
25.在本发明的各种实施例中使用的术语仅用于描述特定实施例的目的并且并非意在限制本发明的各种实施例。如在此所使用，单数形式意在也包括复数形式，除非上下文清
楚地另有指示。除非另有限定，否则在这里使用的所有术语(包括技术术语和科学术语)具有与本发明的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义，除非在本发明的各种实施例中被清楚地限定。
26.实施例如图1-图5所示，本实施例提供了一种屏下眼动跟踪方法，应用于包括显示单元1、设置在显示单元1的屏幕下的红外泛光发射单元2、设置在显示单元1的屏幕下的红外摄像单元3、图像处理单元和眼动追踪计算单元的眼动追踪器，红外泛光发射单元2和红外摄像单元3与显示单元1三者之间的平面相同；该方法包括：控制显示单元1按照预设频率显示预设图像4，例如：预设频率可选为1秒50次、1秒100次或1秒200次等频率，预设图像4可以是视标、图标或文字信息等，本方法控制显示单元1按照1秒100次的频率显示视标、图标或文字信息等预设图像4信息；在预设图像4消失的瞬间，预设图像4消失的瞬间可选为预设图像4刚刚显示完立即切换到未显示时的一瞬间，控制红外泛光发射单元2启动发射红外光，以透过显示单元1照亮用户的人脸与人眼5；同时控制红外摄像单元3透过显示单元1按照一定的频率对用户的人脸与人眼5进行拍摄，以得到该用户的人脸和人眼5的红外图像；通过图像处理单元对拍摄到的该用户的人脸和人眼5的红外图像进行处理，以得到图像特征数据；通过眼动追踪计算单元对图像特征数据进行视线跟踪计算，即：通过眼动追踪计算单元对图像处理单元处理后的红外图像进行视线跟踪计算，以得到用户的人眼5当前所注视显示单元1的屏幕位置的信息，完成眼动跟踪。
27.可选地，显示单元1可选为透光显示的单元，显示单元1可选为玻璃或者高分子材料，显示单元1用于红外泛光发射单元2和红外摄像单元3位置的显示，显示单元1还用于使红外泛光发射单元2发射的红外光尽可能没有损耗的发射出。具体地，显示单元1采用透过率较高的显示屏幕，并重新设计该区域的像素结构，优化屏幕的透光率，让红外光线能够更充分地穿过屏幕。
28.可选地，本实施例能够将眼动跟踪与显示单元1进行融合，能够将红外泛光发射单元2、红外摄像单元3与显示单元1进行完美融合，能够降低产品的厚度，提高屏占比，减少红外泛光发射单元2和红外摄像单元3与显示单元1之间的坐标系的复杂换算，能够减少误差，提升眼动追踪的效率和准确率。
29.本实施例中，红外泛光发射单元2与红外摄像单元3所在位置的屏幕的透光率为50%—100%之间，可选地，红外泛光发射单元2与红外摄像单元3所在位置的屏幕的透光率为50%、60%、70%、80%、90%、95%、96%、97%、98%、99%或100%等，本实施例中，可选红外泛光发射单元2与红外摄像单元3所在位置的屏幕的透光率为98%。
30.本实施例中，红外泛光发射单元2发射的红外光的波长为930nm-950nm。
31.可选地，红外泛光发射单元2发射的红外光的波长可选为930nm、940nm或950nm等，本实施例可选红外泛光发射单元2发射的红外光的波长为940nm，940nm的红外光能够避免红曝现象。
32.本实施例中，红外摄像单元3接收的红外光的波长为930nm-950nm。可选地，红外摄像单元3接收的红外光的波长可选为930nm、940nm或950nm等，本实施例可选红外摄像单元3接收的红外光的波长为940nm。
33.本实施例中，红外泛光发射单元2设置有2个，其中一个红外泛光发射单元2设置在显示单元1的屏幕下的左侧，另一个红外泛光发射单元2设置在显示单元1的屏幕下的右侧；两个红外泛光发射单元2相对显示单元1的屏幕的竖向中心线对称设置，或者两个红外泛光发射单元2相对显示单元1的屏幕的对角线对称设置。红外泛光发射单元2可选为红外灯。
34.或者，红外泛光发射单元2设置有2个以上，2个以上红外泛光发射单元2分别对应设置在显示单元1的屏幕的四个角或四个侧边上。例如，红外泛光发射单元2设置有4个，每个红外泛光发射单元2分别对应设置在显示单元1的四个侧边上，或者每个红外泛光发射单元2分别对应设置在显示单元的四个角上。
35.本实施例中，红外摄像单元3设置在显示单元1的屏幕下的中心区域。
36.具体地，可选红外摄像单元3位于2个红外泛光发射单元2的中间，其中一个红外泛光发射单元2位于红外摄像单元3的左侧，另一个红外泛光发射单元2位于红外摄像单元3的右侧。
37.本实施例中，还包括：对眼动追踪计算单元进行校准，以得到校准后的眼动追踪计算单元；“通过眼动追踪计算单元对图像特征数据进行视线跟踪计算”具体包括：通过校准后的眼动追踪计算单元对图像特征数据进行视线跟踪计算。
38.本实施例中，“对眼动追踪计算单元进行校准，得到校准后的眼动追踪计算单元”具体包括：控制显示单元1按照预设频率在指定位置显示校准图像，例如：预设频率可选为1秒50次、1秒100次或1秒200次等频率，校准图像可以是视标、图标或文字信息等，具体可以是一只小狗图标、小猫图标或字母信息等，例如本方法控制显示单元1按照1秒100次的频率在显示单元1的屏幕的左上角显示小狗图标信息；在校准图像消失的瞬间，校准图像消失的瞬间可选为校准图像刚刚显示完立即切换到未显示时的一瞬间，即：小狗图标信息刚刚显示完立即切换到未显示时的一瞬间，控制红外泛光发射单元2启动，以透过显示单元1照亮用户的人脸与人眼5；同时控制红外摄像单元3透过显示单元1按照一定的频率对用户的人脸与人眼5进行拍摄，以得到校准红外图像；通过图像处理单元对校准红外图像进行处理，以得到校准图像特征数据；通过校准图像特征数据与指定位置对眼动追踪计算单元进行校准，以得到校准后的眼动追踪计算单元。例如，校准时比对用户的人眼5当下是否在看显示单元1的屏幕左上角的小狗图标，若结果为是，则校准成功准确，若结果为否，则校准失败不准。
39.如图6所示，本实施例中，还提供一种屏下眼动跟踪装置，应用于包括显示单元1、设置在显示单元1的屏幕下的红外泛光发射单元2、设置在显示单元1的屏幕下的红外摄像单元3、图像处理单元和眼动追踪计算单元的眼动追踪器，红外泛光发射单元2和红外摄像单元3与显示单元1三者之间的平面相同；该装置包括：图像显示控制模块，用于控制显示单元1按照预设频率显示预设图像4；操作模块，用于在预设图像4消失的瞬间，控制红外泛光发射单元2启动发射红外
光，以照亮用户的人脸与人眼5；同时控制红外摄像单元3透过显示单元1对用户的人脸与人眼5进行拍摄，以得到红外图像；图像处理模块，用于通过图像处理单元对红外图像进行处理，以得到图像特征数据；眼动跟踪计算模块，用于通过眼动追踪计算单元对图像特征数据进行视线跟踪计算，以得到用户的人眼5所注视显示单元1的屏幕位置的信息，完成眼动跟踪。
40.可选地，显示单元1可选为透光显示的单元，显示单元1可选为玻璃或者高分子材料，显示单元1用于红外泛光发射单元2和红外摄像单元3位置的显示，显示单元1还用于使红外泛光发射单元2发射的红外光尽可能没有损耗的发射出。具体地，显示单元1采用透过率较高的显示屏幕，并重新设计该区域的像素结构，优化屏幕的透光率，让红外光线能够更充分地穿过屏幕。
41.本实施例中，红外泛光发射单元2与红外摄像单元3所在位置的屏幕的透光率为50%—100%之间。本实施例中，可选红外泛光发射单元2与红外摄像单元3所在位置的屏幕的透光率具体为98%。
42.本实施例中，红外泛光发射单元2发射的红外光的波长为930nm-950nm。本实施例可选红外泛光发射单元2发射的红外光的波长为940nm，940nm的红外光能够避免红曝现象。
43.本实施例中，红外摄像单元3接收的红外光的波长为930nm-950nm。可选地，红外摄像单元3接收的红外光的波长可选为930nm、940nm或950nm等，本实施例可选红外摄像单元3接收的红外光的波长为940nm。
44.与现有技术相比，本实施例提供的一种屏下眼动跟踪方法及装置，能够将眼动跟踪与显示单元进行融合，能够将红外泛光发射单元、红外摄像单元与显示单元进行完美融合，能够降低产品的厚度，提高屏占比，减少红外泛光发射单元和红外摄像单元与显示单元之间的坐标系的复杂换算，能够减少误差，提升眼动追踪的效率和准确率。
45.本领域技术人员可以理解附图只是一个优选实施场景的示意图，附图中的模块或流程并不一定是实施本发明所必须的。
46.本领域技术人员可以理解实施场景中的装置中的模块可以按照实施场景描述进行分布于实施场景的装置中，也可以进行相应变化位于不同于本实施场景的一个或多个装置中。上述实施场景的模块可以合并为一个模块，也可以进一步拆分成多个子模块。
47.上述本发明序号仅仅为了描述，不代表实施场景的优劣。
48.以上公开的仅为本发明的几个具体实施场景，但是，本发明并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。

技术特征：

1.一种屏下眼动跟踪方法，其特征在于，应用于包括显示单元、设置在所述显示单元的屏幕下的红外泛光发射单元、设置在所述显示单元的屏幕下的红外摄像单元、图像处理单元和眼动追踪计算单元的眼动追踪器；该方法包括：控制所述显示单元按照预设频率显示预设图像；在所述预设图像消失的瞬间，控制所述红外泛光发射单元启动，以照亮用户的人脸与人眼；同时控制所述红外摄像单元对所述用户的人脸与人眼进行拍摄，以得到红外图像；通过所述图像处理单元对所述红外图像进行处理，以得到图像特征数据；通过所述眼动追踪计算单元对所述图像特征数据进行视线跟踪计算，以得到所述用户的人眼所注视所述显示单元的屏幕位置的信息，完成眼动跟踪。2.根据权利要求1所述的屏下眼动跟踪方法，其特征在于：所述红外泛光发射单元与所述红外摄像单元所在位置的屏幕的透光率为50%—100%之间。3.根据权利要求1所述的屏下眼动跟踪方法，其特征在于：所述红外泛光发射单元发射的红外光的波长为930nm-950nm。4.根据权利要求1所述的屏下眼动跟踪方法，其特征在于：所述红外摄像单元接收的红外光的波长为930nm-950nm。5.根据权利要求1所述的屏下眼动跟踪方法，其特征在于：所述红外泛光发射单元设置有2个，其中一个所述红外泛光发射单元设置在所述显示单元的屏幕下的左侧，另一个所述红外泛光发射单元设置在所述显示单元的屏幕下的右侧；两个所述红外泛光发射单元相对所述显示单元的屏幕的竖向中心线对称设置；或者，所述红外泛光发射单元设置有2个以上，2个以上所述红外泛光发射单元分别对应设置在所述显示单元的屏幕的四个角或四个侧边上。6.根据权利要求1所述的屏下眼动跟踪方法，其特征在于：所述红外摄像单元设置在所述显示单元的屏幕下的中心区域。7.一种屏下眼动跟踪装置，其特征在于，应用于包括显示单元、设置在所述显示单元的屏幕下的红外泛光发射单元、设置在所述显示单元的屏幕下的红外摄像单元、图像处理单元和眼动追踪计算单元的眼动追踪器；该装置包括：图像显示控制模块，用于控制所述显示单元按照预设频率显示预设图像；操作模块，用于在所述预设图像消失的瞬间，控制所述红外泛光发射单元启动，以照亮用户的人脸与人眼；同时控制所述红外摄像单元对所述用户的人脸与人眼进行拍摄，以得到红外图像；图像处理模块，用于通过所述图像处理单元对所述红外图像进行处理，以得到图像特征数据；眼动跟踪计算模块，用于通过所述眼动追踪计算单元对所述图像特征数据进行视线跟踪计算，以得到所述用户的人眼所注视所述显示单元的屏幕位置的信息，完成眼动跟踪。8.根据权利要求7所述的屏下眼动跟踪装置，其特征在于：所述红外泛光发射单元与所述红外摄像单元所在位置的屏幕的透光率为50%—100%之间。9.根据权利要求7所述的屏下眼动跟踪装置，其特征在于：
所述红外泛光发射单元发射的红外光的波长为930nm-950nm。10.根据权利要求7所述的屏下眼动跟踪装置，其特征在于：所述红外摄像单元接收的红外光的波长为930nm-950nm。

技术总结

本发明提供了一种屏下眼动跟踪方法及装置，该方法包括：控制显示单元按照预设频率显示预设图像；在预设图像消失的瞬间，控制红外泛光发射单元启动照亮人脸与人眼；同时控制红外摄像单元对人脸与人眼进行拍摄，得到红外图像；通过图像处理单元对红外图像进行处理，得到图像特征数据；通过眼动追踪计算单元对图像特征数据进行视线跟踪计算，得到人眼所注视显示单元的屏幕位置的信息，完成眼动跟踪。与现有技术相比，本发明能够将红外泛光发射单元、红外摄像单元与显示单元进行完美融合，能够降低产品的厚度，提高屏占比，减少红外泛光发射单元和红外摄像单元与显示单元之间的坐标系的复杂换算，能够减少误差，提升眼动追踪的效率和准确率。率和准确率。率和准确率。