电子设备、电子设备的控制方法和程序与流程

1.本发明涉及电子设备、电子设备的控制方法和程序。

背景技术：

2.对于电子设备，作为用于接收视线的输入的技术的视线输入技术是已知的。专利文献1公开了用于检测视点位置(用户观看的位置)的摄像机。对于生物特征认证，用于通过电子设备指定(认证)用户个体的技术是已知的。专利文献2公开了用于通过使用虹膜来指定用户个体的虹膜认证的技术。
3.现有技术文献
4.专利文献
5.专利文献1：日本特开平5-091394
6.专利文献2：日本特开平8-504979

技术实现要素：

7.发明要解决的问题
8.在视线输入的技术中，由于眼球的转动半径的偏移和瞳孔的打开/关闭期间的视线的偏移根据用户而变化，因此针对各用户，需要作为用于校正这些偏移的数据的被称为校准数据的视线特性数据。然而，在电子设备由多个人使用的情况下，需要预先登记(获取)这多个人的校准数据，并且在使用电子设备的用户改变之后在一些情况下无法准确地检测到视线输入。
9.即使在预先登记了多个人的校准数据的情况下，用户在使用与视线输入相对应的功能时也需要选择他/她的登记内容，这对用户来说是繁重的。除非用户记住所登记的多个校准数据中的哪个校准数据是他/她自己的数据，否则存在用户需要再次获取校准数据的负担。
10.因此，本发明的目的是减少在多个人使用视线输入时的繁琐处理。
11.用于解决问题的方案
12.本发明的第一方面是一种电子设备，其包括：控制部件，用于进行控制，以将与用户的视线有关的特性数据记录在记录部件中；认证部件，用于对用户进行认证；以及检测部件，用于在与经认证的用户的视线有关的特性数据记录在所述记录部件中的情况下，通过使用所记录的与视线有关的特性数据来检测用户的视线。
13.本发明的第二方面是一种电子设备的控制方法，所述控制方法包括：控制步骤，用于进行控制，以将与用户的视线有关的特性数据记录在记录部件中；认证步骤，用于对用户进行认证；以及检测步骤，用于在与经认证的用户的视线有关的特性数据记录在所述记录部件中的情况下，通过使用所记录的与视线有关的特性数据来检测用户的视线。
14.发明的效果
15.根据本发明，可以减少在多个人使用视线输入时的繁琐处理。
附图说明
16.图1是根据实施例1的摄像设备的结构图。
17.图2是用于说明根据实施例1的校准数据的记录等的图。
18.图3是用于说明根据实施例1的校准数据的读取的图。
19.图4是根据实施例1的校准数据的设置的流程图。
20.图5是用于说明根据实施例2的校准数据的读取的图。
21.图6是用于说明根据实施例3的校准数据的记录等的图。
具体实施方式
22.以下参考附图来详细说明本发明的实施例。
23.《实施例1》
24.[摄像设备的结构]
[0025]
参考图1，说明根据本实施例的摄像设备100的结构。图1是根据实施例1的摄像设备100的结构图。摄像设备100不限于诸如数字照相机等的照相机，只要可以接收到来自用户的视线输入即可，并且可以是诸如智能电话和个人计算机等的其他电子设备。
[0026]
摄像设备100包括镜头单元101、摄像元件102、光源单元103、图像处理电路109、记录单元110、存储器电路111、控制电路112、显示单元113、检测单元114和虹膜认证单元115。摄像设备100还包括操作单元116、显示单元117、视线用摄像元件118和总线120。
[0027]
镜头单元101将来自被摄体的入射光会聚到摄像元件102上。例如，镜头单元101包括多个透镜和光圈。
[0028]
摄像元件102基于由镜头单元101会聚的光来获取被摄体出现的图像(图像数据)。光源单元103包括用于用光照射被摄体的光源。
[0029]
图像处理电路109(显像处理单元)对从摄像元件102获取到的图像进行诸如彩矩阵处理和伽马处理等的显像处理。注意，在这些处理中，图像处理电路109根据需要将图像记录在存储器电路111中。图像处理电路109将处理后的图像输出到显示单元113、显示单元117和记录单元110。
[0030]
在记录单元110中记录(存储)有图像和程序。在记录单元110中针对各用户记录有表示虹膜的特性的虹膜数据和与虹膜数据相关联的校准数据。在本实施例中，校准数据是用于校正各用户的眼球的转动半径的偏移和瞳孔打开/关闭期间的视线的偏移、并且指定视点的位置(视点位置)的视线特性数据。换句话说，校准数据是将用户的眼睛的方向与用户实际观看的位置(视点位置)相关联的信息。
[0031]
控制电路112执行图像处理电路109的图像处理和摄像元件102的驱动的一部分的控制。控制电路112执行显示单元113和显示单元117的显示的控制、来自操作单元116的指示的接收的控制、以及向存储器电路111和记录单元110的数据的传递的控制。在不限于控制电路112控制摄像元件102和图像处理电路109的配置的情况下，摄像元件102或图像处理电路109自身可以包括控制单元。
[0032]
显示单元113和显示单元117显示处理后的图像。在本实施例中，显示单元117是电子取景器(evf)。用户可以通过目镜取景器(未示出)从视觉上识别摄像设备100内部的显示单元117上所显示的图像。换句话说，显示单元113是在用户的眼睛不接触(不靠近)目镜取
景器的情况下由用户从视觉上识别的显示单元。显示单元117是在用户的眼睛接触目镜取景器的情况下(在用户查看目镜取景器的情况下)由用户从视觉上识别的显示单元。
[0033]
检测单元114基于用户的眼睛(眼睛的运动)出现的图像来检测用户的视线(视点位置；观看位置；视线位置)。在本实施例中，在用户通过目镜取景器查看显示单元117的状态下检测用户的视线(视点位置)。检测单元114针对各用户获取校准数据。注意，在本实施例中，用户可以根据视点位置来操作摄像设备100中的各功能单元。例如，在检测到显示单元117上的视点位置的情况下，摄像设备100可以针对所检测到的位置执行自动调焦(af)。注意，检测单元114基于从视线用摄像元件118获取到的用户的眼睛出现的图像来检测用户的视点位置。
[0034]
虹膜认证单元115获取作为用户特有的信息(生物特征数据)的虹膜数据，并且对用户进行认证(进行虹膜认证)以将校准数据和虹膜数据(用户个体)彼此相关联。
[0035]
操作单元116生成与用户操作相对应的操作信号。操作单元116包括触摸面板、拨盘、4方向键、快门按钮、电源开关、菜单按钮和播放按钮等。
[0036]
视线用摄像元件118获取作为用于检测用户的视线的图像的用户的眼睛出现的图像。在本实施例中，视线用摄像元件118包括对红外光具有感光度的ir像素。总线120是摄像设备100中的功能单元交换数据所使用的共同路径。
[0037]
[获取并记录校准数据的流程]
[0038]
参考图2，说明从摄像设备100启动起直到获取到校准数据并将校准数据记录在记录单元110中为止的处理的流程。图2例示摄像设备100中的用于执行与获取并记录校准数据的流程相关的处理的功能单元。注意，光源单元103包括光源201、光源控制单元202和棱镜205。光源201施加红外光(ir光)。光源控制单元202控制光源201以用光照射用户的眼睛200。棱镜205布置在显示单元117的前方，并且使从用户的眼睛200施加的光折射以入射到视线用摄像元件118。
[0039]
首先，光源控制单元202控制光源201，使得用来自光源201的红外光照射用户的眼睛200。然后，被用户的眼睛200反射的红外光由棱镜205折射以入射到视线用摄像元件118。视线用摄像元件118对红外光具有感光度，因此可以获取到用户的眼睛200出现的图像。
[0040]
在由虹膜认证单元115进行认证的用户的校准数据没有记录在记录单元110中的情况下，检测单元114中所包括的数据检测单元204根据视线用摄像元件118所获取到的眼睛200的图像来获取校准数据。注意，在预先获取到了校准数据的情况下，检测单元114可以根据视线用摄像元件118所获取到的用户的眼睛200的图像来检测用户在显示单元117上观看的位置(视点位置)。
[0041]
在摄像设备100的启动时，虹膜认证单元115基于来自视线用摄像元件118的图像来获取虹膜数据。虹膜部分的图案因人而异，因此可以通过将通过量化该图案的特征量所获得的信息视为虹膜数据来指定个体。虹膜认证单元115将虹膜数据和校准数据彼此相关地(相关联地)记录在记录单元110中。注意，在要与虹膜数据相关联的校准数据没有记录在记录单元110中的情况下，如上所述，数据检测单元204获取校准数据(执行校准)。注意，虹膜认证单元115可以在不限于摄像设备的启动的定时的情况下，在从视线用摄像元件118获取到图像的情况下或者在目镜检测单元(未示出)检测到表示用户查看作为显示单元117的evf的眼睛的接触(眼睛的接近)的情况下，检测虹膜图案。注意，眼睛接触检测例如可以在
目镜检测单元用红外线照射物体的情况下基于目镜检测单元所接收到的被物体反射的红外光的光量的变化来进行。
[0042]
[读取校准数据的流程]
[0043]
图3是示出随着时间(定时t310至t313)读取校准数据的序列的图。图3例示利用虹膜认证单元115和检测单元114的视线检测的处理以及利用光源201和视线用摄像元件118的处理。
[0044]
在定时t310，光源201用光照射(通常照射)用户的眼睛，并且视线用摄像元件118获取用户的眼睛的图像。注意，在虹膜图案的检测时在正常施加(视线检测所用的施加)中光量不足的情况下，光源201可以增加要施加的光的输出的光量。换句话说，可以从光源201施加在虹膜认证和视线检测之间具有不同光量的光。
[0045]
在定时t311，虹膜认证单元115从所获取到的眼睛的图像来获取(提取)虹膜图案。
[0046]
在定时t312，在与记录单元110中提取的虹膜图案匹配的虹膜数据记录在记录单元110中的情况下，控制电路112获取已与该虹膜数据相关联地记录在记录单元110中的校准数据。控制电路112将所获取到的校准数据设置(确定)为用于检测视线的数据。
[0047]
在定时t313之后，基于所设置的校准数据，检测单元114从针对视线检测所获取到的图像来获取用户的视点位置(检测用户的视线)。
[0048]
[用于设置校准数据的处理]
[0049]
参考图4，以下说明用于将校准数据设置为视线检测所使用的数据的处理。图4是示出校准数据的设置处理的流程图。在电源开关接通并且摄像设备100启动时，该流程图中的处理开始。注意，在控制电路112读取并执行记录单元110(存储介质)中所存储的程序时，实现该流程图中的处理。
[0050]
在s401中，控制电路112控制虹膜认证单元115以检测用户的虹膜图案。
[0051]
在s402中，控制电路112判断与s401中检测到的虹膜图案匹配的虹膜数据(虹膜图案数据)是否记录在记录单元110中。在记录了与s401中检测到的虹膜图案匹配的虹膜图案的情况下，流程进入s403。否则，流程进入s404。换句话说，在s402中，通过虹膜图案(虹膜认证)指定用户，并且判断用户是否过去执行了校准并将校准数据记录在记录单元110中。
[0052]
在s403中，控制电路112将与所检测到的虹膜图案相关联地记录在记录单元110中的校准数据设置为用于检测视线的数据。换句话说，在本实施例中，在s402和s403中，控制电路112执行虹膜认证，并将与经虹膜认证的用户相关联地记录在记录单元110中的校准数据设置为视线检测所使用的数据。
[0053]
在s404中，控制电路112将用于选择是否进行校准的选择画面显示在显示单元117上。之后，控制电路112判断检查了选择画面的用户是否请求(指示)校准。在用户请求校准的情况下，流程进入s405。否则，流程进入s407。注意，在不询问用户是否进行校准的情况下，流程可以一律进入s405，或者一律进入s407。
[0054]
在s405中，控制电路112控制检测单元114(数据检测单元204)以新获取校准数据(以执行校准)。
[0055]
在s406中，控制电路112将在s405中获取到的校准数据设置(反映)为用于检测视线的数据。控制电路112将在s401中获取到的虹膜数据和在s405中获取到的校准数据彼此相关联地记录(保存)在记录单元110中。以这种方式，用户可以从下次起使用在s405中获取
到的校准数据。
[0056]
在s407中，控制电路112将作为预先设置的一般校准数据的标准数据设置为视线检测所使用的数据。标准数据可以是一般人(多个人)的校准数据的平均数据。注意，标准数据可以是在从工厂运送摄像设备100时设置的，或者可以是由用户预先设置的。可以将根据性别、年龄、种族和身高所准备的多个标准数据预先记录在记录单元110中，并且在s407中，用户可以从这多个标准数据中选择视线检测所使用的数据。
[0057]
如上所述，在实施例1中，在摄像设备执行虹膜认证(个人认证)并且将与经虹膜认证的用户相关联的校准数据记录在记录单元中的情况下，摄像设备将该校准数据用于用户的视线的检测。换句话说，通过在摄像设备启动时获取虹膜数据来指定使用了摄像设备一次的用户，因此可以平滑地使用摄像设备中所记录的与用户有关的校准数据。即使对于从未使用摄像设备的用户，也可以通过在摄像设备的启动时获取到的虹膜数据来彼此相关联地容易地记录(登记)用户和校准数据。因此，即使在多个人使用摄像设备的情况下，也可以平滑地使用与视线输入相对应的功能。
[0058]
《实施例2》
[0059]
在实施例1中，光源施加红外光以进行视线检测和虹膜数据获取，但在实施例2中，将红外光用于视线检测并且将可见光(rgb)用于虹膜数据获取。注意，根据实施例2的摄像设备100的结构与如图1和图2所示的根据实施例1的摄像设备100的结构相同。在下文，仅说明与实施例1的不同之处，并且省略了对相同部分的说明。注意，可见光是对人类的眼睛可见的波长中的光，并且例如是波长为从0.3μm到0.7μm的光。红外光是波长比可见光中的红的波长长且对人类的眼睛不可见的光，并且例如是波长为从0.7μm到1mm的光。
[0060]
在本实施例中，视线用摄像元件118除了包括对红外光具有感光度的ir像素之外，还包括对可见光(rgb)具有感光度的rgb像素。在本实施例中，显示单元117还用作可见光的光源。作为具体处理，视线用摄像元件118通过ir像素接收来自光源201的红外光的反射光，并将结果作为图像输出到检测单元114。视线用摄像元件118通过rgb像素接收来自作为evf的显示单元117的可见光的反射光，并将结果作为图像输出到虹膜认证单元115。
[0061]
参考图5，以下说明校准数据的读取。图5是例示实施例2中的校准数据的读取的序列的图。在本实施例中，代替根据实施例1的图3所示的序列中的定时t310处的处理，执行定时t510处的处理。在本实施例中，在定时t510，显示单元117施加可见光，并且获取用户的眼睛处的可见光的反射光，使得视线用摄像元件118获取rgb图像作为用户的眼睛的图像。定时t311之后的处理与根据实施例1的处理相同。
[0062]
注意，在本实施例中，视线检测所用的摄像元件获取视线检测所用的图像和虹膜认证所用的图像这两者。然而，该配置不限于此。第一摄像元件可以获取视线检测所用的图像(接收红外光)，并且与第一摄像元件不同的第二摄像元件可以获取虹膜认证所用的图像(接收可见光)。在本实施例中，说明了提供两个光源(即，视线检测所用的光源和虹膜认证所用的光源)的配置。然而，视线检测和虹膜认证可以由单个光源进行。可以采用能够发出红外光和可见光这两者的光源，使得在虹膜认证和视线检测之间在切换施加定时的同时施加光。
[0063]
如上所述，在实施例2中，使用具有与用于检测视线的光的波长不同的波长的光来获取虹膜数据。使用不同的光束来进行摄像可以使得在视线检测和虹膜认证之间改变摄像
期间的分辨率和曝光条件更容易，因此可以设置取决于用途的最佳条件。将用于检测视线的功能单元和用于进行虹膜认证的功能单元分开变得更容易，因此本实施例可以应用于各种设备。
[0064]
《实施例3》
[0065]
在实施例3中，代替虹膜认证，摄像设备100通过指纹认证来指定用户(个人认证；识别)。在下文，省略了对与实施例1中相同的部分的说明，并且仅详细说明不同之处。
[0066]
代替根据实施例1的摄像设备100的结构中的虹膜认证单元115，根据本实施例的摄像设备100包括指纹认证单元600。注意，在图6中，图2所示的光源单元103、视线用摄像元件118和显示单元117被共同例示为视线检测块610。
[0067]
代替虹膜认证单元115通过使用视线用摄像元件118所拍摄到的图像来进行虹膜认证(个人认证)的处理，指纹检测单元601检测用户的指纹图案，并且指纹认证单元600获取指纹数据以进行指纹认证。记录单元110将指纹数据和校准数据彼此相关联地记录在自身中。
[0068]
换句话说，在本实施例中，在摄像设备100的启动时，控制电路112控制指纹检测单元601以检测用户的指纹图案，并且控制指纹认证单元600以获取指纹数据。然后，在将与所获取到的指纹数据一致的指纹数据记录在记录单元110中的情况下，控制电路112将与所获取到的指纹数据相关联地记录的校准数据设置为视线检测所使用的数据。通过这样的处理，即使在使用指纹来进行个人认证的情况下，也可以获得与实施例1中相同的效果。
[0069]
注意，在本实施例中，可以将指纹认证安装到诸如智能电话等的不具有虹膜认证功能的其他电子设备和个人计算机，使得校准数据和指纹数据彼此相关联。
[0070]
代替虹膜认证和指纹认证，可以使用自由选择的个人认证。例如，可以通过检测用户的面部并获取面部数据来进行面部认证。可以通过诸如静脉图案等的生物特征认证来进行个人认证。可以使用任何认证方法，只要认证所用的数据(生物特征数据)与校准数据可以彼此相关联即可。
[0071]
如上所述，在本实施例中，说明了通过除虹膜认证以外的个人认证来指定用户并且读取与用户相对应的校准数据的示例。以这种方式，可以在不依赖于特定个人认证的情况下将校准数据与用户相关联。例如，在根据实施例1的摄像设备的情况下，除非用户的眼睛接触(靠近)目镜取景器，否则不能进行虹膜认证，但在用户的手指抓握把手的情况下，可以进行指纹认证(个人认证)。以这种方式，通过改变个人认证所用的方法，能够获得可以扩大获取定时的范围的效果。
[0072]
尽管已经基于优选实施例详细说明了本发明，但本发明不限于特定实施例，并且在没有背离本发明的主旨的范围内的各种模式也包括在本发明中。此外，上述实施例中的各实施例仅例示本发明的一个实施例，并且可以适当地组合这些实施例。
[0073]
例如，在摄像设备100周围的环境光的明度等于或大于预定明度的情况下，可以使用面部认证，并且在摄像设备100周围的环境光的明度小于(暗于)预定明度的情况下，可以进行虹膜认证(或指纹认证)。注意，在摄像设备100周围的环境光的明度小于预定明度的情况下，可以通过通知单元通知用户，使得用户使眼睛靠近目镜取景器。以这种方式，使用多个种类的认证使得能够在许多情况下对用户进行认证。
[0074]
注意，上述实施例中的各实施例中的各功能单元不必需要是单独的硬件。两个或
多于两个功能单元的功能可以由共同的硬件实现。一个功能单元的多个功能中的各功能可以由单独的硬件实现。一个功能单元的两个或多于两个功能可以由共同的硬件实现。各功能单元不必需要由诸如asic、fpga和dsp等的硬件来实现。例如，设备可以包括处理器和存储有控制程序的存储器(存储介质)。设备中所包括的功能单元的至少一部分的功能可以在处理器从存储器读取并执行控制程序时实现。
[0075]
(其他实施例)
[0076]
本发明可以通过以下处理来实现：将用于实现上述实施例中的一个或多于一个功能的程序通过网络或存储介质供给到系统或设备，并且该系统或设备中的计算机中的一个或多于一个处理器读取并执行该程序。本发明可以通过用于实现一个或多于一个功能的电路(例如，asic)来实现。
[0077]
本发明不限于上述实施例，并且可以在没有背离本发明的精神和范围的情况下进行各种改变和修改。因此，添加了所附权利要求书以明确本发明的范围。
[0078]
本技术要求于2020年4月30日提交的日本专利申请2020-080331的优先权，其全部内容通过引用而被并入本文。
[0079]
附图标记说明
[0080]
100 摄像设备
[0081]
110 记录单元
[0082]
112 控制电路
[0083]
114 检测单元
[0084]
115 虹膜认证单元

技术特征：

1.一种电子设备，包括：控制单元，其被配置为进行控制，以将与用户的视线有关的特性数据记录在记录单元中；认证单元，其被配置为对用户进行认证；以及检测单元，其被配置为在与经认证的用户的视线有关的特性数据记录在所述记录单元中的情况下，通过使用所记录的与视线有关的特性数据来检测用户的视线。2.根据权利要求1所述的电子设备，其中，所述认证单元包括虹膜认证单元，所述虹膜认证单元被配置为通过检测用户的虹膜图案来对用户进行认证。3.根据权利要求2所述的电子设备，还包括目镜取景器，其中在用户将眼睛移动得更靠近所述目镜取景器的情况下，所述目镜取景器使得用户能够从视觉上识别显示单元上的显示，其中，在用户的眼睛靠近所述目镜取景器的情况下，所述认证单元通过用户的虹膜图案来对用户进行认证。4.根据权利要求3所述的电子设备，还包括通知单元，所述通知单元被配置为在所述电子设备周围的环境光的明度比预定明度暗的情况下，通知用户将眼睛移动得更靠近所述目镜取景器。5.根据权利要求2至4中任一项所述的电子设备，还包括摄像单元，所述摄像单元被配置为通过接收从光源施加并被用户的眼睛反射的第一光来获取用户的眼睛的第一图像，其中，所述认证单元基于所述第一图像来检测用户的虹膜图案。6.根据权利要求5所述的电子设备，其中，所述摄像单元通过接收从光源施加并被用户的眼睛反射的第二光来获取用户的眼睛的第二图像，以及所述检测单元基于所述第二图像来检测用户的视线。7.根据权利要求6所述的电子设备，还包括：第一光源，其被配置为用所述第一光照射用户的眼睛；以及第二光源，其被配置为用所述第二光照射用户的眼睛。8.根据权利要求7所述的电子设备，其中，所述第二光源是电子取景器即evf，以及所述第二光是可见光。9.根据权利要求6至8中任一项所述的电子设备，其中，所述第一光和所述第二光具有不同的波长。10.根据权利要求6至9中任一项所述的电子设备，其中，所述第一光和所述第二光具有不同的光量。11.根据权利要求6至10中任一项所述的电子设备，其中，所述第一光是红外光。12.根据权利要求1至11中任一项所述的电子设备，其中，所述认证单元包括指纹认证单元，所述指纹认证单元被配置为通过检测用户的指纹图案来对用户进行认证。13.根据权利要求1至12中任一项所述的电子设备，其中，所述认证单元包括面部认证单元，所述面部认证单元被配置为通过检测用户的面部的图案来对用户进行认证。14.根据权利要求1至13中任一项所述的电子设备，其中，
在与经认证的用户的视线有关的特性数据没有记录在所述记录单元中的情况下，所述检测单元新获取与用户的视线有关的特性数据，并且使用所述特性数据来检测用户的视线，以及所述控制单元进行控制，以将所述检测单元新获取的与视线有关的特性数据记录在所述记录单元中。15.根据权利要求1至13中任一项所述的电子设备，其中，在与经认证的用户的视线有关的特性数据没有记录在所述记录单元中的情况下，所述检测单元使用预先设置的与视线有关的特性数据，由此检测用户的视线。16.根据权利要求1至15中任一项所述的电子设备，其中，所述认证单元在所述电子设备启动时对用户进行认证。17.一种电子设备的控制方法，所述控制方法包括：控制步骤，用于进行控制，以将与用户的视线有关的特性数据记录在记录单元中；认证步骤，用于对用户进行认证；以及检测步骤，用于在与经认证的用户的视线有关的特性数据记录在所述记录单元中的情况下，通过使用所记录的与视线有关的特性数据来检测用户的视线。18.一种程序，用于使得计算机用作根据权利要求1至16中任一项所述的电子设备中的各单元。

技术总结

一种电子设备包括：控制部件，用于进行控制，以将与用户的视线有关的特性数据记录在记录部件中；认证部件，用于对用户进行认证；以及检测部件，用于在与经认证的用户的视线有关的特性数据记录在所述记录部件中的情况下，通过使用所记录的与视线有关的特性数据来检测用户的视线。户的视线。户的视线。

技术研发人员：

西泽秀太

受保护的技术使用者：

佳能株式会社

技术研发日：

2021.04.13

技术公布日：

2022/12/22