一种用于采集眼底图像的方法及其相关产品与流程

1.本披露一般涉及图像采集领域。更具体地，本披露涉及一种用于采集眼底图像的方法、装置、眼底相机和计算机可读存储介质。

背景技术：

2.从生理结构上来说，眼球内部相当于一个暗室。为此，在采集眼底图像的过程中，通常会利用闪光灯透过瞳孔往眼球内部发射光线，从而照亮眼底。此后，眼底图像采集设备（如眼底相机）的成像光路将接受眼底的反射光线，并且在图像传感器（“sensor”）上进行成像。由于人眼在前述光线的刺激下会产生瞳孔收缩和其他的不适，影响用户体验；同时也会由于眼球运动或瞳孔收缩造成采集到的眼底图像质量不佳。鉴于此，为了提升眼底图像的成像质量并同时改善用户体验，需要降低光线照射的时间。为此，就需要对闪光灯和图像传感器的工作进行精确的控制。
3.在知道图像传感器的帧曝光时刻的情况下，可以方便的进行闪光灯与图像传感器的曝光同步。然而，具有闪光灯同步信号的图像传感器价格昂贵，且需要特定的硬件电路支持，通用性不好。特别地，在使用逐行曝光的卷帘快门（“rolling shutter”）的眼底相机中，无法做到精确的闪光同步。另外，当图像传感器的曝光时间和/或闪光灯的补光时长设置不当时，不仅在一些应用场景中会带来“果冻效应”，还可能因为不同像素行的曝光时间不同造成图像明暗不均匀，从而明显降低眼底图像的图像质量。
4.有鉴于此，亟需提供一种用于采集眼底图像的方案，以便克服上述所提到的技术缺陷，获得高质量的眼底图像和良好的用户体验。

技术实现要素：

5.为了至少解决如上所提到的一个或多个技术问题，本披露在多个方面中提出了一种用于采集眼底图像的方案。
6.在第一方面中，本披露提供一种用于采集眼底图像的方法，其特征在于，包括：响应于对眼底进行图像采集的图像采集指示，调整用于所述图像采集的图像传感器的曝光时间；以及在所述图像传感器的所有像素行都处于所述曝光状态后，对所述眼底进行图像采集以获得所述眼底图像。
7.在一个实施例中，其中调整用于所述图像采集的图像传感器的曝光时间包括将所述图像传感器的曝光时间设置为第一时间量，以便在所述第一时间量内完成对所述眼底的图像采集。
8.在一个实施例中，其中将所述图像传感器的曝光时间设置为第一时间量，以便在所述第一时间量内完成对所述眼底的图像采集包括在所述第一时间量内的预定时间点，确定所述图像传感器的所有像素行都处于曝光状态。
9.在一个实施例中，在所述图像传感器的所有像素行都处于曝光状态后，对所述眼底进行图像采集包括在所述图像传感器的所有像素行都处于所述曝光状态后，开启闪光灯
以便对所述眼底进行图像采集。
10.在一个实施例中，其中开启闪光灯以便对所述眼底进行图像采集包括点亮闪光灯并且持续第二时间量，以便对所述眼底进行图像采集。
11.在一个实施例中，其中在所述第二时间量的结束处，所述图像传感器的所有像素行仍处于所述曝光状态。
12.在第二方面中，本披露提供一种用于采集眼底图像的装置，其特征在于，包括：处理器；以及存储器，其存储用于采集眼底图像的计算机程序指令，当所述计算机程序指令由所述处理器执行时，使得实现根据第一方面及其多个实施例所述的方法。
13.在第三方面中，本披露提供一种眼底相机，其特征在于，包括根据上述第二方面中所述的装置。
14.在一个实施例中，其中所述眼底相机还包括用于眼底图像采集的图像传感器，和用于向眼底照射光线的闪光灯。
15.在第四方面中，本披露提供一种计算机可读存储介质，其存储用于采集眼底图像的计算机程序指令，当所述计算机程序指令由处理器执行时，使得实现根据第一方面及其多个实施例所述的方法。
16.根据如上所述的多个方面及其多个实施例，本披露的方案通过调整图像传感器的曝光时间，能够使得在图像传感器的所有像素行都处于曝光状态时对眼底进行图像采集，从而可以获得高质量的眼底图像。进一步，在一些实施例中，通过将图像传感器的曝光时间设置为第一时间量，可以确保所有像素行在用于补光的闪光灯开启前都处于曝光状态。更进一步地，在一些实施例中，通过在第一时间量的预定时间点处确定所有像素行都处于曝光状态并且此后将闪光灯点亮预定的第二时间量，可以实现在图像传感器的所有像素行都已处于曝光状态下并且在闪光灯的有效补光时长下完成对眼底图像的采集，从而可以达到优化闪光灯的照明以及获得高质量眼底图像的效果。另外，由于通过第二时间量对闪光灯的补光操作进行有效控制，本披露的方案也显著提升了用户体验。最后，鉴于本披露的方案可以通过程序指令（即软件）来实现，因此也节约了眼底相机的硬件成本。
附图说明
17.通过参考附图阅读下文的详细描述，本披露示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本披露的若干实施方式，并且相同或对应的标号表示相同或对应的部分，其中：图1示出了本披露一些实施例的用于采集眼底图像的方法的简化流程图；图2示出了本披露一些实施例的用于采集眼底图像的方法的详细流程图；图3示出了本披露一些实施例的用于采集眼底图像的方法的时序原理图；图4示出了本披露另一些实施例的用于采集眼底图像的方法的示例性操作原理图；以及图5示出了本披露实施例的用于采集眼底图像的装置的示例性结构框图。
具体实施方式
18.下面将结合本披露实施例中的附图，对本披露实施例中的技术方案进行清楚、完
整地描述，显然，所描述的实施例是本披露一部分实施例，而不是全部的实施例。基于本披露中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本披露保护的范围。
19.应当理解，本披露的说明书和权利要求书中使用的术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
20.还应当理解，在此本披露说明书中所使用的术语仅仅是出于描述特定实施例的目的，而并不意在限定本披露。如在本披露说明书和权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解，在本披露说明书和权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
21.如在本说明书和权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当... 时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
[0022]
下面结合附图来详细描述本披露的具体实施方式。
[0023]
图1示出了本披露一些实施例的用于采集眼底图像的方法100的简化流程图。可以理解的是，此处的方法100可以由布置于眼底相机内的处理器来执行，以便实现对图像传感器的控制。在一些场景中，方法100还可以由与眼底相机通信并且对眼底相机内的部分元件起控制作用的外部处理器或控制单元来执行。
[0024]
如图1中所示，在步骤s102处，响应于对眼底进行图像采集的图像采集指示，调整用于图像采集的图像传感器的曝光时间。根据不同的实施场景，这里的图像传感器可以采取不同的型号或具有不同的物理特性，本披露在此方面并不做任何限制。在一个实施例中，本披露的图像传感器可以与用于补光的闪光灯相配合使用，以高效完成对眼底的图像采集，并且减轻眼底图像采集过程中对眼底造成的不适和伤害。
[0025]
在步骤s104处，在所述图像传感器的所有像素行都处于所述曝光状态后，对所述眼底进行图像采集，以获得所述眼底图像。如前所述，本披露的方案在图像传感器的所有像素行都处于曝光状态后才执行眼底图像采集是考虑到这样的情形。即，在一些应用场景中，特别是在使用卷帘快门时，其通过处理器（或控制器）来控制所述图像传感器的逐行曝光，由此造成“果冻效应”并且从而影响眼底图像的成像质量。针对于此，本披露的方案仅在所有像素行都处于曝光状态后才执行眼底图像的采集，从而避免涉及像素行的同步操作以及前述的“果冻效应”。
[0026]
图2示出了本披露一些实施例的用于采集眼底图像的方法200的详细流程图。可以理解和看出的是，方法200示出了方法100的更多细节并且可以视为方法100的一种可行或优选的实施方式，因此前文关于方法100的描述同样适用于图2中所示的方法200。
[0027]
如图2所示，在步骤s202处，接收对眼底进行图像采集的图像采集指示。根据不同的实施方式，这里的图像采集指示可以通过不同的方式来实现。例如，在一个实施例中，前述的图像采集指示可以是用户通过眼底相机的接口输入至眼底相机的处理器的指令。在另一个实施例中，前述的图像采集指示可以是在执行眼底图像采集期间，当眼底相机完成眼
底图像的对焦过程后，眼底相机的处理器或外接处理器自动生成的指令。
[0028]
在步骤s204处，响应于上述对眼底进行图像采集的图像采集指示，将所述图像传感器的曝光时间调整至第一时间量（例如200毫秒），该第一时间量可以是如图3中所示出的第一时间量。根据本披露的上下文，本领域技术人员可以理解的是通过延长曝光时间至第一时间量，即超出现有的卷帘快门控制图像传感器的曝光时长，本披露的方案在时间上给所有像素行都进入曝光状态留有裕度，从而保证在闪光灯开启执行补光操作时，所有的像素行由于曝光时间的调整而都可以进入到曝光状态。
[0029]
在执行完上述的延长操作后，在步骤s206处，在第一时间量的预定时间点，确定图像传感器的所有像素行都处于曝光状态，其中预定时间点可以如图3中所示出的预定时间点，即在第一像素行开始进入曝光状态后的一定时间段（例如30毫秒）。根据不同的实施方式，这里的确定操作可以具有不同的实现形式。例如，在一个实施方式中，可以预先设置特定的时间值作为预定时间点，如前述从第一像素行开始进入曝光状态后的30毫秒。在另一个实施方式中，可以通过多次实验来获取设置该预定时间点的经验值，从而在具有该经验值的预定时间点处，图像传感器中的所有像素行都进入到曝光状态。
[0030]
在步骤s208处，开启闪光灯，并且持续对眼球内部（即眼底）照射第二时间量（例如25毫秒）。如前所述，此处的闪光灯可以对眼底发射光线来实现补光，从而达到照亮眼底的效果。接着，成像光路接受眼底的反射光线，以在所有像素行都已经曝光的图像传感器上执行成像。由此，在步骤s210处，在第一时间量到期后，完成对图像传感器上所有像素行的数值读取，从而可以获取到眼底图像。
[0031]
通过上述结合图2对本披露的用于眼底图像采集方案的描述，本领域技术人员可以理解的是本披露的方案充分地利用图像传感器的特点，通过延长传感器的曝光时间，并且配合闪光灯的控制，由此不仅在眼底图像采集中使得例如使用卷帘快门的图像传感器能够达到如全局快门（“global shutter”）的拍照效果，而且可以减少眼底图像拍摄过程中闪光灯同步的需求。通过这样的方式，不仅可以大幅减小眼底图像采集过程中射入到眼球的光线，而且也显著减轻眼部不适的反应，从而能够获得良好的用户体验。
[0032]
图3示出了本披露一些实施例的用于采集眼底图像的方法300的时序原理图。可以理解的是，这里的方法300即可以包括图1所述的方法100、图2所述的方法200，也可以包括方法100或200的变形方案。
[0033]
如图3所示，其示出本方案的眼底图像采集过程的时间线（或称时间轴）。进一步，图3还示意性地示出图像传感器的多个像素行307，如图中箭头所示出的。另外，斜线304指示各个像素行的曝光时间点，其中曝光301是图像传感器的第一像素行的曝光起始点。为了实现闪光灯在所有的像素行都进入曝光状态时才开启，本披露的方案将图像传感器的各个像素行的曝光时长调整成（或延长至）如图3中所示出的第一时间量306，并且将预定时间点302设定为确定所有像素行进入曝光状态的时间点。
[0034]
当在时间轴上时间经过预定时间点302后，本披露的处理器将控制闪光灯开启，以便以第二时间量303的时间长度对眼球进行照射，并且在第二时间量的时间流逝后，关闭闪光灯以减小对眼球的光线照射。从图中所示出的可以看出，当闪光灯关闭后，图像传感器的所有像素行仍处于曝光状态，而非有些像素行已经进入数据读取状态。此后，当图像传感器的各自像素行经过第一时间量的时长后，眼底相机的处理器可以从各个像素行读取数据，
例如从代表图像帧起始的fs1帧至代表图像帧结束的fe1帧,由此获得一帧眼底图像。
[0035]
图4示出了本披露另一些实施例的用于采集眼底图像的方法400的示例性操作原理图。如图4中所示，其沿时间线示出执行本披露的一次眼底图像采集所执行的一系列操作。具体地，在一次眼底图像采集过程中，本披露的图像传感器可以首先工作在一般工作模式（即连续模式），并且眼底相机执行一系列的预处理操作，例如依次完成主摄像头的工作距离对齐，并且利用一般模式下的眼底红外预览，从而完成眼底图像的对焦过程。在对焦完成后，在需要对眼底图像进行采集时，也即前文所提及的接收到图像采集指示时，则此时在步骤s401处，将眼底相机的工作模式切换到眼底图像采集，此后可以执行（1）将图像传感器的曝光时间增加（或称延长），例如增加到200毫秒。（2）等待一定的时间（也即等待到上文所述的预定时间点），使得图像传感器的所有行都开始曝光。接着，在步骤s402处，可以点亮闪光灯对眼部进行补光照射，并持续一定时间（也即上文所述的第二时间量，例如图中所示出的25毫秒），然后在步骤s403处关闭闪光灯，以便避免对眼部的过多照射。最后，在步骤s404处，可以将获取的图像确定为所需的眼底图像。
[0036]
图5示出了本披露实施例的用于采集眼底图像的采集系统500的示例性结构框图。该采集系统500可以包括根据本发明实施例的采集装置501以及其外围设备和外部网络，其中采集装置501用于对图像传感器的曝光时间、闪光灯的开启和关闭进行控制，以及图像帧的采集，以实现前述结合图1-图4所述的本披露的眼底图像采集方案。
[0037]
如图5中所示，本披露用于眼底图像采集的装置501可以包括cpu 5011，其可以是通用cpu、专用cpu或者其他信息处理以及程序运行的执行单元。进一步，装置501还可以包括大容量存储器5012和只读存储器rom 5013，其中大容量存储器5012可以配置用于存储各类数据，包括眼底图像数据以及运行装置501所需要的各种程序，rom 5013可以配置成存储对于装置501的加电自检、系统中各功能模块的初始化、系统的基本输入/输出的驱动程序及引导操作系统所需的数据。
[0038]
进一步，系统 500还包括其他的硬件平台或组件，例如示出的tpu 5014、gpu 5015、fpga 5016和mlu 5017。可以理解的是，尽管在本披露的采集系统 500中示出了多种硬件平台或组件，但这里仅仅是示例性的而非限制性的，本领域技术人员可以根据实际需要增加或移除相应的硬件。例如，装置501可以仅包括cpu作为公知硬件平台和另一硬件平台作为本披露的图像采集平台。
[0039]
本披露的装置501还包括通信接口5018，从而可以通过该通信接口5018连接到局域网/无线局域网（lan/wlan）505，进而可以通过lan/wlan连接到本地服务器506或连接到因特网（“internet”）507。替代地或附加地，本发明的装置501还可以通过通信接口5018基于无线通信技术直接连接到因特网或蜂窝网络，例如基于第三代（“3g”）、第四代（“4g”）或第5代（“5g”）的无线通信技术。在一些应用场景中，本披露的装置501还可以根据需要访问外部网络的服务器508以及可能的数据库509，以便获得各种已知的程序、数据和模块，并且可以远程地存储采集的各种眼底数据。
[0040]
装置501的外围设备可以包括显示装置502、输入装置503以及数据传输接口504。在一个实施例中，显示装置502可以例如包括一个或多个扬声器和/或一个或多个视觉显示器，其配置用于对本披露的装置的采集过程或者最终眼底图像输出进行语音提示和/或图像视频显示。输入装置503可以包括例如键盘、鼠标、麦克风、姿势捕捉相机，眼底相机或其
主副摄像头，或其他输入按钮或控件，其配置用于接收测试数据的输入或用户指令。数据传输接口504可以包括例如串行接口、并行接口或通用串行总线接口（“usb”）、小型计算机系统接口（“scsi”）、串行ata、火线（“firewire”）、pci express和高清多媒体接口（“hdmi”）等，其配置用于与其他设备或系统的数据传输和交互。根据本披露的方案，该数据传输接口504可以接收眼底图像数据。
[0041]
本披露的装置501的上述cpu 5011、大容量存储器5012、只读存储器rom 5013、tpu 5014、gpu 5015、fpga 5016、mlu 5017和通信接口 5018可以通过总线5019相互连接，并且通过该总线与外围设备实现数据交互。在一个实施例中，通过该总线5019，cpu 5011可以控制装置501中的其他硬件组件及其外围设备。
[0042]
在工作中，本披露的装置501的处理器cpu 5011可以通过输入装置503或数据传输接口504接收用户指令或外部输入，并调取存储于存储器5012中的计算机程序指令或代码（例如涉及代码）。基于此，本披露实际上也公开了一种用于采集眼底图像的装置，其特征在于，包括：处理器；以及存储器，其存储用于采集眼底图像的计算机程序指令，当计算机程序指令由处理器执行时，使得实现根据图1或图2所述的方法。
[0043]
还应当理解，本披露示例的执行指令的任何模块、单元、组件、服务器、计算机、终端或设备可以包括或以其他方式访问计算机可读介质，诸如存储介质、计算机存储介质或数据存储设备（可移除的）和/或不可移动的）例如磁盘、光盘或磁带。计算机存储介质可以包括以用于存储信息的任何方法或技术实现的易失性和非易失性，可移动和不可移动介质，例如计算机可读指令、数据结构、程序模块或其他数据。
[0044]
基于上文，本披露还公开了一种计算机可读存储介质，其中存储有程序指令，所述程序指令适于由处理器加载并执行如图1或图2所示出的方法步骤。进一步，本披露还公开了一种眼底相机，其包括结合图5所述的装置501。在一场景中，该眼底相机还可以包括：用于眼底图像采集的图像传感器，用于向眼底照射光线的闪光灯以及卷帘快门，从而实现对眼底的有效图像采集。
[0045]
上文的计算机可读存储介质可以是任何适当的磁存储介质或者磁光存储介质，比如，阻变式存储器rram（resistive random access memory）、动态随机存取存储器dram（dynamic random access memory）、静态随机存取存储器sram（static random-access memory）、增强动态随机存取存储器edram（enhanced dynamic random access memory）、高带宽内存hbm（high-bandwidth memory）、混合存储立方hmc（hybrid memory cube）等等，或者可以用于存储所需信息并且可以由应用程序、模块或两者访问的任何其他介质。任何这样的计算机存储介质可以是设备的一部分或可访问或可连接到设备。本发明描述的任何应用或模块可以使用可以由这样的计算机可读介质存储或以其他方式保持的计算机可读/可执行指令来实现。
[0046]
虽然本文已经示出和描述了本披露的多个实施例，但对于本领域技术人员显而易见的是，这样的实施例只是以示例的方式来提供。本领域技术人员可以在不偏离本披露思想和精神的情况下想到许多更改、改变和替代的方式。应当理解的是在实践本披露的过程中，可以采用对本文所描述的本披露实施例的各种替代方案。所附权利要求书旨在限定本披露的保护范围，并因此覆盖这些权利要求范围内的等同或替代方案。

技术特征：

1.一种用于采集眼底图像的方法，其特征在于，包括：响应于对眼底进行图像采集的图像采集指示，调整用于所述图像采集的图像传感器的曝光时间；以及在所述图像传感器的所有像素行都处于所述曝光状态后，对所述眼底进行图像采集以获得所述眼底图像。2.根据权利要求1所述的方法，其特征在于，其中调整用于所述图像采集的图像传感器的曝光时间包括：将所述图像传感器的曝光时间设置为第一时间量，以便在所述第一时间量内完成对所述眼底的图像采集。3.根据权利要求1所述的方法，其特征在于，其中将所述图像传感器的曝光时间设置为第一时间量，以便在所述第一时间量内完成对所述眼底的图像采集包括：在所述第一时间量内的预定时间点，确定所述图像传感器的所有像素行都处于曝光状态。4.根据权利要求1所述的方法，其特征在于，在所述图像传感器的所有像素行都处于曝光状态后，对所述眼底进行图像采集包括：在所述图像传感器的所有像素行都处于所述曝光状态后，开启闪光灯以便对所述眼底进行图像采集。5.根据权利要求4所述的方法，其特征在于，其中开启闪光灯以便对所述眼底进行图像采集包括点亮闪光灯并且持续第二时间量，以便对所述眼底进行图像采集。6.根据权利要求5所述的方法，其特征在于，其中在所述第二时间量的结束处，所述图像传感器的所有像素行仍处于所述曝光状态。7.一种用于采集眼底图像的装置，其特征在于，包括：处理器；以及存储器，其存储用于采集眼底图像的计算机程序指令，当所述计算机程序指令由所述处理器执行时，使得实现根据权利要求1-6的任意一项所述的方法。8.一种眼底相机，其特征在于，包括根据权利要求7所述的装置。9.根据权利要求8所述的眼底相机，其特征在于，还包括：用于眼底图像采集的图像传感器和用于向眼底照射光线的闪光灯。10.一种计算机可读存储介质，其存储用于采集眼底图像的计算机程序指令，当所述计算机程序指令由处理器执行时，使得实现根据权利要求1-6的任意一项所述的方法。

技术总结

本披露公开了一种用于采集眼底图像的方法及其相关产品，其中所述方法包括响应于对眼底进行图像采集的图像采集指示，调整所述图像采集的图像传感器的曝光时间；以及在图像传感器的所有像素行都处于所述曝光状态后，对所述眼底进行图像采集以获得所述眼底图像。利用本披露的方案，可以无需图像传感器与闪光灯的精确同步操作，提高照明的效率，从而缩短图像采集过程中对人眼的照射时间，减小眼底图像采集过程中对人眼的刺激。同时采集时间缩短也降低了眼底图像的运动模糊，以及降低了“果冻效应”对画质的影响，提升了眼底图像的质量。提升了眼底图像的质量。提升了眼底图像的质量。