拍摄方法及装置、计算机可读介质和电子设备与流程

1.本公开涉及图像拍摄

技术领域


:,具体涉及一种拍摄方法、拍摄装置、计算机可读介质和电子设备。

背景技术


::2.伴随着人们生活水平的不断提高,拍摄的图像质量越来越得到的人们的关注。光源闪烁(flicker)是指由于某种光源的间歇性闪烁,当闪烁频率快于任何快门移动时机时,可能会导致相机采集的影像上出现带状阴影或部分变的现象。3.目前,相关的消除光源闪烁的方案中,一般是通过帧差法检测图像中的光源闪烁频率,但是,通过帧差法检测光源闪烁频率的方式,不仅准确率较低,而且无法对存在多种光源闪烁频率的场景进行光源闪烁消除,导致拍摄的视频画面质量较差。技术实现要素:4.本公开的目的在于提供一种拍摄方法、拍摄装置、计算机可读介质和电子设备,进而至少在一定程度上解决相关技术中无法对存在多种光源闪烁频率的场景进行光源闪烁消除的问题,提高光源闪烁消除的准确率。5.根据本公开的第一方面,提供一种拍摄方法,包括:6.获取拍摄场景中的环境光分布图像,所述环境光分布图像包括至少两个图像区域;7.通过所述环境光分布图像确定各所述图像区域的光源闪烁类型;8.根据所述光源闪烁类型确定各所述图像区域的目标抗闪烁方式;9.基于所述目标抗闪烁方式对所述拍摄场景中采集的图像帧进行光源闪烁消除,得到光源闪烁消除后的图像帧。10.根据本公开的第二方面,提供一种拍摄装置,包括:11.环境光图像获取模块,用于获取拍摄场景中的环境光分布图像,所述环境光分布图像包括至少两个图像区域;12.光源闪烁类型确定模块,用于通过所述环境光分布图像确定各所述图像区域的光源闪烁类型;13.抗闪烁方式确定模块,用于根据所述光源闪烁类型确定各所述图像区域的目标抗闪烁方式;14.光源闪烁消除模块,用于基于所述目标抗闪烁方式对所述拍摄场景中采集的图像帧进行光源闪烁消除,得到光源闪烁消除后的图像帧。15.根据本公开的第三方面,提供一种计算机可读介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述的方法。16.根据本公开的第四方面,提供一种电子设备,其特征在于,包括:17.多窗口抗闪烁传感器;18.处理器;以及19.存储器,用于存储一个或多个程序,当一个或多个程序被一个或多个处理器执行时,使得一个或多个处理器实现上述的方法。20.本公开的一种实施例所提供的拍摄方法,可以获取拍摄场景中的环境光分布图像,该环境光分布图像可以包括至少两个图像区域,通过环境光分布图像确定各图像区域的光源闪烁类型,进而可以根据光源闪烁类型确定各图像区域的目标抗闪烁方式,最后可以基于目标抗闪烁方式对拍摄场景中采集的图像帧进行光源闪烁消除,得到光源闪烁消除后的图像帧。可以将环境光分布图像划分为至少两个图像区域,并通过确定的光源闪烁类型分别确定各图像区域对应的目标抗闪烁方式,进而可以对拍摄场景中分布在不同位置的光源闪烁现象采用相应的抗闪烁方式,有效抑制多光源拍摄场景下的光源闪烁现象,提升处理结果的准确性,提高相机预览画面或者拍摄视频画面的质量。21.应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。附图说明22.此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:23.图1示出了可以应用本公开实施例的一种示例性系统架构的示意图;24.图2示意性示出本公开示例性实施例中一种产生光源闪烁现象的原理示意图;25.图3示意性示出本公开示例性实施例中一种拍摄方法的流程示意图;26.图4示意性示出本公开示例性实施例中一种多窗口抗闪烁传感器采集环境光分布图像的原理示意图;27.图5示意性示出本公开示例性实施例中一种确定光源闪烁类型的流程示意图;28.图6示意性示出本公开示例性实施例中一种通过环境光数据转换得到的光源闪烁频率的示意图;29.图7示意性示出本公开示例性实施例中一种通过第一抗闪烁方式实现光源闪烁消除的流程示意图;30.图8示意性示出本公开示例性实施例中一种通过曝光时间调整消除光源闪烁现象的原理示意图;31.图9示意性示出本公开示例性实施例中一种通过第二抗闪烁方式实现光源闪烁消除的流程示意图;32.图10示意性示出本公开示例性实施例中一种核心区域以及非核心区域的示意图;33.图11示意性示出本公开示例性实施例中一种消除光源闪烁现象的流程示意图;34.图12示意性示出本公开示例性实施例中拍摄装置的组成示意图;35.图13示出了可以应用本公开实施例的一种电子设备的示意图。具体实施方式36.现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本公开将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。37.此外,附图仅为本公开的示意性图解,并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。38.图1示出了可以应用本公开实施例的一种拍摄方法及装置的示例性应用环境的系统架构的示意图。39.如图1所示,系统架构100可以包括终端设备101、102、103中的一个或多个,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。终端设备101、102、103可以是各种具有图像采集以及环境光采集功能的电子设备,可以包括但不限于台式计算机、便携式计算机、智能手机和平板电脑等等。应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。比如服务器105可以是多个服务器组成的服务器集等。40.本公开实施例所提供的拍摄方法一般由终端设备101、102、103中执行,相应地,拍摄装置一般设置于终端设备101、102、103中。但本领域技术人员容易理解的是,本公开实施例所提供的拍摄方法也可以由服务器105执行,相应的,拍摄装置也可以设置于服务器105中,本示例性实施例中对此不做特殊限定。举例而言,在一种示例性实施例中,可以是用户通过终端设备101、102、103采集拍摄场景中的环境光分布图像,然后将环境光分布图像上传至服务器105,服务器通过本公开实施例所提供的拍摄方法确定不同图像区域的目标抗闪烁方式后,将目标抗闪烁方式传输给终端设备101、102、103进行光源闪烁消除,有效降低终端设备101、102、103的计算量。41.由于拍摄场景中一种或者多种某种光源的间歇性闪烁,可能会导致相机采集的影像上出现带状阴影或部分变的现象,参考图2所示,可以将光源的闪烁频率抽象为周期性分布的竖条,时间通过横轴表示,进而可以通过图表抽象表示拍摄场景中存在光源闪烁频率210。终端设备的相机在拍摄图像时,由于相机的电子卷帘快门的工作原理,即通过逐行重设影像传感器来达到前帘移动的效果,接着,后帘则起到逐行读取的作用,逐行读取整个影像传感器需要几十毫秒的时间,因此,电子快门的帘缝移动花的时间较长,因此在光源的闪烁频率快于快门移动时机时,如光源闪烁频率210,相机的曝光时间小于光源闪烁频率210的一个周期时,可以拍摄得到图像帧220,图像帧220存在较明显的带状阴影,在预览画面或者拍摄视频时,会产生滚动的黑白条纹,即光源闪烁flicker。42.一种相关技术中,可以通过帧差法对当前场景中存在的光源闪烁频率进行检测,通过对连续的前后图像帧进行灰度化处理,然后对前后作差判断图像帧中带状阴影的变化量,进而确定当前场景中的光源闪烁频率。但是,这种方案得到的检测结果,不仅准确率较低,并且由于拍摄场景中的干扰因素较多,帧差法对于光源闪烁频率检测的抗干扰能力较差,导致检测结果的鲁棒性较差。43.另一种相关技术中,可以通过直接检测交流电光源频率的器件检测拍摄场景中的光源闪烁频率,但是目前的方案一般是搭配单窗口检测器件进行设计,会导致无法有效分析多种光源闪烁频率下的频率空间分布情况,从而不能有效决策主频率,且不能对不同区域的光源闪烁现象进行分区有效抑制,导致光源闪烁消除结果的效果较差。44.基于相关技术中一个或者多个问题,本公开首先提供了一种拍摄方法,下面以配置有拍摄装置的终端设备执行该方法为例,对本公开示例性实施方式的拍摄方法进行具体说明。45.图3示出了本示例性实施方式中一种拍摄方法的流程示意图,可以包括以下步骤s310至步骤s340:46.在步骤s310中,获取拍摄场景中的环境光分布图像,所述环境光分布图像包括至少两个图像区域。47.在一示例性实施例中,环境光分布图像是指通过环境光采集装置获取的拍摄场景中的环境光数据构成的图像,环境光采集装置的视场角可以与相机图像传感器的视场角相同,即环境光分布图像的尺寸可以与图像传感器采集的图像尺寸相同,这样能够保证环境光分布图像中的环境光数据与采集的图像帧中的区域相对应。当然,环境光采集装置的视场角也可以略小于或者略大于相机图像传感器的视场角,本示例实施例对此不做特殊限定。48.图像区域是指在环境光分布图像中划分的区域,例如,可以在环境光分布图像中划分两个图像区域,一个为核心区域,核心区域可以为在环境光分布图像中心一定范围内的区域,另一个可以为非核心区域,即环境光分布图像中除核心区域之外的图像区域;也可以将环境光分布图像划分为四个图像区域,分别为左上角区域、右上角区域、左下角区域以及右下角区域;当然,还可以通过其他方式将环境光分布图像划分为多个图像区域,具体可以根据实际应用情况进行自定义划分,本实施例不以此为限。49.在步骤s320中,通过所述环境光分布图像确定各所述图像区域的光源闪烁类型。50.在一示例性实施例中,光源闪烁类型是指预先设置的用于描述图像区域中光源闪烁频率分布的类型,例如,光源闪烁类型可以包括无光源闪烁类型、单光源闪烁类型以及多光源闪烁类型,其中,无光源闪烁类型可以表示图像区域不存在光源闪烁频率;单光源闪烁类型可以表示图像区域中存在唯一类型的光源闪烁频率,如图像区域中仅包含60hz的光源闪烁频率,则可以确定该图像区域为单光源闪烁类型;多光源闪烁类型可以表示图像区域中存在多种类型的光源闪烁频率,如图像区域中包含60hz、100hz和200hz的光源闪烁频率,则可以确定该图像区域为多光源闪烁类型;当然,光源闪烁类型还可以包括其他类型,具体可以自定义设置,本实施例不以此为限。51.通过将光源闪烁频率的分布设置为不同的光源闪烁类型,可以快速确定图像区域的光源闪烁频率的分布方式,便于对复杂光源拍摄场景进行分析,有效提升分析效率。52.在步骤s330中,根据所述光源闪烁类型确定各所述图像区域的目标抗闪烁方式。53.在一示例性实施例中,目标抗闪烁方式是指用于消除图像区域中所存在的光源闪烁现象的处理方式,例如,若图像区域为无光源闪烁类型,那么该图像区域的目标抗闪烁方式为不处理;若图像区域为单光源闪烁类型,那么该图像区域的目标抗闪烁方式为将唯一类型的光源闪烁频率作为目标光源闪烁频率设置曝光时间,并通过曝光时间调整的方式使曝光时间为光源闪烁频率周期的整数倍,以消除该唯一类型的光源闪烁;若图像区域为多光源闪烁类型,那么该图像区域的目标抗闪烁方式为确定多种类型的光源闪烁频率中的主要光源闪烁频率,并将主要光源闪烁频率作为目标光源闪烁频率设置曝光时间,并通过曝光时间调整的方式先对图像区域进行全局的光源闪烁消除,然后对于其他类型的光源闪烁频率所在的局部区域,通过多帧叠加的方式实现光源闪烁消除。当然,目标抗闪烁方式还可以是其他方式的抗闪烁处理,具体和确定的光源闪烁类型有关,可以根据实际需要进行自定义设置,本示例实施例对此不做特殊限定。54.在步骤s340中,基于所述目标抗闪烁方式对所述拍摄场景中采集的图像帧进行光源闪烁消除,得到光源闪烁消除后的图像帧。55.在一示例性实施例中,在确定不同图像区域的光源闪烁类型之后,可以根据光源闪烁类型确定作用于该图像区域的光源闪烁消除策略,即目标抗闪烁方式,然后可以根据不同图像区域的目标抗闪烁方式,对不同的图像区域实现不同的光源闪烁抑制,能够有效提升光源闪烁消除结果的准确性,提升在拍摄场景中相机预览画面或者相机拍摄的视频的质量。56.通过设置不同的图像区域对拍摄场景中不同类型的光源闪烁频率进行区分,并分别进行抗闪烁处理,能够对拍摄场景中存在的所有光源闪烁频率进行光源闪烁消除,提升处理结果的准确性;通过采集拍摄场景中的环境光分布图像,进而确定当前场景中存在的所有光源闪烁频率,相比于相关技术中通过帧差法确定光源闪烁频率的方式,能够有效提升检测结果的准确性以及抗干扰性,提高光源闪烁消除结果的鲁棒性,保证在拍摄场景中相机预览画面或者相机拍摄的视频的质量。57.下面对步骤s310至步骤s340进行详细说明。58.在一示例性实施例中,可以通过环境光采集装置获取的拍摄场景中的环境光分布图像,其中环境光采集装置可以是抗闪烁传感器(flickersensor),也可以是其他能够采集环境光数据的传感器或者装置,本示例实施例不以此为限。59.可以通过预设的多窗口抗闪烁传感器获取拍摄场景中的环境光分布图像;其中,多窗口抗闪烁传感器可以包括由至少两个抗闪烁传感器构成的抗闪烁传感器阵列,抗闪烁传感器阵列生成具有至少两个检测窗口区域对应的环境光数据。60.图4示意性示出本公开示例性实施例中一种多窗口抗闪烁传感器采集环境光分布图像的原理示意图。61.参考图4所示,多窗口抗闪烁传感器可以包括多个抗闪烁传感器410,抗闪烁传感器410在空间上按照预设列数和行数进行排列,排列得到抗闪烁传感器,具体的,多个抗闪烁传感器410可以按照m*n的阵列排布构成抗闪烁传感器阵列420,例如,可以预先设置m为10,可以设置n为10,那么多窗口抗闪烁传感器可以包括100个抗闪烁传感器410,对这100个抗闪烁传感器410在空间上进行排列,得到10*10的抗闪烁传感器阵列。当然,具体的m和n可以根据实际应用场景进行自定义设置,本示例实施例对此不做特殊限定。62.在拍摄场景中启动相机时,在空间上具有m*n抗闪烁传感器阵列420结构的多窗口抗闪烁传感器,采集拍摄场景中的环境光数据,得到具有m*n个检测窗口区域430的环境光分布图像440,各检测窗口区域430内的环境光数据能够反映拍摄场景中各种光源的光源闪烁频率。63.在一示例性实施例中,可以根据图5中的步骤实现通过环境光分布图像确定各图像区域的光源闪烁类型,参考图5所示,具体可以包括:64.步骤s510,获取各所述检测窗口区域对应的环境光数据;65.步骤s520,对所述环境光数据进行快速傅里叶变换,得到各所述检测窗口区域对应的光源闪烁频率;66.步骤s530,根据所述光源闪烁频率确定所述图像区域的光源闪烁类型。67.其中,环境光分布图像中的每个图像区域可以对应多个检测窗口区域,即多个检测窗口区域构成一个图像区域,可选的,一个检测窗口区域也可以作为一个图像区域,本示例实施例对此不做特殊限定。68.环境光数据是指多窗口抗闪烁传感器对拍摄场景中的光源信号进行采集得到的采样信号数据,快速傅里叶变换(fastfouriertransform)即利用计算机计算离散傅里叶变换(discretefouriertransform,dft)的高效、快速计算方法,离散傅里叶变换是信号分析的最基本方法,傅里叶变换是傅里叶分析的核心,通过离散傅里叶变换可以将信号从时间域变换到频率域,进而研究信号的频谱结构和变化规律。69.可以通过快速傅里叶变换将检测窗口区域对应的环境光数据(采样信号)转换为各检测窗口区域对应的光源闪烁频率,进而可以通过各检测窗口区域对应的光源闪烁频率,确定图像区域的光源闪烁类型。70.图6示意性示出本公开示例性实施例中一种通过环境光数据转换得到的光源闪烁频率的示意图。71.参考图6所示,可以对检测窗口区域对应的环境光数据进行快速傅里叶变换,输出每个检测窗口区域对应的光源闪烁频率以及光源闪烁频率强度对应的数据图表600,数据图表600横轴可以表示光源闪烁频率,数据图表600纵轴可以表示光源闪烁频率强度。可以根据数据图表600确定该检测窗口区域所采集到的第一光源闪烁频率610为100hz,对应的光源闪烁频率强度为10500,所采集到的第二光源闪烁频率620为210hz,对应的光源闪烁频率强度为1800,由于其他采集的光源闪烁频率的强度较小,实际使用中可以剔除,作为干扰波处理。基于此,可以得到每个检测窗口区域的光源闪烁频率以及光源闪烁频率强度。72.可选的,本实施例中的光源闪烁类型可以包括无光源闪烁类型、单光源闪烁类型以及多光源闪烁类型。若确定图像区域中不存在光源闪烁频率,则可以确定图像区域的光源闪烁类型为无光源闪烁类型;若确定图像区域中存在唯一一种类型的光源闪烁频率,则可以确定图像区域的光源闪烁类型为单光源闪烁类型;若确定图像区域中存在多种类型的光源闪烁频率,则可以确定图像区域的光源闪烁类型为多光源闪烁类型。73.在一示例性实施例中,目标抗闪烁方式可以包括第一抗闪烁方式,若确定图像区域的光源闪烁类型为单光源闪烁类型,则可以确定采用第一抗闪烁方式对图像区域进行光源闪烁消除。74.具体的,可以通过图7中的步骤实现采用第一抗闪烁方式对图像区域进行光源闪烁消除,参考图7所示,具体可以包括:75.步骤s710,根据所述图像区域对应的光源闪烁频率,确定所述图像区域对应的第一曝光时间,所述第一曝光时间为所述光源闪烁频率周期的整数倍;76.步骤s720,通过所述第一曝光时间对所述图像区域进行光源闪烁消除。77.其中,在确定图像区域中存在唯一一种类型的光源闪烁频率时,可以根据该光源闪烁频率确定第一曝光时间,具体可以通过光源闪烁频率的周期确定第一曝光时间,即第一曝光时间可以设置为光源闪烁频率周期的整数倍,例如,光源闪烁频率周期可以为1/50秒,那么相机的曝光时间可以设置为1/50秒、1/25秒、3/50秒等,只要保证第一曝光时间可以设置为光源闪烁频率周期的整数倍即可,本示例实施例对此不做特殊限定。78.图8示意性示出本公开示例性实施例中一种通过曝光时间调整消除光源闪烁现象的原理示意图。79.参考图8所示,可以将图像区域中光源的闪烁频率抽象为周期性分布的竖条,时间通过横轴表示,进而可以通过图表抽象表示图像区域中存在的光源闪烁频率800。终端设备的相机在拍摄图像时,交流电光源的光源闪烁频率一般均快于快门移动时机,即相机的常用曝光时间810小于光源闪烁频率800的一个周期,此时可以拍摄得到具有光源闪烁现象的图像帧820。80.此时可以根据光源闪烁频率800的频率值重新确定相机的曝光时间830,曝光时间830可以为光源闪烁频率的周期的整数倍,图中曝光时间830为一个光源闪烁频率周期,通过调整后的曝光时间830可以拍摄得到图像帧840,相比于图像帧820,有效抑制光源闪烁现象,得到质量较好的图像帧。81.在一示例性实施例中,目标抗闪烁方式可以包括第二抗闪烁方式,若确定图像区域的光源闪烁类型为多光源闪烁类型,则可以确定采用第二抗闪烁方式对图像区域进行光源闪烁消除。82.具体的,可以通过图9中的步骤实现采用第二抗闪烁方式对图像区域进行光源闪烁消除,参考图9所示,具体可以包括:83.步骤s910,确定所述图像区域对应的主要光源闪烁频率;84.步骤s920,根据所述主要光源闪烁频率确定第二曝光时间,并通过所述第二曝光时间对所述图像区域进行全局光源闪烁消除;以及85.步骤s930,确定所述图像区域中存在除所述主要光源闪烁频率之外的光源闪烁频率的目标检测窗口区域,并对所述目标检测窗口区域中的图像内容进行多帧叠加处理,以实现对所述图像区域的局部光源闪烁消除。86.其中,主要光源闪烁频率是指图像区域中占据比例最高的光源闪烁频率,例如,图像区域可以包括10个检测窗口区域,其中光源闪烁频率为100hz的有5个检测窗口区域,光源闪烁频率为200hz的有3个检测窗口区域,光源闪烁频率为60hz的有2个检测窗口区域,此时光源闪烁频率100hz在图像区域中占据的比例最高,因此可以将光源闪烁频率100hz作为该图像区域的主要光源闪烁频率。87.可以根据主要光源闪烁频率确定第二曝光时间,进而可以通过第二曝光时间对图像区域进行全局光源闪烁消除,然后确定图像区域中存在除主要光源闪烁频率之外的光源闪烁频率的目标检测窗口区域,并对目标检测窗口区域中的图像内容进行多帧叠加处理,实现对图像区域的局部光源闪烁消除。88.对于存在多种光源的拍摄场景,通过对空间分布不同的光源闪烁现象进行区分抑制,先通过对占据比例较高的主要光源闪烁频率确定第二曝光时间,对图像区域进行全局的光源闪烁消除,初步消除图像区域中存在最多的光源闪烁,然后通过多帧叠加的方式消除其他光源闪烁频率的光源闪烁现象,能够有效提升光源闪烁消除结果的准确性,提高结果的鲁棒性。89.需要说明的是,本公开实施例中的“第一曝光时间”、“第二曝光时间”中的“第一”、“第二”仅用于区分不同抗闪烁方式中的曝光时间,没有任何特殊含义,并不应对本示例实施例造成任何特殊限定。90.具体的,在确定图像区域的光源闪烁类型为无光源闪烁类型时,则可以不对图像区域进行光源闪烁消除。91.在一示例性实施例中,至少两个图像区域可以包括核心区域和非核心区域,核心区域对应第一检测窗口区域,非核心区域对应第二检测窗口区域;具体的,可以根据第一检测窗口区域对应的光源闪烁频率确定核心区域的光源闪烁类型;可以根据第二检测窗口区域对应的光源闪烁频率确定非核心区域的光源闪烁类型。92.可选的,核心区域可以是环境光分布图像对应的中心区域,非核心区域可以是环境光分布图像对应的边缘区域,例如,可以将环境光分布图像的几何中心作为中心点,以预设几何形状(如矩形、圆形等)作为区域边界,在环境光分布图像中确定中心区域,将环境光分布图像中除中心区域之外的区域作为边缘区域;当然,也可以将环境光分布图像中小区域亮光源对应的位置作为中心区域的中心点,保证中心区域可以将拍摄场景中的正对相机的光源包含在内即可,本示例实施例不以此为限。93.图10示意性示出本公开示例性实施例中一种核心区域以及非核心区域的示意图。94.参考图10所示,假设拍摄场景1010中包括具有不同光源闪烁频率的光源1011、光源1012、光源1013、光源1014以及光源1015,其中,由于光源1011是正对相机的光源,因此该光源对于图像传感器的成像过程具有较大的影响,光源1011产生的光源闪烁频率是需要优先考虑的,因此可以将可能正对相机的光源1011所处的区域作为环境光分布图像1020的核心区域1021,将其他光源所处的区域作为非核心区域1022。95.可以理解的是,虽然图10中所示的核心区域1021是以环境光分布图像1020的几何中心位置确定的中心区域,非核心区域1022是环境光分布图像1020的边缘区域,但是核心区域也可以是通过确定正对相机的光源1011在环境光分布图像1020中的位置确定的中心区域;当然,核心区域以及非核心区域还可以是以其他方式在亮度分布图像中划分的图像区域,本示例实施例不以此为限。96.具体的,可以通过多窗口抗闪烁传感器采集得到具有多个检测窗口区域wij(i=1,2,...,m;j=1,2,...,n)的环境光分布图像,如图10,以m=8,n=6为例,核心区域1021可以对应第一检测窗口区域,如第一检测窗口区域可以包括检测窗口区域w22、检测窗口区域w23、……检测窗口区域w74和检测窗口区域w75,非核心区域1022可以包括检测窗口区域w11、检测窗口区域w12、……检测窗口区域w85和检测窗口区域w86。97.通过将环境光分布图像分为核心区域以及非核心区域,并且分别对核心区域或者非核心区域进行光源消除处理,避免非核心区域中光源对于核心区域中的光源闪烁消除结果的干扰,有效提升光源闪烁消除结果的鲁棒性,能够进一步保证光源闪烁消除结果的准确性,提升光源闪烁消除后的图像帧的质量。98.图11示意性示出本公开示例性实施例中一种消除光源闪烁现象的流程示意图。99.参考图11所示,步骤s1110,多窗口抗闪烁传感器检测环境光数据;可以通过多窗口抗闪烁传感器获取拍摄场景中的环境光分布图像;100.步骤s1120,光源闪烁频率统计以及分析;可以将环境光分布图像中各检测窗口区域的环境光数据进行快速傅里叶变换,得到光源闪烁频率;101.步骤s1130,确定图像区域是否存在光源闪烁频率,若存在光源闪烁频率则执行步骤s1140,若不存在光源闪烁频率,则确定图像区域为无光源闪烁类型,并结束当前流程;102.步骤s1140,确定图像区域是否存在多种类型的光源闪烁频率,若存在多种类型的光源闪烁频率,则确定图像区域为多光源闪烁类型并执行步骤s1160,否则确定图像区域为单光源闪烁类型并执行步骤s1150;103.步骤s1150,针对存在一种类型的光源闪烁频率或者多种类型的光源闪烁频率的场景中的主要光源闪烁频率采用曝光时间调整的抗闪烁方式(全局);104.步骤s1160,确定当前的光源闪烁频率是否是主要光源闪烁频率,如果是则执行步骤s1150,否则执行步骤s1170;105.步骤s1170,除主要光源闪烁频率之外的其他光源闪烁频率对应的检测窗口区域进行多帧叠加的抗闪烁方式(局部),并结束当前流程。106.综上所述,本示例性实施方式中,可以获取拍摄场景中的环境光分布图像,该环境光分布图像可以包括至少两个图像区域,通过环境光分布图像确定各图像区域的光源闪烁类型,进而可以根据光源闪烁类型确定各图像区域的目标抗闪烁方式,最后可以基于目标抗闪烁方式对拍摄场景中采集的图像帧进行光源闪烁消除,得到光源闪烁消除后的图像帧。可以将环境光分布图像划分为至少两个图像区域,并通过确定的光源闪烁类型分别确定各图像区域对应的目标抗闪烁方式,进而可以对拍摄场景中分布在不同位置的光源闪烁采用相应的抗闪烁方式,有效抑制多光源拍摄场景下的光源闪烁现象,提升处理结果的准确性,提高相机预览画面或者拍摄视频画面的质量。107.本公开实施例通过引入多窗口抗闪烁传感器器件来获得区域性的交流电光源的光源闪烁频率数据,从而可以对不同的图像区域进行针对性的频率评估和筛选,可以适应存在多种光源的复杂场景,可以有效消除或者大大减弱极其复杂光源场景的光源闪烁现象,提供更为优质的视频画面或者预览画面。108.需要注意的是,上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明,而不是限制目的。易于理解,上述附图所示的处理并不表明或限制这些处理的时间顺序。另外,也易于理解,这些处理可以是例如在多个模块中同步或异步执行的。109.进一步的,参考图12所示,本示例的实施方式中还提供一种拍摄装置1200,包括环境光图像获取模块1210、光源闪烁类型确定模块1220、抗闪烁方式确定模块1230和光源闪烁消除模块1240。其中:110.环境光图像获取模块1210用于获取拍摄场景中的环境光分布图像,所述环境光分布图像包括至少两个图像区域;111.光源闪烁类型确定模块1220用于通过所述环境光分布图像确定各所述图像区域的光源闪烁类型;112.抗闪烁方式确定模块1230用于根据所述光源闪烁类型确定各所述图像区域的目标抗闪烁方式;113.光源闪烁消除模块1240用于基于所述目标抗闪烁方式对所述拍摄场景中采集的图像帧进行光源闪烁消除,得到光源闪烁消除后的图像帧。114.在一示例性实施例中,环境光图像获取模块1210可以用于:115.通过预设的多窗口抗闪烁传感器获取拍摄场景中的环境光分布图像;116.其中,所述多窗口抗闪烁传感器包括由至少两个抗闪烁传感器构成的抗闪烁传感器阵列,所述抗闪烁传感器阵列用于生成具有至少两个检测窗口区域对应的环境光数据。117.在一示例性实施例中,光源闪烁类型确定模块1220可以用于:118.获取各所述检测窗口区域对应的环境光数据;119.对所述环境光数据进行快速傅里叶变换,得到各所述检测窗口区域对应的光源闪烁频率;120.根据所述光源闪烁频率确定各所述图像区域的光源闪烁类型。121.在一示例性实施例中,光源闪烁类型确定模块1220可以用于:122.若确定所述图像区域中不存在光源闪烁频率,则确定所述图像区域的光源闪烁类型为无光源闪烁类型;123.若确定所述图像区域中存在一种类型的光源闪烁频率,则确定所述图像区域的光源闪烁类型为单光源闪烁类型;124.若确定所述图像区域中存在多种类型的光源闪烁频率,则确定所述图像区域的光源闪烁类型为多光源闪烁类型。125.在一示例性实施例中,光源闪烁类型确定模块1220可以用于:126.若所述图像区域的光源闪烁类型为单光源闪烁类型,则确定采用第一抗闪烁方式对所述图像区域进行光源闪烁消除;127.若所述图像区域的光源闪烁类型为多光源闪烁类型,则确定采用第二抗闪烁方式对所述图像区域进行光源闪烁消除。128.在一示例性实施例中,光源闪烁类型确定模块1220可以用于:129.根据所述图像区域对应的光源闪烁频率,确定所述图像区域对应的第一曝光时间,所述第一曝光时间为所述光源闪烁频率周期的整数倍;130.通过所述第一曝光时间对所述图像区域进行光源闪烁消除。131.在一示例性实施例中,光源闪烁类型确定模块1220可以用于:132.确定所述图像区域对应的主要光源闪烁频率;133.根据所述主要光源闪烁频率确定第二曝光时间,并通过所述第二曝光时间对所述图像区域进行全局光源闪烁消除;以及134.确定所述图像区域中存在除所述主要光源闪烁频率之外的光源闪烁频率的目标检测窗口区域,并对所述目标检测窗口区域中的图像内容进行多帧叠加处理,以实现对所述图像区域的局部光源闪烁消除。135.在一示例性实施例中,至少两个图像区域可以包括核心区域和非核心区域,核心区域可以对应第一检测窗口区域,非核心区域可以对应第二检测窗口区域;136.光源闪烁类型确定模块1220可以用于:137.根据所述第一检测窗口区域对应的光源闪烁频率确定所述核心区域的光源闪烁类型;138.根据所述第二检测窗口区域对应的光源闪烁频率确定所述非核心区域的光源闪烁类型。139.在一示例性实施例中,核心区域可以包括环境光分布图像的中心区域,非核心区域可以包括环境光分布图像的边缘区域。140.上述装置中各模块的具体细节在方法部分实施方式中已经详细说明,未披露的细节内容可以参见方法部分的实施方式内容,因而不再赘述。141.所属

技术领域


:的技术人员能够理解,本公开的各个方面可以实现为系统、方法或程序产品。因此,本公开的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“系统”。142.本公开的示例性实施方式还提供一种电子设备。该电子设备可以是上述终端设备101、102、103和服务器105。一般的,该电子设备可以包括多窗口抗闪烁传感器、处理器与存储器,多窗口抗闪烁传感器用于获取拍摄场景中的环境光分布图像,存储器用于存储处理器的可执行指令,处理器配置为经由执行可执行指令来执行上述拍摄方法。143.下面以图13中的移动终端1300为例,对该电子设备的构造进行示例性说明。本领域技术人员应当理解,除了特别用于移动目的的部件之外,图13中的构造也能够应用于固定类型的设备。144.如图13所示,移动终端1300具体可以包括:处理器1301、存储器1302、总线1303、移动通信模块1304、天线1、无线通信模块1305、天线2、显示屏1306、摄像模块1307、音频模块1308、电源模块1309与传感器模块1310。145.处理器1301可以包括一个或多个处理单元,例如:处理器1301可以包括ap(applicationprocessor,应用处理器)、调制解调处理器、gpu(graphicsprocessingunit,图形处理器)、isp(imagesignalprocessor,图像信号处理器)、控制器、编码器、解码器、dsp(digitalsignalprocessor,数字信号处理器)、基带处理器和/或npu(neural-networkprocessingunit,神经网络处理器)等。本示例性实施方式中的拍摄方法可以由ap、gpu或dsp来执行,当方法涉及到神经网络相关的处理时,可以由npu来执行,例如npu可以加载神经网络参数并执行神经网络相关的算法指令。146.编码器可以对图像或视频进行编码(即压缩),以减小数据大小,便于存储或发送。解码器可以对图像或视频的编码数据进行解码(即解压缩),以还原出图像或视频数据。移动终端1300可以支持一种或多种编码器和解码器,例如:jpeg(jointphotographicexpertsgroup,联合图像专家组)、png(portablenetworkgraphics,便携式网络图形)、bmp(bitmap,位图)等图像格式,mpeg(movingpictureexpertsgroup,动态图像专家组)1、mpeg10、h.1063、h.1064、hevc(highefficiencyvideocoding,高效率视频编码)等视频格式。147.处理器1301可以通过总线1303与存储器1302或其他部件形成连接。148.存储器1302可以用于存储计算机可执行程序代码,可执行程序代码包括指令。处理器1301通过运行存储在存储器1302的指令,执行移动终端1300的各种功能应用以及数据处理。存储器1302还可以存储应用数据,例如存储图像,视频等文件。149.移动终端1300的通信功能可以通过移动通信模块1304、天线1、无线通信模块1305、天线2、调制解调处理器以及基带处理器等实现。天线1和天线2用于发射和接收电磁波信号。移动通信模块1304可以提供应用在移动终端1300上3g、4g、5g等移动通信解决方案。无线通信模块1305可以提供应用在移动终端1300上的无线局域网、蓝牙、近场通信等无线通信解决方案。150.显示屏1306用于实现显示功能,如显示用户界面、图像、视频等。摄像模块1307用于实现拍摄功能,如拍摄图像、视频等。音频模块1308用于实现音频功能,如播放音频,采集语音等。电源模块1309用于实现电源管理功能,如为电池充电、为设备供电、监测电池状态等。151.传感器模块1310可以包括一种或多种传感器,用于实现相应的感应检测功能。例如,传感器模块1310可以包括多窗口抗闪烁传感器,其用于在检测到移动终端1300启动相机时,采集拍摄场景中的环境光分布图像。152.本公开的示例性实施方式还提供了一种计算机可读存储介质,其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中,本公开的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当程序产品在终端设备上运行时,程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。153.需要说明的是,本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。154.在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、rf等等,或者上述的任意合适的组合。155.此外,可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码,程序设计语言包括面向对象的程序设计语言—诸如java、c++等,还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(lan)或广域网(wan),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。156.本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其他实施例。本技术旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本

技术领域


:中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由权利要求指出。157.应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。当前第1页12当前第1页12

技术特征:


1.一种拍摄方法,其特征在于,包括:获取拍摄场景中的环境光分布图像,所述环境光分布图像包括至少两个图像区域;通过所述环境光分布图像确定各所述图像区域的光源闪烁类型;根据所述光源闪烁类型确定各所述图像区域的目标抗闪烁方式;基于所述目标抗闪烁方式对所述拍摄场景中采集的图像帧进行光源闪烁消除,得到光源闪烁消除后的图像帧。2.根据权利要求1所述的方法,其特征在于,所述获取拍摄场景中的环境光分布图像,包括:通过预设的多窗口抗闪烁传感器获取拍摄场景中的环境光分布图像;其中,所述多窗口抗闪烁传感器包括由至少两个抗闪烁传感器构成的抗闪烁传感器阵列,所述抗闪烁传感器阵列用于生成具有至少两个检测窗口区域对应的环境光数据。3.根据权利要求2所述的方法,其特征在于,所述通过所述环境光分布图像确定各所述图像区域的光源闪烁类型,包括:获取各所述检测窗口区域对应的环境光数据;对所述环境光数据进行快速傅里叶变换,得到各所述检测窗口区域对应的光源闪烁频率;根据所述光源闪烁频率确定各所述图像区域的光源闪烁类型。4.根据权利要求1所述的方法,其特征在于,所述根据所述光源闪烁频率确定所述图像区域的光源闪烁类型,包括:若确定所述图像区域中不存在光源闪烁频率,则确定所述图像区域的光源闪烁类型为无光源闪烁类型;若确定所述图像区域中存在一种类型的光源闪烁频率,则确定所述图像区域的光源闪烁类型为单光源闪烁类型;若确定所述图像区域中存在多种类型的光源闪烁频率,则确定所述图像区域的光源闪烁类型为多光源闪烁类型。5.根据权利要求4所述的方法,其特征在于,所述根据所述光源闪烁类型确定各所述图像区域的目标抗闪烁方式,包括:若所述图像区域的光源闪烁类型为单光源闪烁类型,则确定采用第一抗闪烁方式对所述图像区域进行光源闪烁消除;若所述图像区域的光源闪烁类型为多光源闪烁类型,则确定采用第二抗闪烁方式对所述图像区域进行光源闪烁消除。6.根据权利要求5所述的方法,其特征在于,所述采用第一抗闪烁方式对所述图像区域进行光源闪烁消除,包括:根据所述图像区域对应的光源闪烁频率,确定所述图像区域对应的第一曝光时间,所述第一曝光时间为所述光源闪烁频率周期的整数倍;通过所述第一曝光时间对所述图像区域进行光源闪烁消除。7.根据权利要求5所述的方法,其特征在于,所述采用第二抗闪烁方式对所述图像区域进行光源闪烁消除,包括:确定所述图像区域对应的主要光源闪烁频率;
根据所述主要光源闪烁频率确定第二曝光时间,并通过所述第二曝光时间对所述图像区域进行全局光源闪烁消除;以及确定所述图像区域中存在除所述主要光源闪烁频率之外的光源闪烁频率的目标检测窗口区域,并对所述目标检测窗口区域中的图像内容进行多帧叠加处理,以实现对所述图像区域的局部光源闪烁消除。8.根据权利要求1至7任一项所述的方法,其特征在于,所述至少两个图像区域包括核心区域和非核心区域,所述核心区域对应第一检测窗口区域,所述非核心区域对应第二检测窗口区域;所述根据所述光源闪烁频率确定各所述图像区域的光源闪烁类型,包括:根据所述第一检测窗口区域对应的光源闪烁频率确定所述核心区域的光源闪烁类型;根据所述第二检测窗口区域对应的光源闪烁频率确定所述非核心区域的光源闪烁类型。9.根据权利要求8所述的方法,其特征在于,所述核心区域包括所述环境光分布图像的中心区域,所述非核心区域包括所述环境光分布图像的边缘区域。10.一种拍摄装置,其特征在于,包括:环境光图像获取模块,用于获取拍摄场景中的环境光分布图像,所述环境光分布图像包括至少两个图像区域;光源闪烁类型确定模块,用于通过所述环境光分布图像确定各所述图像区域的光源闪烁类型;抗闪烁方式确定模块,用于根据所述光源闪烁类型确定各所述图像区域的目标抗闪烁方式;光源闪烁消除模块,用于基于所述目标抗闪烁方式对所述拍摄场景中采集的图像帧进行光源闪烁消除,得到光源闪烁消除后的图像帧。11.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至9中任一项所述的方法。12.一种电子设备,其特征在于,包括:多窗口抗闪烁传感器;处理器;以及存储器,用于存储所述处理器的可执行指令;其中,所述处理器配置为经由执行所述可执行指令来执行权利要求1至9任一项所述的方法。

技术总结


本公开提供一种拍摄方法及装置、计算机可读介质和电子设备,涉及图像拍摄技术领域。该方法包括:获取拍摄场景中的环境光分布图像,环境光分布图像包括至少两个图像区域;通过环境光分布图像确定各图像区域的光源闪烁类型;根据光源闪烁类型确定各图像区域的目标抗闪烁方式;基于目标抗闪烁方式对拍摄场景中采集的图像帧进行光源闪烁消除,得到光源闪烁消除后的图像帧。本公开能够检测当前拍摄场景中存在的不同光源,并确定当前拍摄场景中的光源闪烁类型,进而对不同图像区域采用不同的抗闪烁方式,有效抑制光源闪烁现象,提升采集的视频质量。质量。质量。


技术研发人员:

孙少辉

受保护的技术使用者:

OPPO广东移动通信有限公司

技术研发日:

2022.08.15

技术公布日:

2022/12/22

本文发布于:2024-09-22 16:33:19,感谢您对本站的认可!

本文链接:https://www.17tex.com/tex/1/46436.html

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

标签:光源   图像   区域   所述
留言与评论(共有 0 条评论)
   
验证码:
Copyright ©2019-2024 Comsenz Inc.Powered by © 易纺专利技术学习网 豫ICP备2022007602号 豫公网安备41160202000603 站长QQ:729038198 关于我们 投诉建议