(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 201911083065.6
(22)申请日 2019.11.07
(71)申请人 上海耕岩智能科技有限公司
地址 201800 上海市嘉定区浏翔公路955号
5号楼2楼
(72)发明人 范诗清
(74)专利代理机构 北京集佳知识产权代理有限
公司 11227
代理人 张振军
(51)Int.Cl.
G06T 5/00(2006.01)
(54)发明名称
(57)摘要
一种图像处理方法及装置、存储介质、终端，
图像处理方法包括：获取待处理图像，所述待处
络模型是采用预设训练数据预先训练得到的，所
述预设训练数据为多组图像，每组图像包括针对
同一拍摄背景的清晰图片以及模糊图片；输出所
述处理后图像。本发明技术方案能够提升屏下摄
像头采集图像的图像质量。权利要求书1页 说明书6页 附图2页CN 112785507 A 2021.05.11
C N 112785507
A
1.一种图像处理方法，其特征在于，包括：
获取待处理图像，所述待处理图像为屏下摄像头透过设备屏幕拍摄得到的；
将所述待处理图像输入至训练完成的生成对抗网络模型，以得到处理后图像，所述生成对抗网络模型是采用预设训练数据预先训练得到的，所述预设训练数据为多组图像，每组图像包括针对同一拍摄背景的清晰图片以及模糊图片；
输出所述处理后图像。
2.根据权利要求1所述的图像处理方法，其特征在于，所述处理后图像中包括人脸，所述输出所述处理后图像包括：
将所述处理后图像进行输出，以用于进行人脸识别。
3.根据权利要求1所述的图像处理方法，其特征在于，所述输出所述处理后图像包括：将所述处理后图像输出至显示界面进行显示。
4.根据权利要求1所述的图像处理方法，其特征在于，采用以下方式对所述生成对抗网络模型进行训练：
构建初始述生成对抗网络模型；
将所述预设训练数据输入至所述初始述生成对抗网络模型，并计算损失度，直至所述损失度达到预设值。
5.根据权利要求1所述的图像处理方法，其特征在于，所述对抗网络模型为最小二乘对抗网络模型。
6.根据权利要求1所述的图像处理方法，其特征在于，所述清晰图片是拍摄设备直接针对拍摄背景拍摄得
到的，所述模糊图片是所述拍摄设备透过测试屏幕针对所述拍摄背景拍摄得到的，所述测试屏幕与所述设备屏幕具备相同的光学参数。
7.根据权利要求1所述的图像处理方法，其特征在于，所述清晰图片以及所述模糊图片具备相同分辨率。
8.一种图像处理装置，其特征在于，包括：
图像获取模块，用以获取待处理图像，所述待处理图像为屏下摄像头透过设备屏幕拍摄得到的；
图像处理模块，用以将所述待处理图像输入至训练完成的生成对抗网络模型，以得到处理后图像，所述生成对抗网络模型是采用预设训练数据预先训练得到的，所述预设训练数据为多组图像，每组图像包括针对同一拍摄背景的清晰图片以及模糊图片；
图像输出模块，用以输出所述处理后图像。
9.一种存储介质，其上存储有计算机指令，其特征在于，所述计算机指令运行时执行权利要求1至7中任一项所述图像处理方法的步骤。
10.一种终端，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，其特征在于，所述处理器运行所述计算机指令时执行权利要求1至7中任一项所述图像处理方法的步骤。
权 利 要 求 书1/1页CN 112785507 A
图像处理方法及装置、存储介质、终端
技术领域
[0001]本发明涉及图像处理技术领域，尤其涉及一种图像处理方法及装置、存储介质、终端。
背景技术
[0002]随着手机屏幕技术的发展，全面屏成为了新的发展趋势。目前大多数手机产品都受到前置摄像头的限制，不得不在正面屏幕上留出前置摄像头的位置，只能无限趋近于全面屏概念。而为了实现真正的全面屏，前置摄像头需要设置在屏幕的下方。
[0003]但是，对于真正的全面屏设备，由于摄像头设置在屏幕下方，因此屏下摄像头采集图像时要透过屏幕，导致采集到的图像存在重影、模糊等现象，图像质量较差。
发明内容
[0004]本发明解决的技术问题是如何提升屏下摄像头采集图像的图像质量。
[0005]为解决上述技术问题，本发明实施例提供一种图像处理方法，图像处理方法包括：获取待处理图像，所述待处理图像为屏下摄像头透过设备屏幕拍摄得到的；将所述待处理图像输入至训练完成的生成对抗网络模型，以得到处理后图像，所述生成对抗网络模型是采用预设训练数据预先训练得到的，所述预设训练数据为多组图像，每组图像包括针对同一拍摄背景的清晰图片以及模糊图片；输出所述处理后图像。
[0006]可选的，所述处理后图像中包括人脸，所述输出所述处理后图像包括：将所述处理后图像进行输出，以用于进行人脸识别。
[0007]可选的，所述输出所述处理后图像包括：将所述处理后图像输出至显示界面进行显示。
[0008]可选的，采用以下方式对所述生成对抗网络模型进行训练：构建初始述生成对抗网络模型；将所述预设训练数据输入至所述初始述生成对抗网络模型，并计算损失度，直至所述损失度达到预设值。
[0009]可选的，所述对抗网络模型为最小二乘对抗网络模型。
[0010]可选的，所述清晰图片是拍摄设备直接针对拍摄背景拍摄得到的，所述模糊图片是所述拍摄设备透过测试屏幕针对所述拍摄背景拍摄得到的，所述测试屏幕与所述设备屏幕具备相同的光学参数。
[0011]可选的，所述清晰图片以及所述模糊图片具备相同分辨率。
[0012]为解决上述技术问题，本发明实施例还公开了一种图像处理装置，图像处理装置包括：图像获取模块，用以获取待处理图像，所述待处理图像为屏下摄像头透过设备屏幕拍摄得到的；图像处理模块，用以将所述待处理图像输入至训练完成的生成对抗网络模型，以得到处理后图像，所述生成对抗网络模型是采用预设训练数据预先训练得到的，所述预设训练数据为多组图像，每组图像包括针对同一拍摄背景的清晰图片以及模糊图片；图像输出模块，用以输出所述处理后图像。
[0013]本发明实施例还公开了一种存储介质，其上存储有计算机指令，所述计算机指令运行时执行所述图像处理方法的步骤。
[0014]本发明实施例还公开了一种终端，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行所述图像处理方法的步骤。
[0015]与现有技术相比，本发明实施例的技术方案具有以下有益效果：
[0016]本发明技术方案中，训练完成的生成对抗网络能够针对输入的模糊图片生成对应的清晰图片，通过将屏下摄像头拍摄得到的待处理图像输入至训练完成的生成对抗网络模型，可以获得具备较高清晰度的处理后图像。本发明技术方案利用深度学习模型对待处理图像进行处理，相对于传统图像处理算法，不需要先验条件，可以在复杂状况下实现对图像质量的提升；此外，通过对屏下摄像头拍摄得到的图像进行后期图像处理，相对于在屏下摄像头采集图像的过程中对成像过程进行处理，在实现图像质量提升
的基础上，无需增加硬件组件，还可以避免对设备屏幕的挖孔操作，减小设备成本。
附图说明
[0017]图1是本发明实施例一种图像处理方法的流程图；
[0018]图2是本发明实施例一种训练生成对抗网络模型的流程图；
[0019]图3是本发明实施例一种图像处理装置的结构示意图。
具体实施方式
[0020]如背景技术中所述，对于真正的全面屏设备，由于摄像头设置在屏幕下方，因此屏下摄像头采集图像时要透过屏幕，导致采集到的图像存在重影、模糊等现象，图像质量较差。
[0021]本发明技术方案中，训练完成的生成对抗网络能够针对输入的模糊图片生成对应的清晰图片，通过将屏下摄像头拍摄得到的待处理图像输入至训练完成的生成对抗网络模型，可以获得具备较高清晰度的处理后图像。本发明技术方案利用深度学习模型对待处理图像进行处理，相对于传统图像处理算法，不需要先验条件，可以在复杂状况下实现对图像质量的提升；此外，通过对屏下摄像头拍摄得到的图像进行后期图像处理，相对于在屏下摄像头采集图像的过程中对成像过程进行处理，在实现图像质量提升的基础上，无需增加硬件组件，还可以避免对设备屏幕的挖孔操作，减小设备成本。
[0022]为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
[0023]图1是本发明实施例一种像处理方法的流程图。
[0024]所述图像处理方法可以用于任意具有屏下摄像头的终端设备，例如手机、平板电脑等，也即可以由所述终端设备执行图1所示方法的各个步骤。
[0025]图1所示图像处理方法可以包括以下步骤：
[0026]步骤S101：获取待处理图像，所述待处理图像为屏下摄像头透过设备屏幕拍摄得到的；
[0027]步骤S102：将所述待处理图像输入至训练完成的生成对抗网络模型，以得到处理
后图像，所述生成对抗网络模型是采用预设训练数据预先训练得到的，所述预设训练数据为多组图像，每组图像包括针对同一拍摄背景的清晰图片以及模糊图片；
[0028]步骤S103：输出所述处理后图像。
[0029]需要指出的是，本实施例中各个步骤的序号并不代表对各个步骤的执行顺序的限定。
[0030]本实施例中所称屏下摄像头是指设置在设备屏幕的下方的摄像头，例如，手机屏幕为全面屏，屏下摄像头为设置在全面屏下方的前置摄像头。
[0031]在步骤S101的具体实施中，可以获取待处理图像。具体可以是直接从屏下摄像头获取待处理图像；或者，从缓存中获取待处理图像，所述缓存中存储有屏下摄像头采集到的图像。
[0032]由于屏下摄像头在采集图像时，光线需要透过设备屏幕到达摄像头传感器，而设备屏幕会对到达摄像头传感器的光线产生遮挡、折射等作用，削弱进光量或出现杂光，导致采集到的待处理图像的图像质量较差，例如出现重影、模糊等现象。
[0033]在步骤S102的具体实施中，生成对抗网络(Generative Adversarial Networks, GAN)模型是采用预设训练数据预先训练得到的。其中，预设训练数据为多组图像，每组图像包括针对同一拍摄背景的清晰图片以及模糊图片。具体地，在训练过程中，生成对抗网络模型的输入为模糊图片，输出为与所述清晰图片一致的图片。由此，将一张模糊图片输入至训练完成的生成对抗网络模型，该生成对抗网络模型能够输出一张对应的清晰图片。[0034]需要说明的是，所述清晰图片可以是指分辨率大于第一预设阈值的图片，所述模糊图片可以是指分辨率小于第二预设阈值的图片，所述第一预设阈值大于等于所述第二预设阈值。第一预设阈值以及第二预设阈值的具体数值可以根据实际的应用环境进行设置，本发明实施例对此不作限制。
[0035]具体而言，生成对抗网络模型可以包括生成器和判别器，生成器可以由模糊图片生成清晰图片，判别器判断生成器所生成图片的真假。生成器的优化过程为提升所生成图片被判别器预测为真的概率，并使得生成的图片接近每组图像中的清晰图片。而判别器的优化过程则为尽量提高判别生成器所生成图片为假、每组图像中的清晰图片为真的概率。[0036]本领域技术人员应当理解的是，关于GAN模型及其具体算法原理的具体描述可以参照现有技术，本发明实施例对此不作限制。
[0037]通过将待处理图像输入至生成对抗网络模型，可以获得处理后图像，相对于所述待处理图像，所述处理后图像为具备较高清晰度的图像。至此，通过上述步骤实现了对待处理图像的图像质量的提升。
[0038]进而在步骤S103的具体实施中，可以将处理后图像进行输出，以进行后续的处理流程。例如，将处理后图像展示给用户，或者将处理后图像用于身份验证流程。
[0039]本发明实施例中，训练完成的生成对抗网络能够针对输入的模糊图片生成对应的清晰图片，通过将屏下摄像头拍摄得到的待处理图像输入至训练完成的生成对抗网络模型，可以获得具备较高清晰度的处理后图像。本发明实施例利用深度学习模型对待处理图像进行处理，相对于传统图像处理算法，不需要先验条件，可以在复杂状况下实现对图像质量的提升；此外，通过对屏下摄像头拍摄得到的图像进行后期图像处理，相对于在屏下摄像头采集图像的过程中对成像过程进行处理，在实现图像质量提升的基础上，无需增加硬件
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议