图像处理方法、装置、电子设备和介质与流程



1.本技术属于图像处理技术领域,具体涉及一种图像处理方法、装置、电子设备和可读存储介质。


背景技术:



2.图像降噪和超分辨率图像重建等基础图像质量算法,是计算机视觉和图像处理领域一个非常重要的研究问题,在医疗图像分析、生物特征识别、移动终端、视频监控与安全等实际场景中有着广泛的应用。
3.随着电子设备的快速发展,电子设备中通常设置多个摄像头模组。为了满足用户对高分辨率图像的拍摄需求,电子设备的图像处理模块都内置有图像处理算法,以增大拍摄图像的分辨率并降低拍摄图像的噪声。
4.现有技术中,在不同拍摄环境下,如hdr(high dynamic range,高动态范围)场景和非hdr场景,或者是不同的光照环境下,对图像传感器采集的图像进行处理的神经网络不同。这就导致图像处理装置在电子设备中所占用的内存较大,影响电子设备的运行速度。


技术实现要素:



5.本技术实施例的目的是提供一种图像处理方法、装置、电子设备和可读存储介质,能够解决设置有多个摄像头模组的电子设备中用于进行图像处理的图像处理装置占用较大内存的问题。
6.第一方面,本技术实施例提供了一种图像处理方法,包括:
7.获取第一图像和第二图像,所述第一图像为第一图像传感器采集的图像,所述第二图像为第二图像传感器采集的图像;
8.基于第一神经网络和第三神经网络,对所述第一图像进行处理,得到第三图像;
9.基于第二神经网络和所述第三神经网络,对所述第二图像进行处理,得到第四图像;
10.其中,所述第一神经网络与所述第一图像传感器对应,所述第二神经网络与所述第二图像传感器对应,所述第三神经网络与所述第一图像传感器和所述第二图像传感器对应。
11.第二方面,本技术实施例提供了一种图像处理的装置,包括:
12.图像获取模块,用于获取第一图像和第二图像,所述第一图像为第一图像传感器采集的图像,所述第二图像为第二图像传感器采集的图像;
13.第一处理模块,用于基于第一神经网络和第三神经网络,对所述第一图像进行处理,得到第三图像;
14.第二处理模块,用于基于第二神经网络和所述第三神经网络,对所述第二图像进行处理,得到第四图像;
15.其中,所述第一神经网络与所述第一图像传感器对应,所述第二神经网络与所述
第二图像传感器对应,所述第三神经网络与所述第一图像传感器和所述第二图像传感器对应。
16.第三方面,本技术实施例提供了一种电子设备,该电子设备包括处理器和存储器,所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面所述的图像处理方法的步骤。
17.第四方面,本技术实施例提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第一方面所述的图像处理方法的步骤。
18.第五方面,本技术实施例提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如第一方面所述的图像处理方法。
19.第六方面,本技术实施例提供一种计算机程序产品,该程序产品被存储在存储介质中,该程序产品被至少一个处理器执行以实现如第一方面所述的图像处理方法。
20.在本公开的实施例中,利用图像底层特征的一致性,通过第一神经网络和第三神经网络,对第一图像处理器采集的第一图像进行处理,得到第三图像;通过第二神经网络和第三神经网络,对第二图像处理器采集的第二图像进行处理,得到第四图像,可以降低用于进行图像处理的神经网络在电子设备中所占用的内存,提高电子设备的运行速度。
附图说明
21.图1是本技术实施例提供的图像处理方法的流程示意图;
22.图2是本技术第一个实施例提供的图像处理场景的示意图;
23.图3是本技术第二个实施例提供的图像处理场景的示意图;
24.图4是本技术一个实施例提供的第三神经网络训练场景的示意图;
25.图5是本技术第一个实施例提供的第一神经网络训练场景的示意图;
26.图6是本技术第二个实施例提供的第一神经网络训练场景的示意图;
27.图7是本技术实施例提供的图像处理装置的结构示意图;
28.图8是本技术实施例提供的电子设备的结构示意图;
29.图9为实现本技术实施例的一种电子设备的硬件结构示意图。
具体实施方式
30.下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚地描述,显然,所描述的实施例是本技术一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员获得的所有其他实施例,都属于本技术保护的范围。
31.本技术的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”等所区分的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。
32.下面结合附图,通过具体的实施例及其应用场景对本技术实施例提供的图像处理
方法进行详细地说明。
33.在现有技术中,不同拍摄环境下,如hdr(high dynamic range,高动态范围)场景和非hdr场景,或者是不同的光照环境下,对图像传感器采集的图像进行处理的神经网络不同。例如,在电子设备具有5个摄像头的情况下,考虑hdr场景和非hdr场景,5个不同的感光度范围,需要在电子设备中设置5*2*5个用于进行图像处理的神经网络,来对电子设备采集的图像进行降噪和超分辨率图像重建处理。这就导致图像处理装置在电子设备中所占用的内存较大,影响电子设备的运行速度。
34.图1是本技术实施例提供的图像处理方法的流程示意图。本技术实施例提供的图像处理方法,例如可以由电子设备执行,电子设备包括但不限于智能手机、平板电脑、台式电脑、笔记本电脑、掌上电脑、车载终端、以及可穿戴设备等具有拍照功能的设备。
35.如图1所示,本实施例的图像处理方法可以包括如下步骤101~步骤103:
36.步骤101,获取第一图像和第二图像,其中,第一图像为第一图像传感器采集的图像,第二图像为第二图像传感器采集的图像。
37.本实施例中的电子设备中,可以是设置有至少两个摄像头模组,每个摄像头模组包括一个用于将光信号转换成电信号的图像传感器。具体的,电子设备中可以是设置有至少两个图像传感器,至少两个图像传感器可以包括第一图像传感器和第二图像传感器。
38.在一个例子中,在电子设备的一次拍摄的过程中,可以是由第一图像传感器连续采集至少一张第一图像,由第二图像传感器连续采集至少一张第二图像。
39.在一个实施例中,第一图像传感器采集的第一图像、第二图像传感器采集的第二图像,可以是低分辨率raw图像。在raw图像中,一个像素点可以是只包括r、g、b中任一个通道的值。
40.raw是未经处理、也未经压缩的格式,raw图像是一种记录了图像传感器的原始信息,同时记录了由相机拍摄所产生的一些元数据(metadata)的图像文件。其中,元数据可以包括感光度、快门速度、光圈值、白平衡等。
41.步骤102,基于第一神经网络和第三神经网络,对第一图像进行处理,得到第三图像。
42.其中,第一神经网络与第一图像传感器对应,第三神经网络与第一图像传感器和第二图像传感器对应。
43.本实施例中,对于任一个图像传感器,可以调用与该图像传感器对应的神经网络,对该图像传感器所采集的图像进行处理。具体的,第一神经网络与第一图像传感器对应,即可以调用第一神经网络对第一图像传感器所采集的第一图像进行处理。第三神经网络与第一图像传感器和第二图像传感器对应,表示第一图像传感器和第二图像传感器共享的,即可以调用第三神经网络对第一图像传感器所采集的第一图像进行处理,也可用调用第三神经网络对第二图像传感器所采集的第二图像进行处理。
44.在一个实施例中,第三图像可以是超分辨率rgb图像。在rgb图像中,一个像素点可以是包括r、g、b三个通道的值。
45.第一神经网络和第三神经网络,可以是对第一图像进行第一图像处理和降噪处理得到第三图像,也可以是对第一图像进行第二图像处理和降噪处理得到第三图像。
46.由于第一图像传感器所采集的第一图像中保留了大量的原始、完整的信息,因此,
在本实施例中基于第一神经网络和第三神经网络对第一图像进行处理,第一神经网络和第三神经网络能够从第一图像中获取大量有效数据,并且使得得到的第三图像更加接近于实际场景,从而提高第三图像的清晰度。
47.在本公开的第一个实施例中,基于第一神经网络和第三神经网络,对第一图像进行处理,得到第三图像,可以包括:基于第三神经网络对第一图像进行第一图像处理,得到第一中间图像;基于第一神经网络对第一中间图像进行降噪处理,得到第三图像。其中,第一图像处理可以包括超分辨率重建、图像融合和去马赛克中的至少一项。
48.超分辨率重建(super resolution,sr)是指利用计算机将一幅低分辨率图像或图像序列进行处理,恢复出高分辨率图像的一种图像处理技术。
49.图像融合(merge)是指将多源信道所采集到的关于同一目标的图像数据经过图像处理和计算机技术等,最大限度的提取各自信道中的有利信息,最后综合成高质量的图像,以提高图像信息的利用率、改善计算机解译精度和可靠性、提升原始图像的空间分辨率和光谱分辨率,利于监测。
50.去马赛克(demosaic)是一种数位影像处理算法,目的是从覆有滤阵列(color filter array,简称cfa)的感光元件所输出的不完全彩取样中,重建出全彩影像。
51.基于第三神经网络对第一图像进行第一图像处理,得到的第一中间图像,可以是超分辨率rgb图像,但是,该第一中间图像中还包含第一图像传感器所产生的噪声。因此,为了提高电子设备的成像质量,可以再基于第一神经网络对第一中间图像进行降噪处理,得到第三图像。
52.现实中的数字图像在数字化和传输过程中常受到成像设备与外部环境噪声干扰等影响,称为含噪图像或噪声图像。噪声是图像干扰的重要原因。图像降噪是指减少数字图像中噪声的过程。
53.如图2所示,基于第一神经网络和第三神经网络对第一图像进行处理,得到第三图像的过程,可以是先基于第三神经网络对第一图像进行第一图像处理,得到第一中间图像;再基于第一神经网络对第一中间图像进行降噪处理,得到第三图像。
54.本实施例中,通过第三神经网络对第一图像传感器采集的第一图像进行第一图像处理,再通过第一神经网络进行降噪处理,得到第三图像,可以提高该电子设备的拍摄效果。而且,第三神经网络与电子设备中的第一图像传感器、第二图像传感器均对应,可以降低用于进行图像处理的神经网络在电子设备中所占用的内存,提高电子设备的运行速度。
55.在本公开的第二个实施例中,基于第一神经网络和第三神经网络,对第一图像进行处理,得到第三图像,可以包括:基于第一神经网络对第一图像进行降噪处理,得到第二中间图像;基于第三神经网络对第二中间图像进行第二图像处理,得到第三图像。其中,第二图像处理可以包括超分辨率重建、图像融合和去马赛克中的至少一项。
56.本实施例中的第二图像处理,与第一个实施例中的第一图像处理的过程可以相同,也可以不同,在此不做限定。例如,可以是第一图像处理和第二图像处理均包括超分辨率重建、图像融合和去马赛克。再例如,可以是第一图像处理包括超分辨率重建、图像融合和去马赛克,第二图像处理包括超分辨率重建和和去马赛克。
57.如图3所示,基于第一神经网络和第三神经网络对第一图像进行处理,得到第三图像的过程,可以是先基于第一神经网络对第一图像进行降噪处理,得到第二中间图像;再基
于第三神经网络对第二中间图像进行第二图像处理,得到第三图像。
58.在一个例子中,本实施例中的第一神经网络还可以对第一图像进行融合处理。
59.本实施例中,通过第一神经网络对第一图像传感器采集的第一图像进行降噪处理,再通过第三神经网络进行第二图像处理,得到第三图像,可以提高该电子设备的拍摄效果。而且,第三神经网络与电子设备中的第一图像传感器、第二图像传感器均对应,可以降低用于进行图像处理的神经网络在电子设备中所占用的内存,提高电子设备的运行速度。
60.在本公开的一个实施例中,在执行步骤102之前,该方法还可以包括:获取第一训练样本,其中,第一训练样本包括第一样本图像和第二样本图像,第一样本图像为对第二样本图像进行图像退化处理得到;根据第一训练样本对第四神经网络进行训练,得到第三神经网络。
61.本实施例中,可以是获取多个第一训练样本,本实施例对第一训练样本的数量不做限定。第二样本图像,可以是预先存储在电子设备中的,也可以是从其他电子设备中获取的,还可以是从网络中下载的,在此不做限定。
62.本实施例中,通过进行图像退化处理,可以降低图像质量。图像退化处理的方式,可以是根据第三神经网络所执行的任务(第一图像处理或第二图像处理)确定的。在第三神经网络所执行的任务包括超分辨率重建的情况下,退化处理可以包括模糊处理和/或缩小处理。在第三神经网络所执行的任务包括图像融合的情况下,退化处理可以包括变形处理。在第三神经网络所执行的任务包括去马赛克的情况下,退化处理可以包括加马赛克处理。
63.在一个实施例中,一个第一训练样本中可以包括一张第二样本图像和设定数量张第一样本图像。第二样本图像可以是超分辨率rgb图像,第一样本图像可以是低分辨率raw图像。通过进行图像退化处理,可以降低图像质量。第一图像退化处理的方式,可以是根据第一神经网络所需执行的任务确定。
64.在第一个实施例中,第一神经网络所需执行的任务包括超分辨率重建、图像融合和去马赛克处理,那么,获取第一训练样本可以包括如下所示的步骤2111~步骤2116:
65.步骤2111,获取第二样本图像。
66.本实施例中的第二样本图像,可以是预先存储在电子设备中的,也可以是从其他电子设备中获取的,还可以是从网络中下载的,在此不做限定。
67.步骤2112,对第二样本图像进行模糊处理,得到模糊样本图像。
68.在本实施例中,可以是采用预设的图像模糊算法对第二样本图像进行模糊处理,得到模糊样本图像。
69.本实施例所采用的图像模糊算法可以是以下任意一种或多种算法:高斯模糊(gaussian blur)算法,方框模糊(box blur)算法,kawase模糊(kawase blur)算法,双重模糊(dual blur)算法,散景模糊(bokeh blur)算法,移轴模糊(tilt shift blur)算法,光圈模糊(iris blur)算法,粒状模糊(grainy blur)算法,径向模糊(radial blur)算法,方向模糊(directional blur)算法。
70.步骤2113,对模糊样本图像进行缩小处理,得到缩小样本图像。
71.对模糊样本图像进行缩小处理,可以是基于预设倍数对模糊样本图像进行下采样处理,使得得到的缩小样本图像的尺寸,等于模糊样本图像的尺寸与预设倍数之间的商。
72.步骤2114,对缩小样本图像进行变形处理,得到设定数量张变形样本图像。
73.在本实施例中,通过对缩小样本图像进行变形处理,可以使得得到的设定数量张变形样本图像之间存在微小差异,以模拟第一图像传感器连续采集的设定数量张第一图像之间的差异。
74.步骤2115,对设定数量张变形样本图像分别进行加马赛克处理,得到设定数量张第一样本图像。
75.加马赛克处理是将变形样本图像的阶细节劣化并造成块打乱的效果。图像加马赛克类似于图像重采样。具体的,可以是按固定间隔取变形样本图像的像素点,将变形样本图像分割成一些小块,每个小块的灰度值取左上角的像素值,得到第一样本图像。
76.在本实施例中,可以是针对每张变形样本图像,分别进行加马赛克处理,得到对应的第一样本图像。
77.步骤2116,根据第二样本图像和设定数量张第一样本图像,构建得到第一训练样本。
78.在第二个实施例中,第一神经网络所需执行的任务包括超分辨率重建和去马赛克处理,那么,获取第二训练样本,可以包括如下所示的步骤2211~步骤2215:
79.步骤2211,获取第二样本图像。
80.具体可以参照前述的步骤2111,在此不再赘述。
81.步骤2212,对第二样本图像进行模糊处理,得到模糊样本图像。
82.具体可以参照前述的步骤2112,在此不再赘述。
83.步骤2213,对模糊样本图像进行缩小处理,得到缩小样本图像。
84.具体可以参照前述的步骤2113,在此不再赘述。
85.步骤2214,对缩小样本图像进行加马赛克处理,得到第一样本图像。
86.具体可以参照前述的步骤2115,在此不再赘述。
87.步骤2215,根据第一样本图像和第二样本图像,构建得到第一训练样本。
88.在本实施例中,对第一样本图像进行图像退化处理,得到设定数量张第一样本图像,并根据第二样本图像和对应的设定数量张第一样本图像,构建得到第一训练样本。
89.通过本实施例来获取第一训练样本,可以提升根据第一训练样本得到的第三神经网络的图像处理效果。
90.在本公开的一个实施例中,根据第一训练样本对第四神经网络进行训练,得到第三神经网络,可以包括如下所示的步骤2121~2123:
91.步骤2121,以第四神经网络的权重为变量,对第一训练样本中设定数量张第一样本图像进行第一图像处理,得到第三处理结果。
92.步骤2122,根据第一训练样本的第三处理结果和第二样本图像,构建第三损失函数。
93.步骤2123,求解第三损失函数,确定第四神经网络的权重的取值,得到第三神经网络。
94.如图4所示,第三神经网络的训练过程,可以是对一张第二样本图像进行图像退化处理,得到设定数量张第一样本图像;再基于第五神经网络对设定数量张第一样本图像进行第一图像处理,得到第三处理结果;根据第三处理结果和第二样本图像,构建第三损失函数;通过求解第三损失函数,得到第三神经网络。
95.通过本实施例的方法,可以根据多个第一训练样本对第四神经网络进行迭代训练,得到第三神经网络。
96.本实施例中,通过对第二样本图像进行图像退化处理得到第一样本图像,根据第一样本图像和第二样本图像构成的第一训练样本,训练第四神经网络得到第三神经网络,可以提高第三神经网络的图像处理效果。
97.在本公开的一个实施例中,在执行步骤102之前,该方法还可以包括:获取第二训练样本,第二训练样本包括第三样本图像和第二样本图像,第三样本图像为基于第一图像传感器的噪声参数对第一样本图像进行增加噪声处理得到;基于第三神经网络,根据第二训练样本对第五神经网络进行训练,得到第一神经网络。
98.本步骤中,可以是获取多个第二训练样本,本实施例对第二训练样本的数量不做限定。
99.在本实施例中,第二训练样本可以是根据第一训练样本得到的。具体的,可以是基于第一图像传感器的噪声参数,对任一个第一训练样本中的第一样本图像进行增加噪声处理,即得到一个第二训练样本。
100.在电子设备中,不同的图像传感器的噪声参数不同,因此,可以是根据第一图像传感器的噪声参数,对第一样本图像进行增加噪声处理,得到用于训练与第一图像传感器对应的第一神经网络的第二训练样本。
101.在本实施例中,基于第三神经网络,对第五神经网络进行训练的过程中,保持第三神经网络的权重不变。
102.具体的,可以是先基于第三神经网络,对第二训练样本中的第三样本图像进行第一图像处理,并根据第三神经网络的输出结果与该第二训练样本的第二图像,对第五神经网络进行训练,得到第一神经网络。
103.通过本实施例基于第三神经网络对第五神经网络进行训练,保持第三神经网络的权重不变,可以使得第三神经网络与电子设备中的第一图像传感器、第二图像传感器均对应,还可以使得第一神经网络与第一图像传感器对应,这样,可以基于第一神经网络对第一图像传感器采集的第一图像进行降噪处理,提高第一图像的降噪处理效果,进而提高电子设备的成像效果。
104.在本公开的第一个实施例中,基于第三神经网络,根据第二训练样本对第五神经网络进行训练,得到第一神经网络,可以包括:基于第三神经网络,对第二训练样本中第三样本图像进行第一图像处理,得到第二训练样本的第四样本图像;根据第二训练样本的第二样本图像和第四样本图像对第五神经网络进行训练,得到第一神经网络。
105.本实施例中,第二训练样本的第四样本图像,是第三神经网络对第二训练样本中第三样本图像进行第一图像处理的结果。
106.具体的,根据第二训练样本的第二样本图像和第四样本图像对第五神经网络进行训练,得到第一神经网络,可以包括:以第五神经网络的权重为变量,根据第四样本图像,确定第四样本图像的降噪结果,作为第四处理结果;根据第二训练样本的第二样本图像和第四处理结果,构建第一损失函数;求解第一损失函数,确定第五神经网络的权重的取值,得到第一神经网络。
107.在一个实施例中,一个第二训练样本中可以包括一张第二样本图像和设定数量张
第三样本图像。在本实施例中,第二样本图像可以是超分辨率rgb图像,第三样本图像可以是低分辨率raw图像。
108.如图5所示,第一神经网络的训练过程,可以是对一张第二样本图像进行图像退化处理,得到设定数量张第一样本图像;再基于第一图像传感器的噪声参数对设定数量张第一样本图像进行增加噪声处理,得到设定数量张第三样本图像;再基于第三神经网络对设定数量张第三样本图像进行处理,得到一张第四样本图像;在基于第五神经网络对一张第四样本图像进行降噪处理,得到第四处理结果;再根据第四处理结果和第二样本图像,构建第一损失函数;通过求解第一损失函数,得到第一神经网络。
109.通过本实施例,先基于第三神经网络对第三样本图像进行第一图像处理,再根据第二样本图像和第三神经网络得到的第四样本图像对第五神经网络进行迭代训练,得到第一神经网络,可以使得第三神经网络的权重保持不变,使得第三神经网络与电子设备中的第一图像传感器、第二图像传感器均对应,可以降低用于进行图像处理的神经网络在电子设备中所占用的内存,提高电子设备的运行速度。
110.在本公开的第二个实施例中,基于第三神经网络,根据第二训练样本对第五神经网络进行训练,得到第一神经网络,可以包括:基于第五神经网络,对第二训练样本中第三样本图像进行降噪处理,得到第二训练样本的第一处理结果;基于第三神经网络,对第二训练样本的第一处理结果进行第二图像处理,得到第二训练样本的第二处理结果;根据第二训练样本的第二处理结果和第二样本图像,对第五神经网络进行训练,得到第一神经网络。
111.本实施例中,第二训练样本的第一处理结果,是第五神经网络对第二训练样本中第三样本图像进行降噪处理的结果。第二训练样本的第二处理结果,是第三神经网络对第二训练样本的第一处理结果进行第一图像处理的结果。
112.具体的,基于第五神经网络,对第二训练样本中第三样本图像进行降噪处理,得到第二训练样本的第一处理结果;基于第三神经网络,对第二训练样本的第一处理结果进行第二图像处理,得到第二训练样本的第二处理结果;根据第二训练样本的第二处理结果和第二样本图像,对第五神经网络进行训练,得到第一神经网络,可以包括:
113.以第五神经网络的权重为变量,根据第二训练样本中第三样本图像,确定第三样本图像的降噪处理结果,作为第二训练样本的第一处理结果;根据第三神经网络,确定第二训练样本的第一处理结果的第二图像处理结果,作为第二训练样本的第二处理结果;根据第二训练样本的第二样本图像和第二处理结果,构建第二损失函数;求解第二损失函数,确定第五神经网络的权重的取值,得到第一神经网络。
114.如图6所示,第一神经网络的训练过程,可以是对一张第二样本图像进行图像退化处理,得到第一样本图像;再基于第一图像传感器的噪声参数对第一样本图像进行增加噪声处理,得到第三样本图像;再基于第五神经网络对第三样本图像进行降噪处理,得到第一处理结果;再基于第三神经网络对第一处理结果进行第二图像处理,得到第二处理结果;再根据第二处理结果和第二样本图像,构建第二损失函数;通过求解第二损失函数,得到第一神经网络。
115.通过本实施例,先基于第五神经网络对第三样本图像进行降噪处理,再基于第三神经网络对第五神经网络输出的第一处理结果进行第二图像处理,再根据第二样本图像和第三神经网络输出的第二出来结果对第五神经网络进行迭代训练,得到第一神经网络,可
以使得第三神经网络的权重保持不变,使得第三神经网络与电子设备中的第一图像传感器、第二图像传感器均对应,可以降低用于进行图像处理的神经网络在电子设备中所占用的内存,提高电子设备的运行速度。
116.步骤103,基于第二神经网络和第三神经网络,对第二图像进行处理,得到第四图像。
117.其中,第二神经网络与第二图像传感器对应,第三神经网络与第一图像传感器和第二图像传感器对应。
118.在本实施例中,对于任一个图像传感器,可以调用与该图像传感器对应的神经网络,对该图像传感器所采集的图像进行处理。具体的,第二神经网络与第二图像传感器对应,即可以调用第二神经网络对第二图像传感器所采集的第二图像进行处理。第三神经网络与第一图像传感器和第二图像传感器对应,表示第一图像传感器和第二图像传感器共享的,即可以调用第三神经网络对第一图像传感器所采集的第一图像进行处理,也可用调用第三神经网络对第二图像传感器所采集的第二图像进行处理。
119.本实施例中的第一神经网络和第二神经网络所执行的操作可以相同,也可以不同,在此不做限定。例如,第一神经网络所执行操作可以包括降噪处理,第二神经网络所执行的操作可以包括降噪处理和图像融合处理。再例如,第一神经网络和第二神经网络所执行操作可以均包括降噪处理。
120.本实施例中,基于第二神经网络和第三神经网络,对第二图像进行处理,得到第四图像的步骤,可以参照前述的步骤102,基于第一神经网络和第三神经网络,对第一图像进行处理,得到第三图像的步骤,在此不再赘述。
121.如图2所示,基于第二神经网络和第三神经网络对第二图像进行处理,得到第四图像的过程,可以是先基于第三神经网络对第二图像进行第一图像处理,得到第三中间图像;再基于第二神经网络对第三中间图像进行降噪处理,得到第四图像。
122.如图3所示,基于第二神经网络和第三神经网络对第二图像进行处理,得到第四图像的过程,还可以是先基于第二神经网络对第二图像进行降噪处理,得到第四中间图像;再基于第三神经网络对第四中间图像进行第二图像处理,得到第四图像。
123.进一步地,训练第二神经网络的步骤,可以参照前述训练第一神经网络的步骤,在此不再赘述。
124.在本公开的实施例中,利用图像底层特征的一致性,通过第一神经网络和第三神经网络,对第一图像处理器采集的第一图像进行处理,得到第三图像;通过第二神经网络和第三神经网络,对第二图像处理器采集的第二图像进行处理,得到第四图像,可以降低用于进行图像处理的神经网络在电子设备中所占用的内存,提高电子设备的运行速度。
125.本技术实施例提供的图像处理方法,执行主体可以为图像处理装置。本技术实施例中以图像处理装置执行图像处理方法为例,说明本技术实施例提供的图像处理装置。
126.图7为本技术实施例的图像处理装置的结构示意图。如图7所示,本技术实施例的图像处理装置700包括图像获取模块701、第一处理模块702和第二处理模块703。
127.图像获取模块701,用于获取第一图像和第二图像,所述第一图像为第一图像传感器采集的图像,所述第二图像为第二图像传感器采集的图像。
128.第一处理模块702,用于基于第一神经网络和第三神经网络,对所述第一图像进行
处理,得到第三图像。
129.第二处理模块703,用于基于第二神经网络和所述第三神经网络,对所述第二图像进行处理,得到第四图像。
130.其中,所述第一神经网络与所述第一图像传感器对应,所述第二神经网络与所述第二图像传感器对应,所述第三神经网络与所述第一图像传感器和所述第二图像传感器对应。
131.在本公开的实施例中,利用图像底层特征的一致性,通过第一神经网络和第三神经网络,对第一图像处理器采集的第一图像进行处理,得到第三图像;通过第二神经网络和第三神经网络,对第二图像处理器采集的第二图像进行处理,得到第四图像,可以降低用于进行图像处理的神经网络在电子设备中所占用的内存,提高电子设备的运行速度。
132.在一个实施例中,所述第一处理模块702包括第一处理单元和第二处理单元。
133.第一处理单元,用于基于所述第三神经网络对所述第一图像进行第一图像处理,得到第一中间图像。
134.第二处理单元,用于基于所述第一神经网络对所述第一中间图像进行降噪处理,得到所述第三图像。
135.其中,所述第一图像处理包括以下至少一项:超分辨率重建、图像融合、去马赛克。
136.本实施例中,通过第三神经网络对第一图像传感器采集的第一图像进行第一图像处理,再通过第一神经网络进行降噪处理,得到第三图像,可以提高该电子设备的拍摄效果。而且,第三神经网络与电子设备中的第一图像传感器、第二图像传感器均对应,可以降低用于进行图像处理的神经网络在电子设备中所占用的内存,提高电子设备的运行速度。
137.在一个实施例中,所述第一处理模块702包括第三处理单元和第四处理单元。
138.第三处理单元,用于基于所述第一神经网络对所述第一图像进行降噪处理,得到第二中间图像。
139.第四处理单元,用于基于所述第三神经网络对所述第二中间图像进行第二图像处理,得到所述第三图像。
140.其中,所述第二图像处理包括以下至少一项:超分辨率重建、图像融合、去马赛克。
141.本实施例中,通过第一神经网络对第一图像传感器采集的第一图像进行降噪处理,再通过第三神经网络进行第二图像处理,得到第三图像,可以提高该电子设备的拍摄效果。而且,第三神经网络与电子设备中的第一图像传感器、第二图像传感器均对应,可以降低用于进行图像处理的神经网络在电子设备中所占用的内存,提高电子设备的运行速度。
142.在一个实施例中,所述图像处理装置700还包括第一样本获取模块和第一训练模块。
143.第一样本获取模块,用于获取第一训练样本,所述第一训练样本包括第一样本图像和第二样本图像,所述第一样本图像为对所述第二样本图像进行图像退化处理得到。
144.第一训练模块,用于根据所述第一训练样本对第四神经网络进行训练,得到所述第三神经网络。
145.本实施例中,通过对第二样本图像进行图像退化处理得到第一样本图像,根据第一样本图像和第二样本图像构成的第一训练样本,训练第四神经网络得到第三神经网络,可以提高第三神经网络的图像处理效果。
146.在一个实施例中,所述图像处理装置700还包括第二样本获取模块和第二训练模块。
147.第二样本获取模块,用于获取第二训练样本,所述第二训练样本包括第三样本图像和第二样本图像,所述第三样本图像为基于所述第一图像传感器的噪声参数对第一样本图像进行增加噪声处理得到,所述第一样本图像为对所述第二样本图像进行图像退化处理得到。
148.第二训练模块,用于基于所述第三神经网络,根据所述第二训练样本对第五神经网络进行训练,得到所述第一神经网络。
149.通过本实施例基于第三神经网络对第五神经网络进行训练,保持第三神经网络的权重不变,可以使得第三神经网络与电子设备中的第一图像传感器、第二图像传感器均对应,还可以使得第一神经网络与第一图像传感器对应,这样,可以基于第一神经网络对第一图像传感器采集的第一图像进行降噪处理,提高第一图像的降噪处理效果,进而提高电子设备的成像效果。
150.在一个实施例中,所述第二训练模块包括第五处理单元和第一训练单元。
151.第五处理单元,用于基于所述第三神经网络,对所述第二训练样本中所述第三样本图像进行第一图像处理,得到所述第二训练样本的第四样本图像。
152.第一训练单元,用于根据所述第二样本图像和所述第四样本图像对所述第五神经网络进行训练,得到所述第一神经网络。
153.通过本实施例,先基于第三神经网络对第三样本图像进行第一图像处理,再根据第二样本图像和第三神经网络得到的第四样本图像对第五神经网络进行迭代训练,得到第一神经网络,可以使得第三神经网络的权重保持不变,使得第三神经网络与电子设备中的第一图像传感器、第二图像传感器均对应,可以降低用于进行图像处理的神经网络在电子设备中所占用的内存,提高电子设备的运行速度。
154.在一个实施例中,所述第二训练模块包括第六处理单元、第七处理单元和第二训练单元。
155.第六处理单元,用于基于所述第五神经网络,对所述第二训练样本中所述第三样本图像进行降噪处理,得到所述第二训练样本的第一处理结果。
156.第七处理单元,用于基于所述第三神经网络,对所述第二训练样本的第一处理结果进行第二图像处理,得到所述第二训练样本的第二处理结果。
157.第二训练单元,用于根据所述第二训练样本的所述第二处理结果和第二样本图像,对所述第五神经网络进行训练,得到所述第一神经网络。
158.通过本实施例,先基于第五神经网络对第三样本图像进行降噪处理,再基于第三神经网络对第五神经网络输出的第一处理结果进行第二图像处理,再根据第二样本图像和第三神经网络输出的第二出来结果对第五神经网络进行迭代训练,得到第一神经网络,可以使得第三神经网络的权重保持不变,使得第三神经网络与电子设备中的第一图像传感器、第二图像传感器均对应,可以降低用于进行图像处理的神经网络在电子设备中所占用的内存,提高电子设备的运行速度。
159.本技术实施例中的图像处理装置可以是电子设备,也可以是电子设备中的部件,例如集成电路或芯片。该电子设备可以是终端,也可以为除终端之外的其他设备。示例性
的,电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(mobile internet device,mid)、增强现实(augmented reality,ar)/虚拟现实(virtual reality,vr)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer,umpc)、上网本或者个人数字助理(personal digital assistant,pda)等,还可以为个人计算机(personal computer,pc)、电视机(television,tv)、柜员机或者自助机等,本技术实施例不作具体限定。
160.本技术实施例中的图像处理装置可以为具有操作系统的装置。该操作系统可以为安卓(android)操作系统,可以为ios操作系统,还可以为其他可能的操作系统,本技术实施例不作具体限定。
161.本技术实施例提供的图像处理装置能够实现图1至图7的方法实施例实现的各个过程,为避免重复,这里不再赘述。
162.可选地,如图8所示,本技术实施例还提供一种电子设备800,包括处理器801和存储器802,存储器802上存储有可在所述处理器801上运行的程序或指令,该程序或指令被处理器801执行时实现上述图像处理方法实施例的各个步骤,且能达到相同的技术效果,为避免重复,这里不再赘述。
163.需要说明的是,本技术实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
164.图8为实现本技术实施例的一种电子设备的硬件结构示意图。
165.该电子设备1000包括但不限于:射频单元1001、网络模块1002、音频输出单元1003、输入单元1004、传感器1005、显示单元1006、用户输入单元1007、接口单元1008、存储器1009、以及处理器1010等部件。
166.本领域技术人员可以理解,电子设备1000还可以包括给各个部件供电的电源(比如电池),电源可以通过电源管理系统与处理器1010逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图9中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置,在此不再赘述。
167.其中,处理器1010,用于获取第一图像和第二图像,所述第一图像为第一图像传感器采集的图像,所述第二图像为第二图像传感器采集的图像;基于第一神经网络和第三神经网络,对所述第一图像进行处理,得到第三图像;基于第二神经网络和所述第三神经网络,对所述第二图像进行处理,得到第四图像;其中,所述第一神经网络与所述第一图像传感器对应,所述第二神经网络与所述第二图像传感器对应,所述第三神经网络与所述第一图像传感器和所述第二图像传感器对应。
168.在本公开的实施例中,利用图像底层特征的一致性,通过第一神经网络和第三神经网络,对第一图像处理器采集的第一图像进行处理,得到第三图像;通过第二神经网络和第三神经网络,对第二图像处理器采集的第二图像进行处理,得到第四图像,可以降低用于进行图像处理的神经网络在电子设备中所占用的内存,提高电子设备的运行速度。
169.可选地,处理器1010,还用于基于所述第三神经网络对所述第一图像进行第一图像处理,得到第一中间图像;基于所述第一神经网络对所述第一中间图像进行降噪处理,得到所述第三图像;其中,所述第一图像处理包括以下至少一项:超分辨率重建、图像融合、去
马赛克。
170.本实施例中,通过第三神经网络对第一图像传感器采集的第一图像进行第一图像处理,再通过第一神经网络进行降噪处理,得到第三图像,可以提高该电子设备的拍摄效果。而且,第三神经网络与电子设备中的第一图像传感器、第二图像传感器均对应,可以降低用于进行图像处理的神经网络在电子设备中所占用的内存,提高电子设备的运行速度。
171.可选地,处理器1010,还用于基于所述第一神经网络对所述第一图像进行降噪处理,得到第二中间图像;基于所述第三神经网络对所述第二中间图像进行第二图像处理,得到所述第三图像;其中,所述第二图像处理包括以下至少一项:超分辨率重建、图像融合、去马赛克。
172.本实施例中,通过第一神经网络对第一图像传感器采集的第一图像进行降噪处理,再通过第三神经网络进行第二图像处理,得到第三图像,可以提高该电子设备的拍摄效果。而且,第三神经网络与电子设备中的第一图像传感器、第二图像传感器均对应,可以降低用于进行图像处理的神经网络在电子设备中所占用的内存,提高电子设备的运行速度。
173.可选地,处理器1010,还用于获取第一训练样本,所述第一训练样本包括第一样本图像和第二样本图像,所述第一样本图像为对所述第二样本图像进行图像退化处理得到;根据所述第一训练样本对第四神经网络进行训练,得到所述第三神经网络。
174.本实施例中,通过对第二样本图像进行图像退化处理得到第一样本图像,根据第一样本图像和第二样本图像构成的第一训练样本,训练第四神经网络得到第三神经网络,可以提高第三神经网络的图像处理效果。
175.可选地,处理器1010,还用于获取第二训练样本,所述第二训练样本包括第三样本图像和第二样本图像,所述第三样本图像为基于所述第一图像传感器的噪声参数对第一样本图像进行增加噪声处理得到,所述第一样本图像为对所述第二样本图像进行图像退化处理得到;基于所述第三神经网络,根据所述第二训练样本对第五神经网络进行训练,得到所述第一神经网络。
176.通过本实施例基于第三神经网络对第五神经网络进行训练,保持第三神经网络的权重不变,可以使得第三神经网络与电子设备中的第一图像传感器、第二图像传感器均对应,还可以使得第一神经网络与第一图像传感器对应,这样,可以基于第一神经网络对第一图像传感器采集的第一图像进行降噪处理,提高第一图像的降噪处理效果,进而提高电子设备的成像效果。
177.可选地,处理器1010,还用于基于所述第三神经网络,对所述第二训练样本中所述第三样本图像进行第一图像处理,得到所述第二训练样本的第四样本图像;根据所述第二样本图像和所述第四样本图像对所述第五神经网络进行训练,得到所述第一神经网络。
178.通过本实施例,先基于第三神经网络对第三样本图像进行第一图像处理,再根据第二样本图像和第三神经网络得到的第四样本图像对第五神经网络进行迭代训练,得到第一神经网络,可以使得第三神经网络的权重保持不变,使得第三神经网络与电子设备中的第一图像传感器、第二图像传感器均对应,可以降低用于进行图像处理的神经网络在电子设备中所占用的内存,提高电子设备的运行速度。
179.可选地,处理器1010,还用于基于所述第五神经网络,对所述第二训练样本中所述第三样本图像进行降噪处理,得到所述第二训练样本的第一处理结果;基于所述第三神经
网络,对所述第二训练样本的第一处理结果进行第二图像处理,得到所述第二训练样本的第二处理结果;根据所述第二训练样本的所述第二处理结果和第二样本图像,对所述第五神经网络进行训练,得到所述第一神经网络。
180.通过本实施例,先基于第五神经网络对第三样本图像进行降噪处理,再基于第三神经网络对第五神经网络输出的第一处理结果进行第二图像处理,再根据第二样本图像和第三神经网络输出的第二出来结果对第五神经网络进行迭代训练,得到第一神经网络,可以使得第三神经网络的权重保持不变,使得第三神经网络与电子设备中的第一图像传感器、第二图像传感器均对应,可以降低用于进行图像处理的神经网络在电子设备中所占用的内存,提高电子设备的运行速度。
181.应理解的是,本技术实施例中,输入单元1004可以包括图形处理器(graphics processing unit,gpu)10041和麦克风10042,图形处理器10041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元1006可包括显示面板10061,可以采用液晶显示器、有机发光二极管等形式来配置显示面板10061。用户输入单元1007包括触控面板10071以及其他输入设备10072中的至少一种。触控面板10071,也称为触摸屏。触控面板10071可包括触摸检测装置和触摸控制器两个部分。其他输入设备10072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。
182.存储器1009可用于存储软件程序以及各种数据。存储器1009可主要包括存储程序或指令的第一存储区和存储数据的第二存储区,其中,第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外,存储器1009可以包括易失性存储器或非易失性存储器,或者,存储器1009可以包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(read-only memory,rom)、可编程只读存储器(programmable rom,prom)、可擦除可编程只读存储器(erasable prom,eprom)、电可擦除可编程只读存储器(electrically eprom,eeprom)或闪存。易失性存储器可以是随机存取存储器(random access memory,ram),静态随机存取存储器(static ram,sram)、动态随机存取存储器(dynamic ram,dram)、同步动态随机存取存储器(synchronous dram,sdram)、双倍数据速率同步动态随机存取存储器(double data rate sdram,ddrsdram)、增强型同步动态随机存取存储器(enhanced sdram,esdram)、同步连接动态随机存取存储器(synch link dram,sldram)和直接内存总线随机存取存储器(direct rambus ram,drram)。本技术实施例中的存储器1009包括但不限于这些和任意其它适合类型的存储器。
183.处理器1010可包括一个或多个处理单元;可选的,处理器1010集成应用处理器和调制解调处理器,其中,应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作,调制解调处理器主要处理无线通信信号,如基带处理器。可以理解的是,上述调制解调处理器也可以不集成到处理器1010中。
184.本技术实施例还提供一种可读存储介质,所述可读存储介质上存储有程序或指令,该程序或指令被处理器执行时实现上述图像处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
185.其中,所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质,包括计算机可读存储介质,如计算机只读存储器rom、随机存取存储器ram、磁碟或者光
盘等。
186.本技术实施例另提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现上述图像处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
187.应理解,本技术实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
188.本技术实施例提供一种计算机程序产品,该程序产品被存储在存储介质中,该程序产品被至少一个处理器执行以实现如上述图像处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
189.需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本技术实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。
190.通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,或者网络设备等)执行本技术各个实施例所述的方法。
191.上面结合附图对本技术的实施例进行了描述,但是本技术并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本技术的启示下,在不脱离本技术宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本技术的保护之内。

技术特征:


1.一种图像处理方法,其特征在于,包括:获取第一图像和第二图像,所述第一图像为第一图像传感器采集的图像,所述第二图像为第二图像传感器采集的图像;基于第一神经网络和第三神经网络,对所述第一图像进行处理,得到第三图像;基于第二神经网络和所述第三神经网络,对所述第二图像进行处理,得到第四图像;其中,所述第一神经网络与所述第一图像传感器对应,所述第二神经网络与所述第二图像传感器对应,所述第三神经网络与所述第一图像传感器和所述第二图像传感器对应。2.根据权利要求1所述的图像处理方法,其特征在于,所述基于第一神经网络和第三神经网络,对所述第一图像进行处理,得到第三图像,包括:基于所述第三神经网络对所述第一图像进行第一图像处理,得到第一中间图像;基于所述第一神经网络对所述第一中间图像进行降噪处理,得到所述第三图像;其中,所述第一图像处理包括以下至少一项:超分辨率重建、图像融合、去马赛克。3.根据权利要求1所述的图像处理方法,其特征在于,所述基于第一神经网络和第三神经网络,对所述第一图像进行处理,得到第三图像,包括:基于所述第一神经网络对所述第一图像进行降噪处理,得到第二中间图像;基于所述第三神经网络对所述第二中间图像进行第二图像处理,得到所述第三图像;其中,所述第二图像处理包括以下至少一项:超分辨率重建、图像融合、去马赛克。4.根据权利要求1所述的图像处理方法,其特征在于,所述基于第一神经网络和第三神经网络,对所述第一图像进行处理,得到第三图像之前,所述图像处理方法还包括:获取第一训练样本,所述第一训练样本包括第一样本图像和第二样本图像,所述第一样本图像为对所述第二样本图像进行图像退化处理得到;根据所述第一训练样本对第四神经网络进行训练,得到所述第三神经网络。5.根据权利要求1所述的图像处理方法,其特征在于,所述基于第一神经网络和第三神经网络,对所述第一图像进行处理,得到第三图像之前,所述方法还包括:获取第二训练样本,所述第二训练样本包括第三样本图像和第二样本图像,所述第三样本图像为基于所述第一图像传感器的噪声参数对第一样本图像进行增加噪声处理得到,所述第一样本图像为对所述第二样本图像进行图像退化处理得到;基于所述第三神经网络,根据所述第二训练样本对第五神经网络进行训练,得到所述第一神经网络。6.根据权利要求5所述的图像处理方法,其特征在于,所述基于所述第三神经网络,根据所述第二训练样本对第五神经网络进行训练,得到所述第一神经网络,包括:基于所述第三神经网络,对所述第二训练样本中所述第三样本图像进行第一图像处理,得到所述第二训练样本的第四样本图像;根据所述第二样本图像和所述第四样本图像对所述第五神经网络进行训练,得到所述第一神经网络。7.根据权利要求5所述的图像处理方法,其特征在于,所述基于所述第三神经网络,根据所述第二训练样本对第五神经网络进行训练,得到所述第一神经网络,包括:基于所述第五神经网络,对所述第二训练样本中所述第三样本图像进行降噪处理,得到所述第二训练样本的第一处理结果;
基于所述第三神经网络,对所述第二训练样本的第一处理结果进行第二图像处理,得到所述第二训练样本的第二处理结果;根据所述第二训练样本的所述第二处理结果和第二样本图像,对所述第五神经网络进行训练,得到所述第一神经网络。8.一种图像处理装置,其特征在于,包括:图像获取模块,用于获取第一图像和第二图像,所述第一图像为第一图像传感器采集的图像,所述第二图像为第二图像传感器采集的图像;第一处理模块,用于基于第一神经网络和第三神经网络,对所述第一图像进行处理,得到第三图像;第二处理模块,用于基于第二神经网络和所述第三神经网络,对所述第二图像进行处理,得到第四图像;其中,所述第一神经网络与所述第一图像传感器对应,所述第二神经网络与所述第二图像传感器对应,所述第三神经网络与所述第一图像传感器和所述第二图像传感器对应。9.一种电子设备,其特征在于,包括处理器和存储器,所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如权利要求1-7中任一项所述的图像处理方法的步骤。10.一种可读存储介质,其特征在于,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如权利要求1-7中任一项所述的图像处理方法的步骤。

技术总结


本申请公开了一种图像处理方法、装置、电子设备和可读存储介质,属于图像处理领域。该图像处理方法包括:获取第一图像和第二图像,所述第一图像为第一图像传感器采集的图像,所述第二图像为第二图像传感器采集的图像;基于第一神经网络和第三神经网络,对所述第一图像进行处理,得到第三图像;基于第二神经网络和所述第三神经网络,对所述第二图像进行处理,得到第四图像;其中,所述第一神经网络与所述第一图像传感器对应,所述第二神经网络与所述第二图像传感器对应,所述第三神经网络与所述第一图像传感器和所述第二图像传感器对应。第一图像传感器和所述第二图像传感器对应。第一图像传感器和所述第二图像传感器对应。


技术研发人员:

吴仆

受保护的技术使用者:

维沃移动通信有限公司

技术研发日:

2022.10.11

技术公布日:

2022/12/9

本文发布于:2024-09-25 00:29:30,感谢您对本站的认可!

本文链接:https://www.17tex.com/tex/2/30793.html

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

标签:神经网络   图像   所述   样本
留言与评论(共有 0 条评论)
   
验证码:
Copyright ©2019-2024 Comsenz Inc.Powered by © 易纺专利技术学习网 豫ICP备2022007602号 豫公网安备41160202000603 站长QQ:729038198 关于我们 投诉建议