(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 202010816305.5
(22)申请日 2020.08.14
(71)申请人 西安理工大学
地址 710048 陕西省西安市碑林区金花南
路5号
(72)发明人 张二虎 段敬红 李贝
(74)专利代理机构 西安弘理专利事务所 61214
代理人 罗笛
(51)Int.Cl.
G06T 5/00(2006.01)
G06N 3/04(2006.01)
G06N 3/08(2006.01)
(54)发明名称一种基于深度学习的逆光图像协同增强方法(57)摘要本发明公开了一种基于深度学习的逆光图像协同增强方法，步骤包括：步骤1、采集逆光图像；步骤2、选取三种传统逆光图像增强方法，对每一幅逆光图像均生成三幅不同种类的伪目标图像；步骤3、设置对逆光图像增强的全卷积深度神经 网络模型；步骤4、针对不同种类的伪目标图像设计不同的损失函数，然后加权综合所有的损失函数形成总的损失函数，以此来共同指导逆光图像增强的全卷积神经网络模型的训练，来学习并综合不同伪目标图像优点；步骤5、对于待增强的逆光图像，输入到训练好的全卷积神经网络模型，该模型的输出就是增强后的逆光图像。本发明的方法，增强后的图像整体轮廓清晰、层次分明、
彩协调。权利要求书2页 说明书3页 附图5页CN 112070686 A 2020.12.11
C N 112070686
A
1.一种基于深度学习的逆光图像协同增强方法，其特征在于，按照以下步骤实施：
步骤1、采集逆光图像I s；
步骤2、选取三种传统逆光图像增强方法，对步骤1采集的每一幅逆光图像均生成三幅不同种类的伪目标图像；
步骤3、设置对逆光图像增强的全卷积深度神经网络模型，用F e表示，
步骤4、针对步骤2中的不同种类的伪目标图像设计不同的损失函数，然后加权综合所有的损失函数形成总的损失函数，以此来共同指导步骤3所设计的逆光图像增强的全卷积神经网络模型的训练，来学习并综合不同伪目标图像优点；
步骤5、对于待增强的逆光图像I s，将其输入到步骤4训练好的逆光图像增强的全卷积神经网络模型F e，该全卷积神经网络模型的输出就是增强后的逆光图像I e，即I e＝F e(I s)，即成。
2.根据权利要求1所述的基于深度学习的逆光图像协同增强方法，其特征在于：所述的三种具有不同特的传统逆光图像增强方法分别是，
传统逆光图像增强方法1生成的伪目标图像要求结构清晰，用I t1表示；
传统逆光图像增强方法2生成的伪目标图像要求细节丰富，用I t2表示；
传统逆光图像增强方法3生成的伪目标图像要求彩丰富，用I t3表示。
3.根据权利要求1所述的基于深度学习的逆光图像协同增强方法，其特征在于：所述的步骤3中，具体过程为，
3.1)使用一个步长为1的3×3卷积层将输入的逆光图像I s映射到特征空间，形成特征图；
3.2)采用三个下采样块对步骤3.1)形成的特征图进行编码，每一个下采样块都是由一个步长为2的3×3卷积层和ReLU激活层组成，每个下采样块都提取64通道的特征映射输出；
3.3)通过三个上采样块对步骤3.2)最后一个下采样块的特征映射输出进行解码，每个上采样块都是先通过最近邻插值将特征图上采样到更高一层的尺寸，再通过一个3×3卷积层和ReLU激活层进行特征映射的；此外在将前一层输入送入到下一个上采样块之前，将其与对应的下采样时提取到的特征拼接起来，以得到更为丰富的级联特征；
3.4)将所有上采样块的输出resize为输入逆光图像的大小并进行通道拼接，形成192个通道的级联特征，再通过一个1*1卷积层将其融合为64个通道的特征；
3.5)利用一个3*3卷积层将64个通道的特征映射到3通道的图像空间，并通过Sigmoid 层将输出的结果归一化到0-1的图像范围，生成由该网络增强后的逆光图像。
4.根据权利要求1所述的基于深度学习的逆光图像协同增强方法，其特征在于：所述的步骤4中，损失函数的构建过程为，
对于传统逆光图像增强方法1生成的伪目标图像I t1与步骤3全卷积神经网络模型F e生成的增强后的逆光图像的损失函数L1，称为结构损失函数，其定义为：L1＝||F e(I s)-I t1||1，其中F e(I s)表示由全卷积神经网络模型F e生成的增强后的逆光图像；
对于传统逆光图像增强方法2生成的伪目标图像I t2与步骤3全卷积神经网络模型F e生成的增强后的逆光图像的损失函数L2，称为感知损失函数，其定义为：
其中算子VGG(·)表示提取VGGNet-19网络的conv4-4
层输出的特征；
对于传统逆光图像增强方法3生成的伪目标图像I t3与步骤3全卷积神经网络模型F e生成的增强后的逆光图像的损失函数L3，称为颜损失函数，其定义为：
其中算子B(·)表示进行高斯滤波模糊运算；选取的高斯滤波
函数为：参数为A＝0.053；μx＝0；μy＝0；σx＝3；σy＝
3；
总的结构损失函数L定义为：L＝L1+λp L2+λc L3。
5.根据权利要求4所述的基于深度学习的逆光图像协同增强方法，其特征在于：所述的系数λp的取值范围为0.05到0.15之间，系数λc的取值范围为0.5到1.5之间。
一种基于深度学习的逆光图像协同增强方法
技术领域
[0001]本发明属于数字图像处理技术领域，涉及一种基于深度学习的逆光图像协同增强方法。
背景技术
[0002]随着数码相机、手机等成像设备的日益普及，图像作为传递信息的主要媒介已被广泛应用于社会生活的各个领域。但是由于拍摄环境的约束以及拍摄设备硬件的限制，常会出现逆光图像，导致被拍摄的图像质量降低，进而会影响到后续的处理或者识别。因此，对逆光图像进行自动增强显得非常重要，具有实际应用价值。
[0003]现有的针对逆光图像的增强手段，主要是采用传统的基于光照不均图像的增强方法来进行处理，如直方图均衡增强方法、多尺度Retinex方法、照射图估计方法、非线性亮度提升方法等。这些方
法无法同时兼顾欠曝光的主体和部分过曝光的背景，导致增强后图像的细节表现不好。另外，如果将逆光图像看作低照度图像和过曝光图像的结合，分别通过融合低照度增强方法和过曝光增强方法的增强结果来提高逆光图像的质量，虽然能同时增强欠曝光区域和过曝光区域的细节，但得到的图像整体往往会变得不连续。虽然基于深度学习的方法在低质量图像增强方面有许多方法，但在逆光图像的增强方面鲜有应用，其存在的问题是没有与逆光图像成对的正常图像，因而无法训练深度学习网络。
发明内容
[0004]本发明的目的是提供一种基于深度学习的逆光图像协同增强方法，解决了现有技术采用的深度学习方法，在逆光图像增强中没有真实的高质量图像与之对应，以及单目标增强效果不理想的问题。
[0005]本发明所采用的技术方案是，一种基于深度学习的逆光图像协同增强方法，按照以下步骤实施：
[0006]步骤1、采集逆光图像I s；
[0007]步骤2、选取三种传统逆光图像增强方法，对步骤1采集的每一幅逆光图像均生成三幅不同种类的伪目标图像；
[0008]步骤3、设置对逆光图像增强的全卷积深度神经网络模型，用F e表示，
[0009]步骤4、针对步骤2中的不同种类的伪目标图像设计不同的损失函数，然后加权综合所有的损失函数形成总的损失函数，以此来共同指导步骤3所设计的逆光图像增强的全卷积神经网络模型的训练，来学习并综合不同伪目标图像优点；
[0010]步骤5、对于待增强的逆光图像I s，将其输入到步骤4训练好的逆光图像增强的全卷积神经网络模型F e，该全卷积神经网络模型的输出就是增强后的逆光图像I e，即I e＝F e (I s)，即成。
[0011]本发明的有益效果是，一是解决了应用深度学习方法对逆光图像增强时无相应成对图像的问题；二是充分利用了不同伪目标图像的长处，协同训练逆光图像增强的网络模
型，使得增强后的图像比传统方法生成的图像更为真实，图像整体轮廓清晰、层次分明、彩协调。
附图说明
[0012]图1是本发明方法的原理框图；
[0013]图2是本发明方法中的逆光图像增强的全卷积神经网络模型结构图；
[0014]图3a是一幅逆光图像；
[0015]图3b是采用本发明方法对图3a增强后的图像；
[0016]图3c是采用传统的多尺度Retinex方法对图3a增强后的图像；
[0017]图3d是采用传统的照射图估计方法对图3a增强后的图像；
[0018]图3e是基于图像分割的自适应增强方法对图3a增强后的图像；
[0019]图4是本发明方法的步骤过程框图。
具体实施方式
[0020]下面结合附图和具体实施方式对本发明进行详细说明。
[0021]参照图1及图4，本发明基于深度学习的逆光图像协同增强方法，按照以下步骤实施：
[0022]步骤1、利用数码相机、手机采集一定数量的逆光图像I s；
[0023]步骤2、选取三种具有不同特的传统逆光图像增强方法，对步骤1采集的每一幅逆光图像均生成三幅不同种类的伪目标图像，其中，传统逆光图像增强方法1生成的伪目标图像要求结构清晰，用I t1表示；传统逆光图像增强方法2生成的伪目标图像要求细节丰富，用I t2表示；传统逆光图像增强方法3生成的伪目标图像要求彩丰富，用I t3表示；[0024]步骤3、参照图2，设置对逆光图像增强的全卷积深度神经网络模型，用F e表示，具体过程为，
[0025] 3.1)使用一个步长为1的3×3卷积层将输入的逆光图像I s映射到特征空间，形成特征图；
[0026] 3.2)采用三个下采样块对步骤3.1)形成的特征图进行编码，每一个下采样块都是由一个步长为2的3×3卷积层和ReLU激活层组成，每个下采样块都提取64通道的特征映射输出；
[0027] 3.3)通过三个上采样块对步骤3.2)最后一个下采样块的特征映射输出进行解码，每个上采样块都是先通过最近邻插值将特征图上采样到更高一层的尺寸，再通过一个3×3卷积层和ReLU激活层进行特征映射的；此外在将前一层输入送入到下一个上采样块之前，将其与对应的下采样时提取到的特征拼接起来，以得到更为丰富的级联特征；
[0028] 3.4)将所有上采样块的输出resize为输入逆光图像的大小并进行通道拼接，形成192个通道的级联特征，再通过一个1*1卷积层将其融合为64个通道的特征；
[0029] 3.5)利用一个3*3卷积层将64个通道的特征映射到3通道的图像空间，并通过Sigmoid层将输出的结果归一化到0-1的图像范围，生成由该网络增强后的逆光图像。[0030]步骤4、针对步骤2中的不同种类的伪目标图像设计不同的损失函数，然后加权综合所有的损失函数形成总的损失函数，以此来共同指导步骤3所设计的逆光图像增强的全
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议