(19)国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 202210646447.0
(22)申请日 2022.06.08
(71)申请人 大连海事大学牧草收割机
地址 116026 辽宁省大连市高新园区凌海
共享空调
路1号
(72)发明人 李楠楠 陈蕊 周希瑞 张琪
(74)专利代理机构 大连东方专利代理有限责任
公司 21212
专利代理师 陈丽 李洪福
(51)Int.Cl.
G06T 5/00(2006.01)
G06N 3/04(2006.01)
G06N 3/08(2006.01)
G06T 5/50(2006.01)
G06V 10/77(2022.01)
G06V 10/80(2022.01)
222a2
(54)发明名称基于光照信息引导的无监督低光图像增强方法及装置(57)摘要本发明公开了基于光照信息引导的无监督低光图像增强方法及装置，涉及低光图像增强技术领域，方法包括：收集训练数据集和测试数据集；构建基于光照信息引导的低光增强模型，并将训练数据集中的图像输入到低光增强模型中进行训练；基于光照信息引导的低光增强模型为包括生成器和判别器的生成式对抗网络；生成器包括光照估计模块和增强网络，光照估计模块生成单通道的光照信息图，用以指导所述增强网络的学习；增强网络以U ‑net作为网络的基本块，在U ‑net网络的不同层添加光照信息图指导；将测试数据集中的图像输入到训练好的低光增强模型中，得到增强后的正常光图像。本发明增强了模型的普适性；同时为模型的局部和全局信息融 合建立了纽带。权利要求书2页 说明书7页 附图2页CN 115115540 A 2022.09.27
C N 115115540
A
1.一种基于光照信息引导的无监督低光图像增强方法，其特征在于，所述方法包括：
收集训练数据集和测试数据集；所述训练数据集包括低光图像和正常光的非成对图像；所述测试数据集包括低光图像；
构建基于光照信息引导的低光增强模型，并将所述训练数据集中的图像输入到所述光照信息引导的低光增强模型中进行训练；所述光照信息引导的低光增强模型的输入是三通道的低光图像，输出是增强后的正常光图像；所述基于光照信息引导的低光增强模型为包括生成器和判别器的生成式对抗网络；所述生成器包括：用于估计原始图像中包含的光照信息的光照估计模块和用于低光增强的增强网络；所述光照估计模块生成单通道的光照信息图，用以指导所述增强网络的学习；所述增强网络以U‑net作为网络的基本块，在U‑net网络的不同层添加光照信息图指导；
将所述测试数据集中的图像输入到训练好的低光增强模型中，得到增强后的正常光图像。
2.根据权利要求1所述的一种基于光照信息引导的无监督低光图像增强方法，其特征在于，所述光照估计模块，包括：四层卷积层、三个残差块以及一个单通道提取操作。
3.根据权利要求1所述的一种基于光照信息引导的无监督低光图像增强方法，其特征在于，所述增强网络包括：
将单通道光照指导图与三通道低光图像拼接成四通道的特征融合图作为所述增强网络的输入；
在U‑net的跳跃连接部分将编码器对应特征层融合调整过大小的光照指导图，融合指的是将编码层卷积的输出与不同尺度的光照信息相乘，跳跃连接5个不同尺度的相对应的编码层和解码层网络；
在U‑net解码完成后将其结果与光照指导图相乘融合。
4.根据权利要求1所述的一种基于光照信息引导的无监督低光图像增强方法，其特征在于，所述判别器采用马尔科夫鉴别器。
5.根据权利要求4所述的一种基于光照信息引导的无监督低光图像增强方法，其特征在于，所述判别器包括全局判别器和局部判别器，所述全局判别器的输入为整张生成图像和真实正常光图像；所述局部判别器的输入为从生成图像上和真实正常光图像上随机裁剪的小块。
6.根据权利要求4或5所述的一种基于光照信息引导的无监督低光图像增强方法，其特征在于，所述判别器包括：5个卷积层以及LeakyReLu激活函数，最后一层是全连接层并连接Sigmoid激活函数得出真假判别概率。
7.根据权利要求1所述的一种基于光照信息引导的无监督低光图像增强方法，其特征在于，所述低光增强模型的训练过程中采用的损失函数，包括：
采用平滑损失来估计光照信息；
采用感知损失约束增强后的图像，使增强前后的图像内容特征保持不变；
采用对抗损失来来最小化真实图像与生成图像中光照分布的差异。
8.一种基于光照信息引导的无监督低光图像增强装置，其特征在于，所述方法包括：
数据收集单元，用于收集训练数据集和测试数据集；所述训练数据集包括低光图像和正常光的非成对图像；所述测试数据集包括低光图像；
模型构建单元，用于构建基于光照信息引导的低光增强模型，并将所述训练数据集中的图像输入到所述光照信息引导的低光增强模型中进行训练；所述光照信息引导的低光增强模型的输入是三通道的低光图像，输出是增强后的正常光图像；所述基于光照信息引导的低光增强模型为包括生成器和判别器的生成式对抗网络；所述生成器包括：用于估计原始图像中包含的光照信息的光照估计模块和用于低光增强的增强网络；所述光照估计模块生成单通道的光照信息图，用以指导所述增强网络的学习；所述增强网络以U‑net作为网络的基本块，在U‑net网络的不同层添加光照信息图指导；
图像增强单元，用于将所述测试数据集中的图像输入到训练好的低光增强模型中，得到增强后的正常光图像。
9.一种计算机可读存储介质，其特征在于，该计算机可读存储介质内存储有计算机指令集，计算机指令集被处理器执行时实现如权利要求1～7任一项所提供的一种基于光照信息引导的无监督低光图像增强方法。
基于光照信息引导的无监督低光图像增强方法及装置
技术领域
[0001]本发明涉及图像处理技术领域，特别是涉及基于光照信息引导的无监督低光图像增强方法及装置。
背景技术
[0002]在低光照条件下拍摄的图像会因光照弱导致对比度低、噪声严重以及细节退化等问题，这会影响如图像识别、目标检测和图像分割等计算机视觉任务的执行，因此，低光图像增强对于计算机视觉任务至关重要。
小区停车收费系统
[0003]现有的低光图像增强方法可分为两类，一类是基于直方图的传统方法，基于直方图的方法试图将整个图像的直方图映射为一个简单的数学分布，以增强图像的对比度；另一类是基于retinex的深度学习方法，将图像分解为反射图和光照图，保持反射图的一致性，增强光照图的亮度，然后将增强后的光照图和反射图相乘得到增强后的结果。[0004]然而，由于原始图像的灰度分布不均匀，往往集中在亮度较低的区域，所以传统方法通常无法恢复图像的局部细节。现有的深度学习方法大多依赖于成对训练，然而现实的问题就是自然界中配对的高低光图像是难以获取的，在无法获取成对数据的情况下会导致增强效果不好，另外一点就是有监督学习训练的模型泛化能力差，不能有效处理其他类型的数据。
发明内容
[0005]针对低光图像出现的一系列退化问题，本发明提出基于光照信息引导的无监督低光图像增强方法、装置及存储介质，以提高低光图像增强效果。
[0006]为此，本发明提供了以下技术方案：
[0007]一方面，本发明提供了一种基于光照信息引导的无监督低光图像增强方法，所述方法包括：
[0008]收集训练数据集和测试数据集；所述训练数据集包括低光图像和正常光的非成对图像；所述测试数据集包括低光图像；
[0009]构建基于光照信息引导的低光增强模型，并将所述训练数据集中的图像输入到所述光照信息引导的低光增强模型中进行训练；所述光照信息引导的低光增强模型的输入是三通道的低光图像，输出是增强后的正常光图像；所述基于光照信息引导的低光增强模型为包括生成器和判别器的生成式对抗网络；所述生成器包括：用于估计原始图像中包含的光照信息的光照估计模块和用于低光增强的增强网络；所述光照估计模块生成单通道的光照信息图，用以指导所述增强网络的学习；所述增强网络以U‑net作为网络的基本块，在U‑net网络的不同层添加光照信息图指导；
[0010]将所述测试数据集中的图像输入到训练好的低光增强模型中，得到增强后的正常光图像。
[0011]进一步地，所述光照估计模块，包括：四层卷积层、三个残差块以及一个单通道提
取操作。
[0012]进一步地，所述增强网络包括：
[0013]将单通道光照指导图与三通道低光图像拼接成四通道的特征融合图作为所述增强网络的输入；
[0014]在U‑net的跳跃连接部分将编码器对应特征层融合调整过大小的光照指导图，融合指的是将编码层卷积的输出与不同尺度的光照信息相乘，跳跃连接5个不同尺度的相对应的编码层和解码层网络；
[0015]在U‑net解码完成后将其结果与光照指导图相乘融合。
[0016]进一步地，所述判别器采用马尔科夫鉴别器。
[0017]进一步地，所述判别器包括全局判别器和局部判别器，所述全局判别器的输入为整张生成图像和真实正常光图像；所述局部判别器的输入为从生成图像上和真实正常光图像上随机裁剪的小块。
[0018]进一步地，所述判别器包括：5个卷积层以及LeakyReLu激活函数，最后一层是全连接层并连接Sigmoid激活函数得出真假判别概率。
[0019]进一步地，所述低光增强模型的训练过程中采用的损失函数，包括：
玻璃杯设备[0020]采用平滑损失来估计光照信息；
[0021]采用感知损失约束增强后的图像，使增强前后的图像内容特征保持不变；[0022]采用对抗损失来来最小化真实图像与生成图像中光照分布的差异。
[0023]又一方面，本发明还提供了一种基于光照信息引导的无监督低光图像增强装置，所述方法包括：
[0024]数据收集单元，用于收集训练数据集和测试数据集；所述训练数据集包括低光图像和正常光的非成对图像；所述测试数据集包括低光图像；
[0025]模型构建单元，用于构建基于光照信息引导的低光增强模型，并将所述训练数据集中的图像输入到所述光照信息引导的低光增强模型中进行训练；所述光照信息引导的低光增强模型的输入是三通道的低光图像，输出是增强后的正常光图像；所述基于光照信息引导的低光增强模型为包括生成器和判别器的生成式对抗网络；所述生成器包括：用于估计原始图像中包含的光照信息的光照估计模块和用于低光增强的增强网络；所述光照估计模块生成单通道的光照信息图，用以指导所述增强网络的学习；所述增强网络以U‑net作为网络的基本块，在U‑net网络的不同层添加光照信息图指导；
[0026]图像增强单元，用于将所述测试数据集中的图像输入到训练好的低光增强模型中，得到增强后的正常光图像。
线棒涂布[0027]又一方面，本发明还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机指令集，计算机指令集被处理器执行时实现如上述基于光照信息引导的无监督低光图像增强方法。
[0028]本发明的优点和积极效果：
[0029]本发明中，为了解决成对的高低光图像难以获取的问题，选择使用无监督学习的方式，采用对抗生成网络来达成对低光图像的增强，拓展了传统低光增强的训练模式，增强了模型的普适性。为使得局部区域能够区别于整体进行局部调亮，与传统生成对抗网络不同的是，本发明使用局部全局双鉴别器结构来增强局部区域的光照和整体的光照。由于无
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议