基于深浅特征融合网络及联合损失函数的遥感图像去噪方法

1.本发明涉及遥感数字图像处理与模式识别领域，具体涉及一种基于深浅特征融合网络及联合损失函数的遥感图像去噪方法。

背景技术：

2.遥感图像去噪算法在过去的几十年里吸引了大量的关注，由于深度学习技术的广泛发展，可以将遥感图像去噪算法分为传统的算法和基于深度学习的算法。传统的遥感图像去噪算法包括基于滤波的方法和基于统计学习的方法，滤波的方法是利用噪声图像像素点与周围像素之间的关系来消除噪声，如均值滤波和中值滤波等，后续经过改进传统的滤波算法，发明了利用整个图像冗余信息的非局部均值去噪算法以及融合了空间域和变换域的块匹配和三维滤波算法(bm3d)。k-svd算法利用图像的稀疏编码对图像进行去噪，通过训练将图像块进行系数表示，并结合图像内在结构对原始图像进行估计来实现图像的去噪。尽管传统算法能够实现一定的去噪效果，但是生成的图像易模糊，需要手动各种超参数的设置，且需要大量的计算成本和时间成本。
3.目前采用深度神经网络的遥感图像去噪算法较少，大部分是针对普通的图像进行去噪。例如dncnn去噪模型通过引入残差学习和批量标准化的方法，该方法通过去除池化层和设置合理的卷积核尺寸增强网络对图像的感知能力，从而在盲去噪与非盲去噪等场景下均获得了不俗的去噪能力，且实验表明其泛化能力较传统算法有较大提升。ffdnet去噪模型通过将输入图像采样为多张子图像在通道方向进行叠加，随后输入网络进行训练，在保证结果的同时减少了网络的参数与计算效率。尽管采用卷积神经网络的方法在图像去噪领域取得了良好的效果，但是对于基于深度学习的遥感图像的去噪网络没有充分利用浅层对深层的影响，并且都没有考虑到遥感图像复杂的地物特征。

技术实现要素：

4.为了解决现有技术中存在的问题，本发明提供了一种基于深浅特征融合网络及联合损失函数的遥感图像去噪方法，通过多尺度特征提取模块在模型的第一层就提取尽可能多的特征，通过深浅特征融合的网络结构能够有效的将提取到的浅层信息包含到后续图像的重建过程当中，能够使得重建后的图像包含更多的细节纹理，不易产生去噪后的模糊。通过在网络中加入注意力模块能够提取到复杂背景中的噪声信息。
5.本发明解决技术问题所采用的技术方案如下：
6.基于深浅特征融合网络及联合损失函数的遥感图像去噪方法，该方法包括如下步骤：
7.步骤一：构建遥感图像质量评价网络模型，以及遥感图像去噪神经网络模型；
8.步骤二：对uc merced训练集进行图像预处理，将处理过的uc merced 训练集放入所述遥感图像质量评价网络模型中进行训练，最终得出参数固定的遥感图像质量评价网络模型；
9.步骤三：对去噪数据集nwpu-resisc45进行分块并且预处理，然后输入均方根估计损失函数和基于遥感图像质量评价网络模型的感知损失函数进行训练，联合所述均方根估计损失函数和所述遥感图像质量评价网络模型的感知损失函数优化所述遥感图像去噪神经网络模型的参数，通过所述遥感图像质量评价网络模型的输出结果判定所述遥感图像去噪神经网络模型的参数优化的程度；
10.步骤四：将待去噪的遥感图像放入已经优化的所述遥感图像去噪神经网络模型中，输出干净的图像。
11.优选的，步骤一所述遥感图像去噪神经网络模型包括：多尺度特征提取模块、深浅特征融合模块和图像重建模块；所述多尺度特征提取模块提取遥感图像的初始特征的，通过不同尺度的卷积核提取所述遥感图像不同的特征；所述深浅特征融合模块解决所述遥感图像重建中的模糊问题，通过跳跃连接将浅层的纹理信息送到所述遥感图像重建的过程当中，加深所述遥感图像质量评价网络模型的深度防止梯度消失并生成细节纹理丰富的图像；所述图像重建模块将细节纹理丰富的图像重建。
12.优选的，所述深浅特征融合模块包括多个增强注意力模块和一个全局融合模块；每个增强注意力模块的输出都连接到下一个增强注意力模块和全局融合模块中。
13.优选的，所述增强注意力模块包含两个卷积层两个bn层、两个激活层和一个通道注意力层；每两个卷积层、两个bn层、两个激活层组的输出都连接到下一个每两个卷积层、两个bn层、两个激活层组和所述通道注意力层。
14.所述全局特征融合模块包含了两个部分，第一部分包括：1
×
1的卷积核，输出通道数是输入通道数的，和3
×
3的卷积核；1
×
1的卷积核和3
×
3的卷积核连接，压缩、精确提取和融合了所述遥感图像深浅特征。
15.优选的，所述多尺度特征提取模块为不同内核大小的四个卷积层，将所述遥感图像分为四个路径。
16.优选的，步骤一所述遥感图像质量评价网络模型依次包括：输入层、隐含层和输出层，所述隐含层包括四对3
×
3的卷积层和最大池化层，和全连接层，所述四对3
×
3的卷积层和最大池化依次连接，最后经过所述全连接层进入所述输出层输出质量评价结果。
17.优选的，步骤二所述的图像预处理包括如下步骤：在uc merced训练集随机选出100张图像作为样本，将所述图像转换成ycbcr空间的图像，而后选取y通道图像作为训练样本数据集；向所述训练样本数据集中添加五种不同强度的高斯噪声，对应着不同的图像质量评分：
18.p
noise
＝p
orgin
+σ
×
randn(size(p
orgin
))，σ＝0，5,15,25,35,45
19.其中，p
noise
代表得到的含噪声图像，p
orgin
为原始图像，σ代表加入噪声的方差，该方差一共有6个等级，在图像灰度值最大为255的情况下分别为 0,5,15,25,35,45；加入高斯噪声后可以获得600张训练样本；利用高斯模糊算法，对要所述训练样本数据集实现不同程度的模糊，得到600张模糊训练样本；1200图片放入所述遥感图像质量评价网络模型中进行训练优化，损失函数采用均方根损失函数，最小化损失函数采用adam优化算法。
20.优选的，步骤三所述的预处理包括：在训练去噪数据集nwpu-resisc45 中，每幅图像的大小为256
×
256，首先对图像分块操作，令步长s＝25，小块的大小为n＝50，即每幅图
像可以获得100个小块，对所述小块图像添加不同强度的高斯噪声，经过训练的模型得到处理相应强度噪声的模型；对所述小块图像添加一定范围内方差随机变化的高斯噪声，即实现模型的盲去噪。
21.本发明的有益效果是：
22.(1)在遥感图像去噪神经网络模型的开始采用了多尺度特征提取模块来获得输入遥感图像的多个不同维度的信息，能够在模型的初始阶段提取到不同方向的特征信息，从而使得模型能够学习到更多的特征，模型更容易训练。
23.(2)采用了深浅特征融合的遥感图像去噪神经网络模型结构。融合深层次的感知信息和浅层次的细节信息，从而使得重建出的遥感图像在保证整体信息的同时拥有更多的细节。
24.(3)采用了包含了卷积层、激励层和通道注意力层的增强注意力模块。对于较为复杂背景信息下的噪声信号可以很好的提取出来。
25.(4)损失函数采用了感知损失和一般mse损失函数，其中的感知损失函数由遥感图像质量评价网络来实现。采用该损失函数能够使得生成的去噪后遥感图像有高的信噪比，同时符合人的整体视觉观感。
附图说明
26.图1本发明基于深浅特征融合网络及联合损失函数的遥感图像去噪方法流程图。
27.图2本发明遥感图像去噪神经网络模型结构示意图。
28.图3本发明多尺度特征提取模块结构示意图。
29.图4本发明增强注意力模块结构示意图。
30.图5本发明遥感图像质量评价网络模型结构示意图。
具体实施方式
31.下面结合附图和实施例对本发明做进一步详细说明。
32.如图1所示，基于深浅特征融合网络及联合损失函数的遥感图像去噪方法，该方法包括如下步骤：
33.步骤一：构建要训练的卷积神经网络模型，以及遥感图像质量评价网络模型。
34.如图2所示，所述遥感图像质量评价网络模型包括：多尺度特征提取模块、深浅特征融合模块和图像重建模块；所述多尺度特征提取模块提取遥感图像的初始特征的，通过不同尺度的卷积核提取所述遥感图像不同的特征；所述深浅特征融合模块解决所述遥感图像重建中的模糊问题，通过跳跃连接将浅层的纹理信息送到所述遥感图像重建的过程当中，加深所述遥感图像质量评价网络模型的深度防止梯度消失并生成细节纹理丰富的图像；所述图像重建模块将细节纹理丰富的图像重建。其中所述深浅特征融合模块包括多个增强注意力模块和一个全局融合模块；每个增强注意力模块的输出都连接到下一个增强注意力模块和全局融合模块中。
35.输入图像是含噪声图像，可以是单通道全遥感图像也可以是彩rgb格式的遥感图像如图3所示，输入图像经过四个路径，所述多尺度特征提取模块
具有4个不同内核大小的卷积层(1
×
1,3
×
3,5
×
5,7
×
7)，其中conv(
·
)代表卷积操作，是经过卷积层后的特征图，设每个卷积层的输出通道数为
[0036][0037]
得到了四个通道的特征图后，将四个输出结果聚合起来，得到通道数为n的特征图l
out
，
[0038][0039]
在经过多尺度特征提取模块后获得通道数为n的特征图l
out
，随后输入到模型的主要特征映射部分，由多个相同的增强注意力模块和全局融合模块组成的深浅特征融合模块。如图4所示，每个增强注意力块包含两个卷积层、两个bn层、两个激活层和一个通道注意力模块；每两个卷积层、两个bn 层、两个激活层组的输出都连接到下一个每两个卷积层、两个bn层、两个激活层组和所述通道注意力层。每个增强注意力块的输出都连接到下一个增强注意力块和全局融合模块中，这样有助于加深模型的深度防止梯度消失，并且通过跳跃连接，在后面的模块中也融合了模型提取的浅层信息。因此，我们有
[0040][0041]bi
＝e(b
i-1
)＝f
conv
(f
conv
(f
ca
(b
i-1
))),i＝1,2,
…
,n
[0042]
e(
·
)代表增强注意力模块，n是一个超参数，代表着增强注意力模块的个数。f
conv
和f
ca
代表着增强注意力模块中的卷积层和通道注意力层。其中bi表示经过第i个增强注意力模块后的输出；gff代表着全局特征融合模块，concate表示将bi在通道上进行叠加。全局特征融合模块包含了两个部分，第一部分是卷积核为1
×
1的卷积核，输出通道数是输入通道数的，紧接着第二部分是卷积核为3
×
3的卷积核，两个大小不同的卷积核实现了深浅特征的压缩和融合，起到了对特征的精确提取和融合，同时减少了计算量。图像重建模块是一个简单卷积层输出通道数为输入图像通道数的噪声残差图，实现对图像的重建。
[0043]
如图5所示，本发明提出的遥感图像质量评价网络模型主要是为了将该网络生成的结果作为感知损失，不同于以往的采用图像识别网络作为感知损失，使用遥感图像质量评价网络模型可以使得训练出的遥感图像去噪神经网络模型的生成图像能够更加符合人眼的感知。所述遥感图像质量评价网络模型主要由输入层、隐含层和输出层所组成，隐含层包括四对卷积核尺寸为3
×
3 的卷积层和步长为2的最大池化层以及最后的全连接层，所述四对3
×
3的卷积层和最大池化依次连接，最后经过所述全连接层进入所述输出层输出质量评价结果。
[0044]
步骤二：对uc merced训练集进行图像预处理，将处理过的uc merced 训练集放入所述遥感图像质量评价网络模型中进行训练，最终得出参数固定的遥感图像质量评价网络模型；
[0045]
本发明中用于训练遥感图像质量评价网络模型的数据集采用uc merced 遥感图
像数据集，该数据集中包含了2100张尺寸为265
×
256的rgb空间图像。在2100张单通道图像中随机选出100张图像作为样本，首先需要对样本图像进行彩空间的转换，变为ycbcr空间的图像，而后将y通道图像作为训练样本。向训练样本数据集中添加五种不同强度的高斯噪声，对应着不同的图像质量评分，这些评分作为训练集的标签。
[0046]
p
noise
＝p
orgin
+σ
×
randn(size(p
orgin
))，σ＝0，5,15,25,35,45
[0047]
其中，p
noise
代表得到的含噪声图像，p
orgin
为原始图像，σ代表的是加入噪声的方差，该方差一共有6个等级；在图像灰度值最大为255的情况下分别为0,5,15,25,35,45。加入高斯噪声后可以获得600张训练样本。同样的，利用高斯模糊算法，对要训练的样本实现不同程度的模糊，同样可以得到600张模糊训练样本。
[0048]
然后将600张训练样本和600张模糊训练样本图片放入遥感图像质量评价网络模型中进行训练优化，损失函数采用均方根损失函数，最小化损失函数采用adam优化算法。最终得到训练优化好参数的遥感图像质量评价网络模型。
[0049]
步骤三：对去噪数据集nwpu-resisc45进行分块并且预处理，然后输入均方根估计损失函数和基于遥感图像质量评价网络模型的感知损失函数进行训练，联合所述均方根估计损失函数和所述遥感图像质量评价网络模型的感知损失函数优化所述遥感图像去噪神经网络模型的参数，通过所述遥感图像质量评价网络模型的输出结果判定所述遥感图像去噪神经网络模型的参数优化的程度；
[0050]
在训练集nwpu-resisc45中，每幅图像的大小为256
×
256，首先对图像进行分块操作以便用于训练模型，令步长s＝25，小块的大小为n＝50，那么每幅图像可以获得100个小块，对经过图像分块之后的块添加不同强度的高斯噪声，经过模型的训练就可以得到处理相应强度噪声的模型，如果要实现模型的盲去噪，要对小块图像添加一定范围内方差随机变化的高斯噪声。本发明采用端到端的训练方法，输入为噪声图像x，输出为噪声残差图n，用公式表达为如下的形式：
[0051]
n＝f(x,w)
[0052]
其中f(
·
)为网络非线性映射函数，w为网络模型参数。
[0053]
训练模型采用的是联合mse(均方根估计)损失函数和基于遥感图像质量评价网络模型的感知损失函数，训练过程中只更新遥感图像去噪神经网络模型的参数，遥感图像质量评价网络模型的参数固定不变。通过adam优化算法来最小化联合损失函数，从而使得模型的参数达到最优，用公式表达为以下的形式
[0054][0055][0056]
其中y为真实无噪声图像，为经过模型去噪后的图像，为mse 损失函数，为基于遥感图像质量评价的网络模型，α是手工设计的超参数。
[0057]
训练过程中，每次输入的图像块批量数目为128，对于灰度图像将深度设置为1，对于rgb空间的图像来说，将深度设置为3，模型的初始化参数采用he初始化方法，学习率设置为0.001，每训练30次，学习率衰减为原来的十分之一，总迭代次数为180。
[0058]
步骤四：将待去噪的遥感图像放入已经优化的所述遥感图像去噪神经网络模型
中，输出干净的图像。
[0059]
设i
noise
为待去噪的遥感图像，那么去噪过程可以由以下的公式来表示：
[0060]idenoise
＝i
noise-f(i
noise
,w)
[0061]
将噪声图像减去模型得到的噪声残差图像就可以得到干净的不含噪声图像。

技术特征：

1.基于深浅特征融合网络及联合损失函数的遥感图像去噪方法，其特征在于，该方法包括如下步骤：步骤一：构建遥感图像质量评价网络模型，以及遥感图像去噪神经网络模型；步骤二：对uc merced训练集进行图像预处理，将处理过的uc merced训练集放入所述遥感图像质量评价网络模型中进行训练，最终得出参数固定的遥感图像质量评价网络模型；步骤三：对去噪数据集nwpu-resisc45进行分块并且预处理，然后输入均方根估计损失函数和基于遥感图像质量评价网络模型的感知损失函数进行训练，联合所述均方根估计损失函数和所述遥感图像质量评价网络模型的感知损失函数优化所述遥感图像去噪神经网络模型的参数，通过所述遥感图像质量评价网络模型的输出结果判定所述遥感图像去噪神经网络模型的参数优化的程度；步骤四：将待去噪的遥感图像放入已经优化的所述遥感图像去噪神经网络模型中，输出干净的图像。2.根据权利要求1所述的基于深浅特征融合网络及联合损失函数的遥感图像去噪方法，其特征在于，步骤一所述遥感图像去噪神经网络模型包括：多尺度特征提取模块、深浅特征融合模块和图像重建模块；所述多尺度特征提取模块提取遥感图像的初始特征的，通过不同尺度的卷积核提取所述遥感图像不同的特征；所述深浅特征融合模块解决所述遥感图像重建中的模糊问题，通过跳跃连接将浅层的纹理信息送到所述遥感图像重建的过程当中，加深所述遥感图像质量评价网络模型的深度防止梯度消失并生成细节纹理丰富的图像；所述图像重建模块将细节纹理丰富的图像重建。3.根据权利要求2所述的基于深浅特征融合网络及联合损失函数的遥感图像去噪方法，其特征在于，所述深浅特征融合模块包括多个增强注意力模块和一个全局融合模块；每个增强注意力模块的输出都连接到下一个增强注意力模块和全局融合模块中。4.根据权利要求3所述的基于深浅特征融合网络及联合损失函数的遥感图像去噪方法，其特征在于，所述增强注意力模块包含两个卷积层两个bn层、两个激活层和一个通道注意力层；每两个卷积层、两个bn层、两个激活层组的输出都连接到下一个每两个卷积层、两个bn层、两个激活层组和所述通道注意力层。5.根据权利要求3所述的基于深浅特征融合网络及联合损失函数的遥感图像去噪方法，其特征在于，所述全局特征融合模块包含了两个部分，第一部分包括：1
×
1的卷积核，输出通道数是输入通道数的和3
×
3的卷积核；1
×
1的卷积核和3
×
3的卷积核连接，压缩、精确提取和融合了所述遥感图像深浅特征。6.根据权利要求2所述的基于深浅特征融合网络及联合损失函数的遥感图像去噪方法，其特征在于，所述多尺度特征提取模块为不同内核大小的四个卷积层，将所述遥感图像分为四个路径。7.根据权利要求1所述的基于深浅特征融合网络及联合损失函数的遥感图像去噪方法，其特征在于，步骤一所述遥感图像质量评价网络模型依次包括：输入层、隐含层和输出层，所述隐含层包括四对3
×
3的卷积层和最大池化层，和全连接层，所述四对3
×
3的卷积层和最大池化依次连接，最后经过所述全连接层进入所述输出层输出质量评价结果。
8.根据权利要求1所述的基于深浅特征融合网络及联合损失函数的遥感图像去噪方法，其特征在于，步骤二所述的图像预处理包括如下步骤：在uc merced训练集随机选出100张图像作为样本，将所述图像转换成ycbcr空间的图像，而后选取y通道图像作为训练样本数据集；向所述训练样本数据集中添加五种不同强度的高斯噪声，对应着不同的图像质量评分：p
noise
＝p
orgin
+σ
×
randn(size(p
orgin
))，σ＝0，5,15,25,35,45其中，p
noise
代表得到的含噪声图像，p
orgin
为原始图像，σ代表加入噪声的方差，该方差一共有6个等级，在图像灰度值最大为255的情况下分别为0,5,15,25,35,45；加入高斯噪声后可以获得600张训练样本；利用高斯模糊算法，对要所述训练样本数据集实现不同程度的模糊，得到600张模糊训练样本；将1200图片放入所述遥感图像质量评价网络模型中进行训练优化，损失函数采用均方根损失函数，最小化损失函数采用adam优化算法。9.根据权利要求1所述的基于深浅特征融合网络及联合损失函数的遥感图像去噪方法，其特征在于，步骤三所述的预处理包括：在训练去噪数据集nwpu-resisc45中，每幅图像的大小为256
×
256，首先对图像分块操作，令步长s＝25，小块的大小为n＝50，即每幅图像可以获得100个小块，对所述小块图像添加不同强度的高斯噪声，经过训练的模型得到处理相应强度噪声的模型；对所述小块图像添加一定范围内方差随机变化的高斯噪声，即实现模型的盲去噪。

技术总结

基于深浅特征融合网络及联合损失函数的遥感图像去噪方法涉及遥感数字图像处理与模式识别领域，通过多尺度特征提取模块在模型的第一层就提取尽可能多的特征，通过深浅特征融合的网络结构能够有效的将提取到的浅层信息包含到后续图像的重建过程当中，能够使得重建后的图像包含更多的细节纹理。通过在网络中加入注意力模块能够提取到复杂背景中的噪声信息，对于较为复杂背景信息下的噪声信号可以很好的提取出来。损失函数采用了感知损失和一般MSE损失函数，其中的感知损失函数由遥感图像质量评价网络来实现。采用该损失函数能够使得生成的去噪后遥感图像有高的信噪比，同时符合人的整体视觉观感。人的整体视觉观感。人的整体视觉观感。