一种双通道单幅图像精细去雨方法

本发明涉及计算机视觉图像处理方法领域，具体是一种双通道单幅图像精细去雨方法。

在众多的计算机视觉和数据挖掘等任务中，如自动驾驶、基于无人机的视频监控和恶劣天气条件下的实时目标识别等，从图像中去除雨纹是一个重要且具有挑战性的课题。雨是最常见的一种可以降低图像质量的天气,由于雨纹的干扰,导致对象检测,图像识别以及显著性检测等一些高级任务可能会受到影响,所以开发新颖有效的方法来自动处理图像中的雨纹是非常重要的。

带雨图像主要包含雨条纹和雨滴，在真实图像之前形成雨掩模。对于暴雨，由于光线的散射，它们可能会造成雾霾大气，从而使图像模糊和朦胧。因此，将雨掩膜与真实图像分离是解决这一问题的一个直观思路。雨纹去除问题可以建模为X＝R+B

其中X为带雨图像，可分解为雨条纹分量R和干净背景图像B。

近年来，深度学习的发展非常迅速，在高级和低级视觉任务中都取得了显著的成功，因此提出了许多基于卷积神经网络(CNN)的单幅图像去雨方法。这些方法通常会训练一个端到端深度网络框架来学习带雨图像和对应的无雨图像之间的映射。一般情况下，现有单幅图像去雨方法通常采用残差网络、密集网络、压缩激励网络等网络或膨胀卷积、压缩激励等卷积运算。但是由于雨纹去除问题的数学模型中存在复杂的病态二分问题，因此上述方法无法从带雨图像中提取出准确的雨条纹，尤其在训练过程中，如果没有正确考虑测试图像中的雨纹方向和尺度，则往往容易出现过分去雨(导致图像模糊)或少量去雨(导致剩余大量雨纹)的情况。其主要原因是由于这些方法的雨纹学习和表达能力不足，特别是在强降雨(即雨纹大且密)条件下，无法准确地学习到带雨图像和无雨图像之间的映射关系。因此，提供一种基于深度学习的端到端的单幅图像去雨方法来处理上述问题是本领域技术人员亟待解决的问题。

本发明的目的是提供一种双通道单幅图像精细去雨方法，以克服上述的问题。

为了达到上述目的，本发明所采用的技术方案为：

一种双通道单幅图像精细去雨方法，其特征在于，基于双通道混合块的多流支路、负残差雨纹特征图学习以及精细化处理的思想，包括：

将原始数据集划分为训练集和测试集，其中训练集主要用于雨纹与背景分解、特征提取和负残差雨纹特征图学习，测试集主要被用于评价本发明方法的去雨性能。此外，进行必要的参数初始化等。

本发明方法将雨纹特征提取、负残差雨纹特征图学习和去雨图像精细处理集成到一个统一的神经网络框架。该神经网络框架主要包括两个部分，即基于双通道混合块构成的多流处理模块和一个负残差雨纹特征图精细处理模块。多流处理模块主要用于从带雨图像中提取粗糙的雨纹特征图，负残差雨纹特征图精细处理模块主要用于对粗糙的雨纹特征图进行处理生成相应的负残差雨纹特征图，并最终得到去雨图像。基于给定的采集到的带雨图像，本发明方法将其分解为一个负残差雨纹部分和真实的无雨背景图像。

为了获得更加鲁棒的去雨效果，本发明将原始输入的图像进行多感知域的不同尺寸处理，通过基于双通道混合块的多流支路的设置可有效获取原始图像的雨纹特征混合表示。双通道混合块是该神经网络框架中用到的主要基础模块，其包含两条不同的路径，即残差路径和密集路径。残差路径主要使用残差相加操作，重用以前神经网络层的共同雨纹特征图，而密集路径则可以大幅减少网络参数的数量，也可以缓解梯度消失问题，不断挖掘新的雨纹特征图。通过这两种路径的结合，使得雨纹特征图不断的生成并且融合，从而使神经网络具有更强的特征图学习和表示能力。此双通道混合块的优秀能力也是本发明方法的独创性所在。此外，通过监督式的深度学习方法，对得到的粗糙的负雨纹残差进行精细化处理，可确保得到精细的负雨纹残差特征，也可在一定程度上去除原始数据中的噪音从而获得更加准确的无雨图像。

此外，通过上述双通道混合块构成的级联混合块所提取的雨纹特征进行共享优化，可得到性能更加优越的去雨效果。具体来说，基于图2所示的双通道混合块，可以方便地将多个双通道混合块连接在一起，构建一个级联的双通道混合块结构，如图3所示。借助级联的双通道混合块，本发明就可以更好的利用双通道混合块的性能优势。具体地说，双通道的路径越深，特征图的映射就越复杂，特征图的表示能力也就越强大，表示内容也就越精确。在本发明方法中，将6个双通道混合块连接在一起来构建一个级联双通道混合块。通过仿真实验，验证了本发明方法可有效提升单幅图像的雨纹去除与精细处理。

其中将原始带雨图像输入到基于双通道混合块构成的多支路深度神经网络中，可有效提取到粗糙的雨纹特征，具体为：

对于给定一组数据X＝[x1,...xn]∈Rd×N(其中d是原始数据的维数，N是点数)其中包含的训练样本集XL＝[x1,x2,...,xl]∈Rd×l和测试样本集XU＝[x1,x2,...,xu]∈Rd×u，且满足样本数量l+u＝N。根据上述，可将原始数据分解为一个训练集用来训练框架来正确分解雨纹和背景，一个验证集用来判别训练结果好坏和一个测试集来量化框架的去雨效果。本发明方法将雨纹特征提取、负残差雨纹特征图学习和去雨图像精细处理集成到一个统一的学习框架，可得到一个可用于真实背景图像提取的负残差雨纹特征图。基于给定的采集到的带雨图像，本发明方法将其分解为一个负残差雨纹部分和真实的无雨背景图像。因此，基于双通道混合块构建多流支路之间的特征交换和学习，通过上述双通道混合块构成的级联混合块所提取的雨纹特征进行共享优化，可得到性能更加优越的去雨效果，解决以下数学问题：

X＝R+B，

其中X表示带雨图像，R是图像中存在的雨纹，B是不带雨的真实背景图像。通过上述双通道混合块构成的级联混合块所提取的雨纹特征进行共享优化，可得到性能更加优越的去雨效果。

其中，通过监督式的深度学习方法，对得到的粗糙的负雨纹残差进行精细化处理，可确保得到精细的负雨纹残差特征，也可在一定程度上去除原始数据中的噪音从而获得更加准确的无雨图像。具体为：

带雨图像通过基于双通道混合块的多流支路处理后，获得粗糙的多感知域的雨纹特征图，将这些雨纹特征图进行合并操作，经过深度卷积神经网络优化得到负残差雨纹特征图，再通过与原带雨图像进行元素间的相加获得粗糙的去雨后的背景图像，最后经过微调处理得到最终的精细化的无雨图像。

一种双通道单幅图像精细去雨方法，其特征在于，基于双通道混合块提取特征、多流下的感知域和信息共享以及精细化再处理的思想，包括：

基于双通道混合块的多流模块，其主要是将原始输入的图像进行基于双通道混合块的多感知域的不同尺寸处理，通过上述双通道混合块构成的级联混合块所提取的雨纹特征进行共享优化，通过多流支路的设置可有效获取原始图像的雨纹特征混合表示；

精细化微调模块，通过监督式的深度学习方法，对得到的粗糙的负雨纹残差进行精细化处理，可确保得到精细的负雨纹残差特征，也可在一定程度上去除原始数据中的噪音从而获得更加准确的无雨图像；

测试模块，用于对测试集中的测试样本进行处理，得到所述带雨图像样本的去雨结果。首先利用基于双通道混合块的多流支路中获得不同感知域的雨纹特征图，经过处理得到最终的精细化的无雨图像。根据峰值信噪比(PSNR)和结构相似性(SSIM)这两种衡量图像相似性的数值标准，对测试模块得到的去雨图像和测试样本的实际无雨图像进行比对测试，获得去雨效果的量化结果。

经由上述的技术方案可知，与现有技术相比，本发明方法提出了一种新的基于双通道混合块的由粗糙图像到精细的多流单图像去雨框架——双通道单幅图像精细去雨方法。本发明方法为了更准确地获取训练过程中的负残差雨纹特征图，提出了一种新的双通道残差密集块模块(简称双通道混合块)，两种路径分别为：残差路径和密集路径。残差路径用于重用来自深度卷积网络前面层的常见雨纹特征图，而密集路径则可以用来探索新的雨纹特征图。在双通道混合块的基础上，构建了基于双通道混合块的级联混合块用于雨纹特征提取。此外，为了连接不同尺度的特征，本发明方法采用了多流支路的思想，在多流支路间和基于双通道残差密集块的流之间设置了数据链接通道用于雨纹特征信息共享。在获得多感知域的雨纹特征图，经过卷积神经网络获取粗糙的负残差雨纹特征图后，经过精细化微调最终可以获得真实准确的去雨图像。为了更好的规范雨纹和背景的精确分离并获得更加清晰的去雨图像，本发明方法提出一种新的优化目标函数：将SSIM损失和感知损失相结合，在保持每个像素的相似性的同时尽大程度的保留全局结构，从而使去雨结果更加准确。

图1为本发明实施例公开的一种双通道单幅图像精细去雨方法的网络框架。

图2为本发明实施例公开的一种双通道单幅图像精细去雨方法的双通道混合块的细节图。

图3为本发明实施例公开的一种双通道单幅图像精细去雨方法的级联双通道混合块。

图4为本发明实施例公开的一种双通道单幅图像精细去雨方法的流程图。

图5为本发明实施例公开的一种双通道单幅图像精细去雨方法的结构图。

图6为本发明实施例公开的多张单图像去雨效果示意图。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明方法提出了一种新的基于双通道混合块的由粗糙图像到精细的多流单图像去雨框架——双通道单幅图像精细去雨方法。本发明方法为了更准确地获取训练过程中的负残差雨纹特征图，提出了一种新的双通道残差密集块模块(简称双通道混合块)，两种路径分别为：残差路径和密集路径。残差路径用于重用来自深度卷积网络前面层的常见雨纹特征图，而密集路径则可以用来探索新的雨纹特征图。在双通道混合块的基础上，构建了基于双通道混合块的级联混合块用于雨纹特征提取。此外，为了连接不同尺度的特征，本发明方法采用了多流支路的思想，在多流支路间和基于双通道残差密集块的流之间设置了数据链接通道用于雨纹特征信息共享。在获得多感知域的雨纹特征图，经过卷积神经网络获取粗糙的负残差雨纹特征图后，经过精细化微调最终可以获得真实准确的去雨图像。为了更好的规范雨纹和背景的精确分离并获得更加清晰的去雨图像，本发明方法提出一种新的优化目标函数：将SSIM损失和感知损失相结合，在保持每个像素的相似性的同时尽大程度的保留全局结构，从而使去雨结果更加准确。

本发明在三个合成去雨图像的数据集和一个真实去雨图像的数据集进行了测试：合成去雨图像的数据集有：Rain100H、Rain100L、Rain12；真实去雨图像数据集：Rain15。Rain100H有五个方向的条纹，其中包含1800张训练用的带雨图像和100张测试用的带雨图像。Rain100L是一个只有一种雨纹形状的综合数据集，包含200幅带雨图像用于训练，100幅带雨图像用于测试。Rain12只有一种雨纹形状，它包含12张用于测试的带雨图像，没有用于训练的带雨图像。Rain15由互联网上采集的15张真实带雨图像构成。这些数据库从多方面收集，因而测试结果具有普遍说明性。

请参阅附图4，本发明实施例公开的一种双通道单幅图像精细去雨方法流程图。本发明实施例公开的一种双通道单幅图像精细去雨方法，具体实施步骤为：

步骤101：使用基于双通道混合块构成的多流处理进程，利用神经网络强大的学习能力，从原始的带雨图像中抽取不同的多流特征图。

具体来说，就是利用基于双通道混合块构成的多流处理模块(如图1左半部分所示)，其中双通道混合块的构成(如图2所示)具体如下，Fk-1和Fk分别是从第k-1个和第k个双通道混合块中提取的特征图。首先，Fk-1将被发送到第k个双通道混合块中进行双路操作。具体地说，在第k个双通道混合块中，Fk-1将被分解为两个部分，供以后的双通道操作使用：

其中和是Fk-1的分解部分，[]表示并连接操作。虽然将其分解为两部分，但仍然使用原始的特征图Fk-1来获得新的特征图。然后，将其分解为双通道操作组件，如下所示：

其中为3个卷积核分别为1×1,3×3和1×1的BN-ReLU-Conv操作。fk表示上述操作后得到的特征图。表示被fk分解的特征表示，将分别用于剩余残差路径和密集路径。对于残差路径，以元素加的方式处理和对于密集路径，将和并连接在一起：

其中为残差路径得到的新特征图，+为元素级的加法操作。由于残差路径里元素级加法操作的性质，和将具有相同的维数。表示密集路径中获取的新的特征图。由于密集路径中并操作的性质，将会比有一个维数的增加，将kD定义为密集路径中维数的固定增加值。最后，可以很容易的将和拼接在一起，得到由第k个双通道混合块获得的新的特征图:

与第k-1个双通道混合块的特征图Fk-1相比，Fk增加了kD大小的维数。在第k个双通道混合块中执行完上述这些操作之后，可以类似地将Fk发送到第k+1个双通道混合块中继续获得新的特征图。

本发明中，将6个双通道混合块连接在一起，构成一个级联双通道混合块(如图3所示)。由于双通道混合块中的每次密集路径操作将会带来kD的维度提升,因此特征图的尺寸将快速增长,这就会导致框架内参数变多,因此需要使用一个过渡卷积层来降低参数和特征图数量,过渡卷积层的操作如下：

其中是第k个级联双通道混合块中的第k个双通道混合块的特征图，trans(·)表示一个卷积核大小为1x 1的BN-ReLU-Conv操作。Tk为从第k个级联双通道混合块中提取的特征图。

本发明中，每个直流包含6个级联双通道混合块，其结构可以描述为如下:级联双通道混合块1(6,1)-级联双通道混合块2(6,1)-级联双通道混合块3(6,1)-级联双通道混合块4(6,1)-级联双通道混合块5(6,1)-级联双通道混合块6(6,1)，其中级联双通道混合块1(6,1)表示第1个级联双通道混合块，其中包含6个双通道混合块和1个过渡卷积层。卷积核大小分别为3×3，5×5，7×7，在三个支流中，使用全填充使得特征图保持一样的大小。

如图1所示，为了更好地重用前面的特征图，还在级联双通道混合块之间设置了信息传递路径，具体是第2个和第4个级联双通道混合块之间，以及第1个和第5个级联双通道混合块之间，具体可以定义为：

其中，Tk,Tk+d-1和Tk+d分别表示从第k个、第k+d-1个和第k+d个级联双通道混合块中提取的特征图。表示第k+d个级联双通道混合块中的BN-ReLU-Conv操作。

基于双通道混合块强大的学习能力，本发明使用的多支流设计可以提取出具有不同的接收域的特征图(卷积核大小分别为3x3,5x5和7x7)。为了更好的融合不同尺度特征图的信息，本发明在不同支流之间创建了信息传递链接，以增强特征聚合，获得更好的收敛性(如图1所示)。在获得多流特征图后，下一步将它们拼接在一起，并进行精细处理和微调，就能得到最终的去雨图像。

步骤102：利用101步骤得到的不同接受域尺寸下的多流特征图，通过将它们合并在一起得到整体的特征表达，经过神经网络处理，获得负残差雨纹特征图。

具体来说，就是利用负残差雨纹特征图精细处理模块(如图1右半部分所示)，在基于双通道混合块的多支流处理过程中提取到粗糙的雨纹特征图后，将这些粗糙的雨纹特征图拼接在一起，并将粗糙的雨纹特征图进行卷积运算，得到负雨纹残差图像，具体可以定义为：

NR＝tanh(HRES([S1,S2,S3]))，

其中S1,S2和S3分别表示从三个支流中提取的特征图,HRES(·)是卷积核为3x 3的卷积操作,tanh(·)是一个双曲正切操作，NR就表示102中提取到的负雨纹残差图像。

步骤103：利用102步骤得到的负残差雨纹特征图，通过与原始的带雨图像进行像素级别的相加，得到粗糙的去雨图像，然后再经过一个精细化加工器，得到精细化去雨图像。

具体来说，就是利用负残差雨纹特征图精细处理模块(如图1右半部分所示)，将负雨纹残差图像与输入图像(带雨图像)进行元素级的加法操作，得到粗糙去雨图像。为了更好的获得去雨质量，对粗糙去雨图像进行精细处理和微调，最终得到精去雨图像，具体可以定义为：

B＝G(X+NR)，

其中NR和X分别表示负雨纹残差图像和输入图像(带雨图像)，+表示元素级的加法操作,G(·)是一种卷积核大小分别为7x 7和3x 3的ReLU-Conv-ReLU-Conv操作,B是最后获得的去雨图像(输出图像)。

以上就是本发明方法的主要过程步骤，下面将详细介绍本发明方法的优化方法。

本发明方法提出一种新的优化目标函数：将SSIM损失和感知损失相结合，在保持每个像素的相似性的同时尽大程度的保留全局结构，从而使去雨结果更加准确。具体可以定义为：

L＝Lssim+λpLp，

其中L为本发明方法的目标函数，Lssim是用于测量两幅图像相似性的SSIM损失函数，Lp是为了最小化去雨图像(输出图像)与真实带雨图像(输入图像)之间感知差异的感知损失函数。λp是一个比例参数，用来决定二个损失函数的比例。在实验验证过程中，本发明方法证明这个新的优化目标函数比其他形式的目标函数效果更好。SSIM损失和感知损失具体定义为：

1)SSIM损失：

SSIM损失定义如下：

其中SSIM(·)为计算两幅图像之间相似性的SSIM函数，x和分别为原始带雨图像和去雨图像。SSIM损失的目标是尽可能地最大化图像的SSIM值，所以Lssim是一个负函数。

2)感知损失：

感知损失定义如下：

其中为使用本发明方法得到的去雨图像，x为对应的带雨真实图像。F(·)表示一个非线性的CNN变换操作。在本发明方法中，使用VGG-16模型中ReLU函数的第2_2层得到的特征图作为比较对象，并且假设这些特征图具有w×h的长宽以及c个通道。

上述本发明公开的实施例中详细描述了方法，对于本发明的方法可采用多种形式的系统实现，因此本发明还公开了一种系统，下面给出具体的实施例进行详细说明。

请参阅附图5，为本发明实施例公开的一种双通道单幅图像精细去雨方法结构图。本发明公开了一种双通道单幅图像精细去雨方法，该系统具体包括：

训练模块201，用于训练样本雨纹特征提取。测试预处理模块202，用于测试样本的雨纹特征提取功能。测试模块203，用于对单幅图像去雨功能。首先利用双通道混合块的多流模块，将原始输入的图像进行基于双通道混合块的多感知域的不同尺寸处理，通过上述双通道混合块构成的级联混合块所提取的雨纹特征进行共享优化，通过多流支路的设置可有效获取原始图像的雨纹特征混合表示；再通过监督式的深度学习方法，对得到的粗糙的负雨纹残差进行精细化处理，可确保得到精细的负雨纹残差特征，也可在一定程度上去除原始数据中的噪音从而获得更加准确的无雨图像。

表1：本发明和各个算法在三个去雨图像合成数据集上的去雨效果对比结果

请参阅表1，本发明方法主要与GMM，DDN，RESCAN，DID-MDN，JORDER以及RGN方法识别结果对比。表1给出了每个算法分别在三个合成去雨图像数据集Rain100H、Rain100L和Rain12上使用峰值信噪比(PSNR)和结构相似性(SSIM)这两种衡量图像相似性的数值标准，对测试模块得到的去雨图像和测试样本的实际无雨图像进行比对测试，获得去雨效果的量化结果。

通过数据集上的实例实验结果显示，本发明方法可有效用于基于各种类型的带雨图像数据集的去雨，并且可以获得比较好的效果。

请参阅附图6，为本发明实施例公开的在多种数据集上去雨效果示意图。

通过实验结果可以看出本发明的去雨效果明显优于相关的GMM，DDN，RESCAN，DID-MDN，JORDER以及RGN方法，且表现出了较强的稳定性，具有一定的优势。

综上所述：本发明公开了一种新的基于双通道混合块的由粗糙图像到精细的多流单图像去雨框架——双通道单幅图像精细去雨方法。本发明方法为了更准确地获取训练过程中的负残差雨纹特征图，提出了一种新的双通道残差密集块模块(简称双通道混合块)，两种路径分别为：残差路径和密集路径。残差路径用于重用来自深度卷积网络前面层的常见雨纹特征图，而密集路径则可以用来探索新的雨纹特征图。在双通道混合块的基础上，构建了基于双通道混合块的级联混合块用于雨纹特征提取。此外，为了连接不同尺度的特征，本发明方法采用了多流支路的思想，在多流支路间和基于双通道残差密集块的流之间设置了数据链接通道用于雨纹特征信息共享。在获得多感知域的雨纹特征图，经过卷积神经网络获取粗糙的负残差雨纹特征图后，经过精细化微调最终可以获得真实准确的去雨图像。为了更好的规范雨纹和背景的精确分离并获得更加清晰的去雨图像，本发明方法提出一种新的优化目标函数：将SSIM损失和感知损失相结合，在保持每个像素的相似性的同时尽大程度的保留全局结构，从而使去雨结果更加准确。通过仿真以及在真实带雨图像下的实验，验证了本发明方法可以有效提取负雨纹特征并且达到领先的单幅图像去雨效果。

对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。