一种基于双尺度分解的多曝光图像快速融合方法与流程

1.本发明涉及图像融合技术领域，特别是一种基于双尺度分解的多曝光图像快速融合方法。

背景技术：

2.高动态范围(hdr)成像技术已经广泛应用于模式识别、智能交通、工业检测、军事侦察等领域，因此具有重要的研究价值。动态范围是指场景中最高亮度与最低亮度的比率。目前市场上常见相机的成像动态范围一般为2～3个数量级，而自然界真实场景的动态范围高达10个数量级。因此对于较高动态范围的场景，普通相机由于动态范围有限，固定曝光时间的单次曝光不可避免的导致动态范围的损失，即拍摄的图像出现曝光不足或曝光过度的现象，高动态范围成像是指用从同一场景捕获的多个不同曝光的图像来估计相机相应函数，再通过相机相应函数来重建出hdr图像。但是，目前使用的显示设备大多不支持hdr图像的显示，因此在获取hdr图像之后，需要通过调映射过程来压缩hdr图像动态范围，以匹配显示设备的低动态范围(ldr)。
3.而多曝光图像融合技术，为规避hdr成像和ldr显示之间的差距提供了一种经济高效的替代方案，它以多个曝光程度不同的ldr图像作为输入，直接合成一张包含多个曝光图像信息的ldr图像。目前国内外许多学者对多曝光图像融合技术进行了研究，目前应用最广泛的是mertens等人提出的基于拉普拉斯金子塔的多尺度融合方法。另外还有lee等人提出的基于相对像素强度和全局梯度自适应加权的多曝光图像融合技术，及ma等人提出的一种结构化斑块分解的多曝光图像融合技术等。这些多曝光图像融合算法虽然能够融合多个不同曝光程度的图像，但是算法复杂度高计算耗时长，且融合结果难以包含各个曝光图像的细节信息。

技术实现要素：

4.本发明的目的在于克服现有技术的缺点与不足，提供了一种基于双尺度分解的多曝光图像快速融合方法，其复杂度低，计算耗时短，可实现多曝光图像的有效快速融合。
5.本发明所述的一种基于双尺度分解的多曝光图像快速融合方法，主要包括：
6.s1、将获取的多幅曝光程度不同图像归一化处理；
7.s2、将归一化处理后的图像依次转换到yuv彩空间可通过公式(1)实现，
[0008][0009]
转化后图像y通道表示图像亮度，即图像灰度值，u通道和v通道是图像的度分量，作用是描述图像的彩及饱和度。
[0010]
s3、提取yuv彩空间图像的亮度分量，并对其进行双尺度分解，将其分解为基础层和细节层的具体方式为：
[0011]
s301、通过对亮度分量进行引导滤波操作来获取其基础层图像，可通过公式(2)实现，
[0012][0013]
式中，n为图像序列号，(i,j)为图像像素点坐标，为亮度分量经过引导滤波得到的基础层图像，为引导滤波操作，引导滤波半径和平滑系数分别取r＝12和ε＝0.25，为图像亮度分量，pn(i,j)为引导图像，这里
[0014]
s302、亮度分量减去基础层图像即可得到细节层图像如公式(3)所示：
[0015][0016]
s4、通过曝光函数分别计算出亮度分量基础层和细节层的图像融合权重，具体方式为：
[0017]
s401、基础层图像融合权重可通过改进后曝光函数计算实现，如公式(4)和(5)所示(为书写方便下文中所有公式均省略了像素坐标(i,j))：
[0018][0019][0020]
式中为通过计算得到的基础层权重，亮度分量的基础层图像，为均值计算操作，σb取值为0.5，为基础层权重归一化处理后的结果，n为获取图像总数，γ为一个非常小的值，防止归一化处理时分母为0；
[0021]
s402、对于细节层图像融合权重，是基于亮度分量的局部强度变化的平均水平来估计的，其计算如公式(6)和(7)所示：
[0022][0023][0024]
式中计算所得的细节层权重，这里是使用一个7
×
7的平均滤波器与亮度分量所得，σd取值为0.12，为细节层权重归一化处理后的结果。
[0025]
s5、对基础层和细节层进行加权融合，即可得到融合图像的亮度分量，如公式(8)所示：
[0026]
[0027]
式中fy为融合图像的亮度分量，α为控制细节强度参数，取值为1.1。
[0028]
s6、对度分量u和v的处理，我们取偏离0的最大绝对值对应位置的度值被用作融合图像的度分量，因为度分量u和v的值偏离0的程度越高，颜效果越明显，越适合人类视觉系统观察，如公式(9)和(10)所示：
[0029][0030][0031]
式中fu和fv表示融合图像的度分量，为取最大值计算，为取绝对值计算。
[0032]
s7、将在yuv彩空间得到的图像融合结果转换到常用的rgb彩空间即可得到最终融合结果，可通过公式(11)实现，
[0033][0034]
若初始获取的曝光程度不同的图像为单通道灰度图像，则可直接将其作为亮度分量融合即可，无需执行步骤s2、s6和s7。
[0035]
本发明相对于现有技术具有如下的优点及效果：
[0036]
(1)本发明通过改进后曝光函数计算图像亮度分量基础层权重，兼顾了目标场景全局亮度分布，可有效突出长曝光图像中较暗的区域和短曝光图像中的明亮区域，使最终融合结果中包含更丰富的细节信息。
[0037]
(2)本发明取偏离0的最大绝对值对应位置的度值被用作融合图像的度分量，可使最终图像融合结果颜效果更加明显，更适合人类视觉系统观察。
[0038]
(3)本发明通过双尺度分解的方法来完成对多曝光图像的融合，相比于现在使用相对广泛的多分辨率的图像融合方法，复杂度更低计算耗时更短。
附图说明
[0039]
图1为本发明实施例的基于双尺度分解的多曝光图像快速融合方法的流程图。
[0040]
图2为本发明实施例的一种目标场景灰度图像融合结果。
具体实施方式
[0041]
下面将结合实施例，对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有付出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0042]
如图1所示，本发明提供了一种基于双尺度分解的多曝光图像快速融合方法，包括：
[0043]
s1、将获取的多幅曝光程度不同图像归一化处理；
[0044]
s2、将归一化处理后的图像依次转换到yuv彩空间可通过公式(1)实现，
[0045][0046]
转化后图像y通道表示图像亮度，即图像灰度值，u通道和v通道是图像的度分量，作用是描述图像的彩及饱和度。
[0047]
s3、提取yuv彩空间图像的亮度分量，并对其进行双尺度分解，将其分解为基础层和细节层的具体方式为：
[0048]
s301、通过对亮度分量进行引导滤波操作来获取其基础层图像，可通过公式(2)实现，
[0049][0050]
式中，n为图像序列号，(i,j)为图像像素点坐标，为亮度分量经过引导滤波得到的基础层图像，为引导滤波操作，引导滤波半径和平滑系数分别取r＝12和ε＝0.25，为图像亮度分量，pn(i,j)为引导图像，这里
[0051]
s302、亮度分量减去基础层图像即可得到细节层图像如公式(3)所示：
[0052][0053]
s4、通过曝光函数分别计算出亮度分量基础层和细节层的图像融合权重，具体方式为：
[0054]
s401、基础层图像融合权重可通过改进后曝光函数计算实现，如公式(4)和(5)所示(为书写方便下文中所有公式均省略了像素坐标(i,j))：
[0055][0056][0057]
式中为通过计算得到的基础层权重，亮度分量的基础层图像，为均值计算操作，σb取值为0.5，为基础层权重归一化处理后的结果，n为获取图像总数，γ为一个非常小的值，防止归一化处理时分母为0；
[0058]
s402、对于细节层图像融合权重，是基于亮度分量的局部强度变化的平均水平来估计的，其计算如公式(6)和(7)所示：
[0059]
[0060][0061]
式中计算所得的细节层权重，这里是使用一个7
×
7的平均滤波器与亮度分量所得，σd取值为0.12，为细节层权重归一化处理后的结果。
[0062]
s5、对基础层和细节层进行加权融合，即可得到融合图像的亮度分量，如公式(8)所示：
[0063][0064]
式中fy为融合图像的亮度分量，α为控制细节强度参数，取值为1.1。
[0065]
s6、对度分量u和v的处理，我们取偏离0的最大绝对值对应位置的度值被用作融合图像的度分量，因为度分量u和v的值偏离0的程度越高，颜效果越明显，越适合人类视觉系统观察，如公式(9)和(10)所示：
[0066][0067][0068]
式中fu和fv表示融合图像的度分量，为取最大值计算，为取绝对值计算。
[0069]
s7、将在yuv彩空间得到的图像融合结果转换到常用的rgb彩空间即可得到最终融合结果，可通过公式(11)实现，
[0070][0071]
若初始获取的曝光程度不同的图像为单通道灰度图像，则可直接将其作为亮度分量融合即可，无需执行步骤s2、s6和s7。
[0072]
如图2所示，为本发明实施例的一种目标场景灰度图像融合结果，左侧一列为输入曝光图像序列，右侧为本发明实施例的融合结果。
[0073]
以上实施例仅为本技术的示例性实施例，不用于限制本技术，本技术的保护范围由权利要求书限定。本领域技术人员可以在本技术的实质和保护范围内，对本技术做出各种修改或等同替换，这种修改或等同替换也应视为落在本技术的保护范围内。

技术特征：

1.一种基于双尺度分解的多曝光图像快速融合方法主要包括：s1、将获取的多幅曝光程度不同图像归一化处理；s2、将归一化处理后的图像依次转换到yuv彩空间；s3、提取yuv彩空间图像的亮度分量y，并对其进行双尺度分解，将其分解为基础层和细节层；s4、通过曝光函数分别计算出亮度分量基础层和细节层的图像融合权重；s5、对基础层和细节层进行加权融合，即可得到融合图像的亮度分量；s6、对度分量u和v的处理，取偏离0的最大绝对值对应位置的度值被用作融合图像的度分量；s7、将在yuv彩空间得到的图像融合结果转换到常用的rgb彩空间即可得到最终融合结果。2.根据权利要求1所述的一种基于双尺度分解的多曝光图像快速融合方法，其特征在于，所述s2、将归一化处理后的图像依次转换到yuv彩空间可通过公式(1)实现，转化后图像y通道表示图像亮度，即图像灰度值，u通道和v通道是图像的度分量，作用是描述图像的彩及饱和度。3.根据权利要求1所述的一种基于双尺度分解的多曝光图像快速融合方法，其特征在于，所述s3、提取yuv彩空间图像的亮度分量，并对其进行双尺度分解，将其分解为基础层和细节层的具体方式为：s301、通过对亮度分量进行引导滤波操作来获取其基础层图像，可通过公式(2)实现，式中，n为图像序列号，(i,j)为图像像素点坐标，为亮度分量经过引导滤波得到的基础层图像，为引导滤波操作，引导滤波半径和平滑系数分别取r＝12和ε＝0.25，为图像亮度分量，p
n
(i,j)为引导图像，这里s302、亮度分量减去基础层图像即可得到细节层图像如公式(3)所示：4.根据权利要求1所述的一种基于双尺度分解的多曝光图像快速融合方法，其特征在于，所述s4、通过曝光函数分别计算出亮度分量基础层和细节层的图像融合权重，具体方式为：s401、基础层图像融合权重可通过改进后曝光函数计算实现，如公式(4)和(5)所示(为书写方便下文中所有公式均省略了像素坐标(i,j))：
式中为通过计算得到的基础层权重，亮度分量的基础层图像，为均值计算操作，σ
b
取值为0.5，为基础层权重归一化处理后的结果，n为获取图像总数，γ为一个非常小的值，防止归一化处理时分母为0；s402、对于细节层图像融合权重，是基于亮度分量的局部强度变化的平均水平来估计的，其计算如公式(6)和(7)所示：的，其计算如公式(6)和(7)所示：式中计算所得的细节层权重，这里是使用一个7
×
7的平均滤波器与亮度分量所得，σ
d
取值为0.12，为细节层权重归一化处理后的结果。5.根据权利要求1所述的一种基于双尺度分解的多曝光图像快速融方法，其特征在于，所述s5、对基础层和细节层进行加权融合，即可得到融合图像的亮度分量，如公式(8)所示：式中f
y
为融合图像的亮度分量，α为控制细节强度参数，取值为1.1。6.根据权利要求1所述的一种基于双尺度分解的多曝光图像快速融合方法，其特征在于，所述s6、对度分量u和v的处理，我们取偏离0的最大绝对值对应位置的度值被用作融合图像的度分量，因为度分量u和v的值偏离0的程度越高，颜效果越明显，越适合人类视觉系统观察，如公式(9)和(10)所示：人类视觉系统观察，如公式(9)和(10)所示：式中f
u
和f
v
表示融合图像的度分量，为取最大值计算，为取绝对值计算。7.根据权利要求1所述的一种基于双尺度分解的多曝光图像快速融合方法，其特征在于，所述s7、将在yuv彩空间得到的图像融合结果转换到常用的rgb彩空间即可得到最终融合结果，可通过公式(11)实现，
若初始获取的曝光程度不同的图像为单通道灰度图像，则可直接将其作为亮度分量融合即可，无需执行步骤s2、s6和s7。

技术总结

本发明公开了一种基于双尺度分解的多曝光图像快速融合方法，方法包括：将获取的曝光程度不同的图像归一化处理后依次转换到YUV彩空间，然后提取YUV彩空间图像的亮度分量Y，对其进行双尺度分解，将其分解为基础层和细节层，并计算基础层和细节层的图像融合权重，再通加权融合即可获得融合图像的亮度分量，对于度分量U和V的处理，我们取偏离0的最大绝对值对应位置的度值作为融合图像的度分量，最后将在YUV彩空间得到的结果转换到RGB彩空间即可。若初始获取的图像为灰度图像，则可省略RGB到YUV彩空间的相互转换及对度分量的处理过程。本发明最终融合结果保留了不同曝光图像的更多的细节信息，且计算复杂度低耗时短。低耗时短。低耗时短。