一种细节保持的多曝光图像快速融合方法

本发明属于图像融合技术领域，尤其是涉及一种细节保持的多曝光图像快速融合方法。

随着超高清数字产业和数字摄影技术的快速发展，人们对超高清酷炫的视觉体验的追求更加迫切。近年来，高动态范围成像(high dynamic range imaging，简称HDRI)技术的兴起和发展为高清产业向着画面高清酷炫的方向发展提供了强大的推动作用。现如今在全世界范围内HDRI相关的多种技术都获得快速发展，并且已经在数字摄影、高清电视电影、游戏特效、渲染、遥测遥感等等诸多领域有着广泛的应用。高动态范围(high dynamicrange，HDR)图像可以记录真实场景的亮暗细节信息，具有非常大的亮度范围。因为当前的专业HDR设备非常昂贵，所以生成HDR图像一般的做法是将同一场景多幅不同曝光度的图像直接融合成一幅HDR图像，即多曝光融合。

当前已有许多学者对静态图像多曝光融合算法做出了相关研究，虽然取得了一些进展，但仍存在一些问题，主要体现在两点：第一，视觉失真的问题远未彻底解决，如在场景的超亮或超暗区域细节保持不足，造成信息丢失。第二，为了增强亮暗区域的细节信息，近年来出现了基于细节增强的多曝光融合方法，但是这种方法效率较低，而且会造成整个场景的过度增强，会造成视觉失真。

当前，主流的多曝光融合算法有两类。分别如下：

(1)多分辨率融合算法。这类算法基于多分辨率金字塔变换进行多分辨率融合，如文献[1]。此类方法在大多数情况下取得了很好的效果，但是当真实场景的动态范围非常大的时候，该方法仍会丢失超亮和超暗区域有用的细节信息。

(2)基于细节增强的多曝光融合方法。如文献[2]利用采用加权的指导图像滤波器(WGIF)进行细节提取，然后将细节添加到多分辨率融合算法[1]生成的融合图像中，得到细节增强的融合图像。此类融合方法大部分都基于多分辨率拉普拉斯金字塔的融合方法，但是引入了一种基于边缘保持的图像细节提取机制，尽管能够增强细节信息，但是很容易造成细节的过度增强。而且此类算法由于对所有像素都进行细节改变，所以效率较低。本发明也引入了保持边缘的图像提取算子，但是只对超亮超暗区域的细节进行提取，不会造成其它区域细节的过度增强。同时由于本发明的方法只对亮暗区域进行细节恢复，所以效率较高。

参考文献：

[1]Mertens T，Kautz J，Van Reeth F.Exposure fusion：A simple and practicalalternative to high dynamic range photography[C]//Computer Graphics Forum.2009，28(1)：161-171.

[2]Z.G.Li，Z.Wei，C.Y.Wen，and J.H.Zheng，Detail-enhanced multi-scaleexposure fusion，IEEE Trans.on Image Processing，2017，26(3)：1243-1252.

[3]Paris S，Hasinoff S W，Kautz J.Local Laplacian filters：edge-aware imageprocessing with a Laplacian pyramid[J].ACM Trans.Graph.，2011，30(4)：68.

本发明公开了一种细节保持的多曝光图像快速融合的方法，解决了多曝光融合生成的HDR图像在亮暗区域丢失细节的缺陷，而不会造成其他区域的细节过度增强。同时本发明的方法速度较快，改进了当前基于细节增强的多曝光融合方法效率较低的缺陷。

本发明提出的一种细节保持的多曝光图像快速融合方法，其技术方案包括如下步骤：

步骤1：确定超亮超暗区域

本发明采取平均亮度值衡量指标，从两个方面确定需要细节提取的超亮超暗区域；

第一，计算多曝光序列对应位置的N个像素的平均亮度计算方法见公式 (2)；当平均亮度在某个区间之外，认为这些像素位于超亮区域Db或超暗区域Dd，区间的取值可以直接给定一个确定值，本发明取[0.2，0.8]。

第二，超亮超暗区域的细节通常在曝光度最低的图像I1和曝光度最高的图像IN中体现，所以仅提取曝光度最低的图像I1的超亮区域Db和曝光度最高的图像IN的超暗区域Dd作为最终的超亮超暗区域；后续仅对选定的超亮超暗区域进行细节提取操作，而不对其他区域操作；

步骤2：采用LLF超亮超暗区域的拉普拉斯金字塔系数

采用局部拉普拉斯滤波器LLF来修改超亮超暗区域的拉普拉斯金字塔系数；具体如下：

对每一个金字塔系数，通过一个逐点映射函数R(I)g，σ生成一幅局部处理的中间图像I′，这个中间图像是一幅“局部好”的图像，此中间图像通过S形曲线增强函数处理得到；I′的中心点是当前金字塔系数的位置。这个增强函数控制用户所需要的细节改变的程度。然后生成这个中间图像的拉普拉斯金字塔，将这个位置处的新的系数作为修改后的金字塔系数。按照此修改过程，逐一修改超亮超暗区域每个金字塔系数，即：

L{I(k，x，y)}d＝L{R(I)g，σ(k，x，y)}d (3)

其中，L{I(k，x，y)}d是第k幅图像第d层修改后的拉普拉斯金字塔。细节的修改由映射函数R(I)g，σ控制。对于第k幅图像第d层的每个系数(x，y，d)，该映射函数取决于高斯金字塔g＝G0(x，y)的局部像素值，参数σ被用来区分细节和边缘。像素值变化小于σ被看作精细尺度的细节，大于σ被看作大的边缘。作为该函数的中心点，本发明使用高斯金字塔的第0层的高斯金字塔系数。

在RGB彩空间中，则定义一个以向量g为中心，半径σ的球，在球内的像素颜值为细节，球外的像素颜值为边缘。如果||i-g||＜σ，则为细节，反之为边缘。其中g和i都是对应RGB通道的三维向量。所以，映射函数定义为：

此映射函数通过改变向量g周围的幅度修改细节。要修改图像的细节，使用的S形曲线函数进行对比度的局部操纵，即f(Δ)＝Δα，其中参数α控制超亮超暗的细节改变程度，根据α取值的不同分为增强函数和平滑函数，当0＜α＜1，此函数为增强函数，图像的细节增强；当α＞1，此函数为平滑函数，图像的细节减少。而且α越小，细节增强的幅度越大。本发明α取值为0.25。

步骤4：多分辨率融合过程

当得到修改后的拉普拉斯金字塔系数以后，采用多分辨率融合方法进行融合得到结果图像。本发明仍然采用多分辨率融合策略，对LDR图像序列和权重图进行融合，从而得到最终的融合图像。

进一步地，在步骤2完成之后还包括步骤3加速优化，由于步骤2中对超亮超暗区域的每一个金字塔系数，都要通过一个逐点映射函数构造细节增强的中间图像，并构造中间图像的拉普拉斯金字塔，整个过程很耗时，因此增加步骤3 对步骤2中的拉普拉斯金字塔系数生成算法进行加速，通过有限次的离散采样和插值算法，代替直接计算每一个拉普拉斯金字塔系数。

本发明采用的加速优化过程具体算法步骤如下：

(S1)计算每幅图像I的高斯金字塔g＝G(x，y)。

(S2)根据g取值的强度范围确定采样间隔q和一系列{γj}采样值。即首先到g的最大值max(g)和最小值min(g)，然后得到q＝(max(g)-min(g))/40。{γj} 为从小到大每隔数值q采样一次，得到相应的采样值并记录下来。

(S3)根据公式(3)和公式(4)，预先计算出每个采样值{γj}对应的映射函数图像Rj(I)σ及其拉普拉斯金字塔L{Rj(I)σ}。

(S4)对第d层的每个拉普拉斯金字塔系数(x，y)，首先根据(S1)中获取的高斯金字塔系数g，确定其位于哪个采样区间内，假如位于区间[γj，γj+1]内，则计算出插值参数λ使得g＝(1-λ)γj+λγj+1。

(S5)得到λ和j后，对预先计算好的相对应的拉普拉斯金字塔值进行线性插值输出结果图像F的拉普拉斯金字塔系数：L{F(x，y)}＝(1-λ)L{Rj(I)σ(x，y)}+ λL{Rj+1(I)σ(x，y)}。

下面结合附图对本发明的作进一步说明。

图1是本发明的整体方案流程图；

图2超亮超暗区域的确定过程示意图；

图3为同一场景的3幅不同曝光度的图像作为输入图像序列；

图4为参考文献中的[1]采用的方法得到的融合结果与本发明的方法融合结果对比图(其中左图采用的是方法[1]，右图采用的是本发明的方法)；

图5同一场景的5幅不同曝光度的图像作为输入图像序列；

图6参考文献中的[1][2]采用的方法得到的融合结果与本发明的方法融合结果对比图(其中左图采用的是方法[1]，中图采用的是方法[2]，右图采用的是本发明的方法)。

本发明的输入是采用普通摄像机拍摄的一系列不同曝光度的图像，这些图像都是已经经过严格像素级配准的。

要获得高动态范围场景亮暗处的细节信息，一般的做法是对实际场景进行多曝光拍摄，目的是获得不同位置处的最佳曝光成像信息，即拍摄的LDR(Low Dynamic Range)序列中的某一幅图像能够真实反映场景某个位置的最佳曝光信息。在线性融合模型的基础上，直接获得LDR序列每个像素位置处的最佳曝光值，融合成一幅使所有区域的可见细节都保持较完整的结果图像，如公式(1) 所示。

其中，N是多曝光LDR图像序列的数量，Ii(x，y)表示第i幅图像在像素(x，y)处的亮度值，Di(x，y)是狄利克雷(Dirichlet)函数，表示第i幅LDR图像在像素(x，y)处的权值，当此处为最佳曝光值时Di(x，y)取值为1，否则取值为0，F是融合后的图像。为了消除缝隙(seam)，文献[1]采用基于金字塔分解的多分辨率融合策略。

然而，文献[1]多分辨率融合算法会在超亮超暗区域丢失细节，所以需要更好的提取这些区域的细节信息，然后通过图像细节提取机制进行超亮超暗区域细节的提取。针对文献[2]中基于细节增强多曝光融合方法效率低下的弊端，本发明提出了几点有效的加速措施进行提高算法的效率，具体采取的方案路线是：首先将多幅不同曝光度的图像根据平均亮度确定超亮超暗区域，然后基于快速局部拉普拉斯滤波器(LLF)修改亮暗区域的金字塔系数，来恢复亮暗区域的细节信息，最后采用多分辨率金字塔融合算法将多曝光图像合成一幅HDR图像，最终生成一幅保持亮暗细节的高质量HDR图像。整体研究方案如下图1所示。

本发明一种细节保持的多曝光图像快速融合方法的具体包括如下步骤：

1.确定超亮超暗区域

由于曝光序列对应位置像素的平均亮度可以反映此位置处在现实场景中的实际亮度，所以本发明采取平均亮度值衡量指标，从两个方面确定需要细节提取的超亮超暗区域。

第一，计算多曝光序列对应位置的N个像素的平均亮度计算方法见公式(2)。当平均亮度在某个区间之外，认为这些像素位于超亮区域Db或超暗区域Dd，区间的取值可以直接给定一个确定值，本发明取[0.2，0.8]。

第二，超亮超暗区域的细节通常在曝光度最低的图像I1和曝光度最高的图像IN中体现，所以仅提取曝光度最低的图像I1的超亮区域Db和曝光度最高的图像 IN的超暗区域Dd作为最终的超亮超暗区域。后续仅对选定的超亮超暗区域进行细节提取操作，而不对其他区域操作。

2.采用LLF超亮超暗区域的拉普拉斯金字塔系数

本发明引入了局部拉普拉斯滤波器(LLF)[3]，这种滤波的方法中已经被用于基于拉普拉斯金字塔的保持边缘的图像处理。本发明采用局部拉普拉斯滤波器来修改超亮超暗区域的拉普拉斯金字塔系数。

本发明的修改系数的思想如下：对每一个金字塔系数，通过一个逐点映射函数R(I)g，σ生成一幅局部处理的中间图像I′，这个中间图像是一幅“局部好”的图像，此中间图像通过S形曲线增强函数处理得到。I′的中心点是当前金字塔系数的位置。这个增强函数控制用户所需要的细节改变的程度。然后生成这个中间图像的拉普拉斯金字塔，将这个位置处的新的系数作为修改后的金字塔系数。按照此修改过程，逐一修改超亮超暗区域每个金字塔系数，即：

L{I(k，x，y)}d＝L{R(I)g，σ(k，x，y)}d (3)

其中，L{I(k，x，y)}d是第k幅图像第d层修改后的拉普拉斯金字塔。细节的修改由映射函数R(I)g，σ控制。对于第k幅图像第d层的每个系数(x，y，d)，该映射函数取决于高斯金字塔g＝G0(x，y)的局部像素值，参数σ被用来区分细节和边缘。像素值变化小于σ被看作精细尺度的细节，大于σ被看作大的边缘。作为该函数的中心点，本发明使用高斯金字塔的第0层的高斯金字塔系数。本方法的目标是操作细节，并产生多层次的细节，所以只修改图像精细尺度的细节，并保持边缘不变。因此，参数σ控制应该被保留的边缘的幅度。较大的σ值允许滤波器操纵较多的细节，并产生较大的视觉变化。

以上是针对亮度空间的处理，如果在RGB彩空间中，则定义一个以向量g为中心，半径σ的球，在球内的像素颜值为细节，球外的像素颜值为边缘。如果||i-g||＜σ，则为细节，反之为边缘。其中g和i都是对应RGB通道的三维向量。所以，映射函数定义为：

此映射函数通过改变向量g周围的幅度修改细节。要修改图像的细节，使用的S形曲线函数进行对比度的局部操纵，即f(Δ)＝Δα，其中参数α控制超亮超暗的细节改变程度，根据α取值的不同分为增强函数和平滑函数，当0＜α＜1，此函数为增强函数，图像的细节增强；当α＞1，此函数为平滑函数，图像的细节减少。而且α越小，细节增强的幅度越大。本发明需要增强细节，所以采用S 形曲线增强函数，本发明α取值为0.25。

3.加速优化

由于步骤2中对超亮超暗区域的每一个金字塔系数，都要通过一个逐点映射函数构造细节增强的中间图像，并构造中间图像的拉普拉斯金字塔，整个过程很耗时，本发明设计了一种映射函数采样存储和插值计算方案。通过有限次的离散采样和插值算法，代替直接计算每一个拉普拉斯金字塔系数。本发明利用空间换时间的策略，对步骤2中的拉普拉斯金字塔系数生成算法进行加速。

具体的，以单通道为例，对于g取不同值γj，预先计算并存储一组拉普拉斯金字塔系数值L{Rj(I)σ}，其中Rj(I)σ是g＝γj时的映射函数，这也是预先定好的采样点，采样间隔记为q，当我们需要计算某个特定g值的金字塔系数时，本发明的做法是寻一个j，使其满足γj≤g≤γj+1并且将预先计算得到的金字塔系数L{Rj(I)σ}和L{Rj+1(I)σ}的系数采用线性插值算法进行计算相应的金字塔系数值，而不再是重新获得映射函数来计算新的金字塔系数。其中，为了减少计算和提高速度，我们尽可能使得采样间隔q稀疏，但又要保证最终插值结果尽可能接近准确值。q的大小由g决定，根据采样定理，最佳采样是奈奎斯特极限，即信号中存在的最小波长的一半。在本发明中，q的取值为(max(g)-min(g))/40。经过实验验证，经过采样插值后简化加速的算法效果尽管不能完美地再现原始算法的结果。但加速后图像的峰值信噪比PSNR值高于30dB，而且肉眼观察的差异几乎是不可见的。

本发明采用的加速优化过程具体算法步骤如下：

(S1)计算每幅图像I的高斯金字塔g＝G(x，y)。

(S2)根据g取值的强度范围确定采样间隔q和一系列{γj}采样值。即首先到g的最大值max(g)和最小值min(g)，然后得到q＝(max(g)-min(g))/40。{γj} 为从小到大每隔数值q采样一次，得到相应的采样值并记录下来。

(S3)根据公式(3)和公式(4)，预先计算出每个采样值{γj}对应的映射函数图像Rj(I)σ及其拉普拉斯金字塔L{Rj(I)σ}。

(S4)对第d层的每个拉普拉斯金字塔系数(x，y)，首先根据(S1)中获取的高斯金字塔系数g，确定其位于哪个采样区间内，假如位于区间[γj，γj+1]内，则计算出插值参数λ使得g＝(1-λ)γj+λγj+1。

(S5)得到λ和j后，对预先计算好的相对应的拉普拉斯金字塔值进行线性插值输出结果图像F的拉普拉斯金字塔系数：L{F(x，y)}＝(1-λ)L{Rj(I)σ(x，y)}+ λL{Rj+1(I)σ(x，y)}。

4.多分辨率融合过程

当得到修改后的拉普拉斯金字塔系数以后，采用多分辨率融合方法进行融合得到结果图像。本发明仍然采用多分辨率融合策略，对LDR图像序列和权重图进行融合，从而得到最终的融合图像。

综上，整个发明方案采用加速的LLF对超亮和超暗区域的细节进行提取，而不对其它区域操作。这样既能恢复超亮超暗区域的细节信息，又不会造成整体的细节过度增强。而且算法具有较高的执行效率。

本发明的关键点是：场景亮暗区域的划分过程(步骤1)和利用局部拉普拉斯滤波器改变亮暗区域的金字塔系数的加速优化过程(步骤3)。这两点是本发明的核心算法，为进行细节保持的快速多曝光图像融合方法提供理论基础。

有益效果

公开一种细节保持的多曝光图像快速融合的方法，与现有技术相比，本发明的方法速度较快，改进了当前基于细节增强的多曝光融合方法效率较低的缺陷。表1展示了本发明方法与基于细节增强的多曝光融合方法方法的时间对比结果，并展示了没有任何加速算法(既没有步骤1中确定超亮超暗区域算法，又没有步骤3中的加速优化算法)的执行时间，有步骤1中确定超亮超暗区域的算法但没有步骤3中的加速优化算法的执行时间。

所有的对比实验都在同样的环境运行，CPU处理器为3.5GHz英特尔 i7-4770k，内存为16 GB，操作系统为Windows 10。从时间对比结果可以看出，本算法使用了步骤1和步骤3的加速算法，比不用加速算法效率提高了大约30 到40倍，比现有方法[2]效率提高了5倍，大大节省了时间。

表1各种方法的时间对比结果(单位是秒)

本发明提高了执行效率，同时保证了算法生成图像的质量。本发明的方法能够很好的恢复多曝光融合生成的HDR图像在亮暗区域丢失的细节，而不会造成其他区域的细节过度增强，减少了视觉失真，如图3、图4、图5、图6所示，本发明方法比参考文献[1]和[2]的结果细节更加丰富，而没有过度增强。

本发明提供了一种基于局部拉普拉斯金字塔的细节保持的多曝光图像快速融合方法，并不仅仅限于说明书和实施方式中所描述。故凡依本发明申请专利范围所述的构造、特征及原理所做的等效变化或修饰，均应包括于本发明专利申请范围内。