彩均衡不变形的DOM局部修复聚合方法

本发明涉及一种DOM局部修复聚合方法，特别涉及一种彩均衡不变形的DOM局部修复聚合方法，属于DOM局部修复技术领域。

数字正射影像DOM是基础地理信息产品的重要组成部分，具有信息丰富、精度高、现实性强、直观逼真等优点，既可作为后景控制评价其它数据的现实性、精度、完整性，还可从中提取自然和人文信息，并派生新的信息和产品，为地形图的修测更新提供良好的数据手段，广泛应用于城市规划、数字测绘、旅游导航、资源调查、灾害监测、土地利用等领域。

DOM是用正射投影航摄像片上的影像表示地物的形状和平面位置，当像片水平且地表没有起伏时，该航摄像片便是依据比利尺、相当于正射投影的影像。但在实际摄影中，航片是地面的中心投影，而像片倾斜及地形起伏又不可避免，故要得到符合要求的正射影像图，需要利用DEM对该航摄像片或遥感影像，进行数字微分纠正，消除因像片倾斜或者地形起伏引起的像点位移、镶嵌，按图廓线裁切，注记地名、公里格网和图廓整饰等，才能形成以栅格数据形式存储的影像数据库，其中影像编辑的局部修复是指查看聚合后的影像是否存在扭曲、变形、拉花现象，主要针对道路、房屋、桥梁等容易因为航片投影差而发生变形的地物，采用先对DEM进行编辑，再对影像进行拼接、纠正、聚合的方法，其中影像聚合关系到影像产品最终的视觉效果，是DOM制作中最关键的技术。

影像聚合是获取不同影像源中的视觉元素，包括前景感兴趣的目标对象以及后景，调整它们的彩、亮度等参数，使之可以无缝自然混聚的技术。可以基于2D方式操作3D物体，无需定标、重建等操作就能表示自然物体，影像聚合具有很高的研究价值以及十分广泛的应用。目前，从电影电视制作、生产监控、车辆识别、影像镶嵌等到照片编辑都需要影像聚合的支持。但影像聚合仍存在很多问题，譬如，如何将前景目标对象与新后景在彩、结构、纹理、尺寸比例上无缝的聚合，如何精确的提取前景，如何减少聚合过程中的人工交互等。

DOM局部修复是典型的影像聚合问题，它也是将源于不同影像源的元素进行聚合。本发明基于对影像聚合算法的改良，应用于DOM局部修复过程中，以获得效果更好的数字正射影像图。

影像聚合主要包括前景提取及后景聚合二个部分。其中，前景提取是从影像中提取出感兴趣的任意形状的目标对象，后景聚合是将提取的前景目标对象与新的后景影像进行聚合，形成在彩、纹理、亮度、结构、尺寸比例上都能平滑一致的新影像。

现有技术早期的影像聚合主要通过线性组合获得，即把影像中的每一个像素点彩视为由前景彩和后景彩线性混合而成，前景彩所占的比重被称为该像素点的a因子，也称为不透明程度，a分量和前景彩提取的准确性是影响聚合质量的关键因素。蓝屏抠像是最早的前景影像提取方法，通过在前景后面加单后景墙来去除复杂后景，但要求纯后景、且前景中不能出现与后景相近的彩使其应用范围并不广泛。随后现有技术利用将同一物体置于不同后景前得到的多幅影像来抠取前景，虽可有效应对前景中部分彩和后景彩相同的问题，但仍未从本质上解决蓝屏抠像对可控环境的依赖。通常真实场景复杂多变，后景很难保证为纯，因而基于自然影像提取前景的方法越来越受到关注，相比使用单一彩的后景，从自然影像中提取前景目标对象则更困难，需要用户先以交互的方式为算法提供某种先验信息，建立关于彩分布的参数化模型或非参数化模型，然后通过后验概率估计、基于泊松偏微分方程等方式来提取前景目标对象。

近年来，现有技术还提出利用双目视觉或者基于Kinect获取场景深度信息自动提取前景的方法。但由于同一物体在双目中成像实际并不相同，造成了不准确的前景提取结果；而Kinect技术并不适用于前景轮廓复杂或者表面有凹坑的情况，若要精确提取前景，必须进行后续的优化处理，故其实际应用很少。

相比基于线性混合的影像聚合，现有技术基于梯度域的聚合方法，在不用精确提取前景的情况下,通过解狄利克雷条件的泊松方程，实现彩和亮度的无缝聚合，且对像素的梯度而不是像素值进行操作可很好的保留影像的局部对比度。但当用户指定的前景影像边界穿过彩变化较大的区域时，该方法容易出现渗效应，聚合边界产生模糊，同时在将前景影像聚合至彩差异较大的后景图中时，聚合影像中前景目标对象的彩会严重失真。

DOM局部修复相当于影像聚合，但现有技术的影像聚合方法各有缺陷。当用户选定了一个对象想要插入某个给定场景中时，基于a分量的影像聚合方法可通过精确提取前景以确保质量较高的影像聚合，但物体边缘的精确提取一般不能自动完成，需要很多的人工交互。而基于梯度域的影像聚合方法，在把前景聚合到新后景时，会出现聚合边界的渗效应，前景的彩失真等问题。

针对现有技术存在的部分缺陷，本发明拟解决以下问题：

一是现有技术的影像聚合主要通过线性组合获得，即把影像中的每一个像素点彩视为由前景彩和后景彩线性混合而成，通过在前景后面加单后景墙来去除复杂后景，但要求纯后景、且前景中不能出现与后景相近的彩使其应用范围并不广泛。随后现有技术利用将同一物体置于不同后景前得到的多幅影像来抠取前景，虽可有效应对前景中部分彩和后景彩相同的问题，但仍未从本质上解决蓝屏抠像对可控环境的依赖。通常真实场景复杂多变，后景很难保证为纯，方法使用的局限性很大，使用范围很小。

二是现有技术提出利用双目视觉或者基于Kinect获取场景深度信息自动提取前景的方法，但由于同一物体在双目中成像实际并不相同，造成了不准确的前景提取结果；而Kinect技术并不适用于前景轮廓复杂或者表面有凹坑的情况，若要精确提取前景，必须进行后续的优化处理，故其实际应用很少，无法推广运用。

三是现有技术基于梯度域的聚合方法，在不用精确提取前景的情况下,通过解狄利克雷条件的泊松方程，实现彩和亮度的无缝聚合，但当用户指定的前景影像边界穿过彩变化较大的区域时，该方法容易出现渗效应，聚合边界产生模糊，同时在将前景影像聚合至彩差异较大的后景图中时，聚合影像中前景目标对象的彩会严重失真，DOM局部修复聚合效果较差。

四是现有技术的基于a分量的线性混合方法，对用户交互的依赖性大，不能在不同种子分布的情况下，全自动或只需少量人工操作就提取出前景目标对象。聚合影像不能无缝的聚合边界，不能使前景和后景影像在彩、纹理、亮度、比例尺寸、位置等方面都可达到较好匹配，，存在大量相关特征提取等复杂并费时费力的操作，算法复杂度高，不容易实现且效果不好，修补影像中的变形和彩不均衡问题突出。

综上，影像聚合存在很大的改良空间，对基于a分量的线性混合方法，应该尽可能减少对用户交互的依赖，做到在不同种子分布的情况下，也能全自动或只需少量人工操作就提取出前景目标对象。同时，在复杂后景以及前景、后景彩相近的情况下获得精确的提取结果也有研发必要。而基于梯度域或者基于多分辨率的影像聚合方法虽能够获得较好的聚合效果，但却仅限于某类特定情况，好的聚合影像应该具有无缝的聚合边界，并且能够使前景和后景影像在彩、纹理、亮度、比例尺寸、位置等方面都可达到最佳匹配，因此研发同时满足上述条件并可高效计算运行的方法非常重要。

在充分研究和分析现有方法缺陷的基础上，本发明提出了一种彩均衡不变形的DOM局部修复聚合方法。影像聚合若要自然无缝，必须使聚合影像从前景到后景平滑过渡。基于此，本发明首先确定过渡交接区域，由于过渡交接区域二侧分别是前景与后景保持不变的部分，因而确定过渡交接区域即相当于确定区域与前景、后景之间的边界，本发明分别称之为前景固定边界和后景固定边界。而前景与后景聚合必然存在最佳拼接线，这也是本发明需要确定的第三条边界。另外，好的聚合效果还要求在区域内平滑过渡，即过渡交接区域内必须具有光滑连续的权重值。最后，根据权重值对影像进行线性组合以形成新的影像，并将该方法应用到DOM局部修复聚合中去。

针对现有技术的不足，本发明提供的彩均衡不变形的DOM局部修复聚合方法，将影像认定为是由前景影像与后景影像线性组合而成，充分考虑边界对于聚合影像的影响，为保证前景彩不失真、前景与后景最佳缝合、后景彩和结构保持相对完整，本发明依次提取前景固定边界、最佳拼接线、后景固定边界三条边界，并由最外侧二条边界组成过渡交接区域，对于过渡交接区域内平滑权重值的获取，本发明采用将三条边界视作等值线，权重值分别定义为0、0.5、1，然后将离散点构造成带有约束的不规则三角网，再进行权重值插值的方法；最后通过几组基于普通影像进行聚合的对比实验，聚合结果充分说明本发明方法可有效改善DOM的渗效应和彩失真等缺点，并做到平滑过渡，能够有效修复影像中的变形和彩不均衡区域。

为达到以上技术效果，本发明所采用的技术方案如下：

彩均衡不变形的DOM局部修复聚合方法，一是利用前景影像提取方法粗略提取目标对象，得到前景固定边界，聚合影像中的前景固定边界内全部源于前景影像；二是基于图割理论定义不同的能量函数，分别得到最佳拼接线及后景固定边界，聚合影像中后景固定边界外全部源于后景影像，前景固定边界保证目标对象彩和结构的完整，最佳拼接线寻前景影像与后景影像的最佳缝合部分，后景固定边界限定后景影像中目标对象的完整结构；三是以前景固定边界与后景固定边界之间的部分作为过渡交接区域，将三条边界视作权重值的等值线，基于等高线插值生成格网DEM的算法，获取过渡交接区域内每个像素的权重值，最后基于线性组合得到聚合影像；

采用Grab Cut算法提取前景固定边界，本发明硬性规定了迭代次数，将迭代次数设定为3次，用户编辑采取让种子点遍及要除去部分的各个不同的彩相似区域；

本发明提取前景固定边界的方法为：采用RGB三通道的混合高斯模型取代灰度直方图，对目标对象和后景建模，当影像像素值为cn，分别用一个具有S个分量的全协方差混合高斯模型来描述目标对象和后景的彩分布，引入一个额外的向量k；

通过将一个像素的RGB彩值直接代入目标对象和后景的混合高斯模型，得到该像素分别属于目标对象和后景的概率，确定吉布斯能量的数据项；定义好能量项后，基于图割进行目标对象提取，采用迭代实现能量最小化，每次迭代都使得对目标对象和后景建模的混合高斯模型参数更优，确保更优的分割结果。

彩均衡不变形的DOM局部修复聚合方法，进一步的，提取前景固定边界步骤为：

第一步，初始化；

一是通过直接框选目标对象得到一个初始的三元图E，即矩形框外的像素全部作为后景像素EB，而框内的像素EU则视为可能的目标对象像素；

二是将EB、EU内像素n的标签分别初始化为an＝0和an＝1，即分别作为后景和可能的目标对象像素；

三是根据属于目标对象an＝1以及后景an＝0的像素来估计对应的混合高斯模型，首先利用k均值聚类算法将目标对象和后景聚类成S类，即混合高斯模型中的S个高斯模型，此时每个高斯模型就有了像素样本集，参数均值和协方差就能通过估计像素的RGB值得到，高斯分量的权重值则由属于该高斯分量的像素个数与总的像素个数的比值确定；

第二步，迭代最小化；

四是对每个像素设置混合高斯模型参数，即若像素n是目标对象像素，就将像素n的RGB值代入目标对象混合高斯模型的每一个高斯分量中，概率最大的就是最有可能生成n的，也即像素n的第sn个高斯分量；

五是对于给定的影像数据c，学习优化混合高斯模型参数；

六是分割估计，即通过建立的吉布斯能量项，建立相应的图，然后基于最大流最小割算法进行分割；

七是重复第二步的四至六直至迭代次数大于3，经过分割估计，每个像素属于目标对象还是后景混合高斯模型发生变化，即每个像素的sn改变，高斯混合模型随之发生变化，每次迭代都会交替优化混合高斯模型和分割结果，迭代次数的限定平衡算法的效率和分割质量；

第三步，用户编辑；

九是矩形框选一般能获得良好的分割效果，但当分割结果不理想时，加入用户标注来硬性约束某些像素为后景或目标对象，进而更新三元图E，并执行第二步中的分割估计进行再一次分割，让种子点遍及各个不同的彩相似区域。

彩均衡不变形的DOM局部修复聚合方法，进一步的，影像无缝聚合必须将提取出的前景目标对象平滑过渡到新后景上，这个过程涉及到二个边界，一条是前景与后景影像进行聚合的最佳拼接线，另外一条是使后景中对象的彩和结构保持相对完整的边界，即在聚合影像的这条边界外，像素全部源于后景影像，最佳拼接线是二幅影像的最佳缝合部分，关系到过渡交接区域内权重值的选取，确定时要同时考虑前景和后景影像中对象的彩和结构特征；先利用动态规划在前景目标对象边界和用户指定边界之间的区域，寻最佳拼接线，然后再进行影像聚合；

本发明提取最佳拼接线的方法是：将前景固定边界作为初始边界向外扩张，由相应算法自动出二幅影像之间，顾及彩和结构的最佳拼接线。

彩均衡不变形的DOM局部修复聚合方法，进一步的，本发明采用基于图割的最佳拼接线提取，最佳拼接线是影像重叠区域内按照规则确定的一条差异最小的曲线，本发明的差异最小指在彩强度上，像素点在二幅影像上对应点的彩差异最小，另外在几何结构上，像素点在二幅影像上对应点的结构最相似；

基于图割的拼接线搜索最初是纹理聚合，纹理聚合将源自各样本的影像块无缝聚合到输出影像，其中第一个影像块在聚合影像中的位置是随机的，随后的像素块必须与已有像素块存在部分重叠，重叠区域即为最佳拼接线的查范围；使用图割进行拼接线搜索，首先需要定义一个函数来度量二个影像块之间的相似性，选用相邻像素对间的彩差异作为相似性度量函数，并令k和e为影像重叠区域内的二个相邻像素，M(k)和N(k)分别为像素k在二个影像中的彩值，像素对k和e之间的相似性度量值写成：

X(k，e，M，N)＝||M(k)-N(k)||+||M(e)-N(e)||

式中||·||表示一个合适的范数,权重值定义后，将影像转化为权值对应图。

彩均衡不变形的DOM局部修复聚合方法，进一步的，边界提取方法的过程实现为：引入图割进行影像聚合，通过限定某些元素来自二影像源中的一个，基于图割实现任意二幅影像的聚合，并提取最佳拼接线；假设前景、后景影像分别为k1、k2，若要进行影像聚合，必须确定聚合影像上每个像素u与影像源ki之间的映射关系，将这种关系看作是聚合影像像素与影像源之间的标签函数g，每个像素的标签可记为B(u)，当B(u)≠B(v)时，聚合影像上相邻像素对u、v之间就存在拼接缝；

在前景、后景二幅影像上搜索最佳拼接线，基于将影像块嵌入聚合影像的情况，但把后景影像k2视作初始聚合影像，即开始时聚合影像已被后景像素填满，然后将前景分割结果作为前景影像k1的限定元素，当前景目标对象融入后景中，二者之间的拼接缝就是要的最佳拼接线；

本发明引入权重值惯性参数，权重值惯性参数通过计算近似欧式距离图描述每个像素点u和限定元素之间的距离，并将其加权得到；当Bt+1(u)≠Bt(u)，t表示当前迭代次数，Bt(u)表示像素的当前标签，Bt+1(u)为优化后标签时，将该权重值加入到整体能量函数中，该参数越高，使用图割求解时距离限定元素越近的像素会被自动选取，最佳拼接线也就越靠近初始边界；

基于图割搜索最佳拼接线通过计算能量函数进行优化，定义能量函数的具体形式，本发明使用基于边缘的能量函数：

式中，X(k,e,M,N)是像素对k和e之间的相似性度量值，定义为RGB空间中彩的欧氏距离，d表示计算梯度的方向，与k和e之间的连接边方向相同；是影像M、N沿着方向d的梯度，能量函数能匹配前景、后景影像的彩，同时考虑对象的梯度特征，进而使分割线能够沿着彩差异最小并尽量贴近影像对象的边缘部分，保证后景中彩和结构特征的相对完整；

在初始化阶段保留一张结果图，它的最终结果将是影像聚合的结果，用后景影像来初始化结果图，此时结果图中的标签均为0，代表后景，具有的可选源包括后景影像和前景目标对象影像，即图结构中的源点与汇点，在影像聚合过程中则展现为像素可来源于后景影像或者前景目标对象影像；

初始化完成后，引入前景目标对象提取结果作为前景影像的限定元素，即要求聚合影像中这些像素一定来自前景影像，算法进入能量迭代最小化过程，首先根据能量函数计算当前结果图中标签g的总能量J(g),然后对可选源影像进行一次a-expansion操作，并求取此次标签调整中的能量最小值J(g')，最后比较J(g)、J(g')，重复以上循环，直至结果图中能量不再下降，此时结果图即为最终的聚合影像，标签函数g对应的分割边界即为最佳拼接线。

彩均衡不变形的DOM局部修复聚合方法，进一步的，本发明提取后景固定边界采用基于拼接线寻优的方法和步骤，不同的是将最佳拼接线作为初始边界，即限定元素为前景影像在最佳拼接线内对应的部分，调整权重值惯性为0.0012，并更换能量函数为只考虑梯度，因为后景固定边界必然穿过梯度较大的区域，具体形式为：

式中d表示计算梯度的方向，与k和e之间的连接边方向相同；是影像M、N沿着方向d的梯度，通过迭代求取此时前景和后景影像之间的最佳拼接线，得到所要的后景固定边界。

彩均衡不变形的DOM局部修复聚合方法，进一步的，确定三条边界后，将前景固定边界和后景固定边界之间的部分作为过渡交接区域，使最终的聚合影像自然无缝，让前景影像平滑过渡到后景影像，过渡交接区域内的权重值连续平滑；

本发明提出的平滑权重值获取方法，将前景固定边界、最佳拼接线和后景固定边界的权重值依次看作是0、0.5、1，权重值获取问题转化为在三条等值线之间进行插值以获取平滑连续曲面的问题，而等高线作为一种特殊的等值线，与之对应的数字高程模型也是基于格网点的平滑连续曲面，如此就可基于等高线插值生成数字高程模型的算法来获取过渡交接区域内每个像素点的权重值。

彩均衡不变形的DOM局部修复聚合方法，进一步的，本发明利用等高线构建不规则三角网再转换为格网数字高程模型的算法来生成过渡交接区域内的平滑权重值，首先，将三条边界上各像素点视作等高线离散点，基于散点构造三角网，采用狄洛尼三角网生成不规则三角网，构建狄洛尼三角网采用三角网生长法，首先连接点集中距离最短的二个点作为三角形的一条边，然后以狄洛尼三角网的二个特性为准则来寻以此边为一边的狄洛尼三角形的第三个顶点，依次处理新生成的边，直至全部完成。

彩均衡不变形的DOM局部修复聚合方法，进一步的，得到不规则三角网后，基于不规则三角网进行内插生成以各像素为格网点的数字高程模型，其高程就是所需的权重值，包括以下二个过程：

过程一，确定格网点U(x,y)所在的三角形，内插过程中若采用对全部三角形进行遍历的方法，效率会极其低下，因而可先确定包括U点的区域，再从中搜索出所要的三角形；

过程二，内插方法的选择，进行线性内插即可，即把三角形构成的斜平面看作是权重值面，利用三角形三点的权重值进行内插；若U所在三角形的三个顶点坐标分别为(a1,b1,c1)、(a2,b2,c2)、(a3,b3,c3)，U点的权重值可按下式计算：

采用曲面内插函数处理平三角形，加入了额外的特征点，这些点的权重值并没有做任何限制，可能超出[0,1]的范围，将大于1的像素权重值强制为1，而小于0的权重值强制等于0即可；

至此，在过渡交接区域内获得了连续平滑权重值，接下来把前景固定边界内的像素权重值全部赋为0，后景固定边界外的像素权重值全部赋为1，得到整幅后景影像的权重值图，利用权重值图对前景、后景影像进行线性组合，得到最后的聚合影像。

与现有技术相比，本发明的优点和创新点在于：

一是本发明提供的彩均衡不变形的DOM局部修复聚合方法，将影像认定为是由前景影像与后景影像线性组合而成，充分考虑边界对于聚合影像的影响，为保证前景彩不失真、前景与后景最佳缝合、后景彩和结构保持相对完整，本发明依次提取前景固定边界、最佳拼接线、后景固定边界三条边界，并由最外侧二条边界组成过渡交接区域，对于过渡交接区域内平滑权重值的获取，本发明采用将三条边界视作等值线，权重值分别定义为0、0.5、1，然后将离散点构造成带有约束的不规则三角网，再进行权重值插值的方法；最后通过几组基于普通影像进行聚合的对比实验，聚合结果充分说明本发明方法可有效改善DOM的渗效应和彩失真等缺点，并做到平滑过渡，本发明的具有显著的先进性、有效性、实用性。

二是本发明提供的彩均衡不变形的DOM局部修复聚合方法，首先通过Grab Cut算法提取前景，然后利用图割理论提取最佳拼接线以及后景固定边界，再基于等高线插值生成格网数字高程模型的算法获取过渡交接区域的平滑权重值，最后基于线性组合完成影像聚合，可有效改善渗效应，同时可保留前景目标对象的彩，避免彩失真，修复前后对比影像以及局部放大细节说明了将本发明方法应用于DOM局部修复的可行性和巨大优势，能够有效修复影像中的变形和彩不均衡区域。

三是本发明提供的彩均衡不变形的DOM局部修复聚合方法，将前景目标对象与新后景在彩、结构、纹理、尺寸比例上无缝的聚合，能够精确的提取前景，大幅减少了聚合过程中的人工交互，减少了对不可控环境的依赖，能够适应真实场景复杂多变的情况，不要求后景为纯，前景提取结果准确；同时在用户指定的前景影像边界穿过彩变化较大的区域时，不会出现渗效应，聚合边界不产生模糊，在将前景影像聚合至彩差异较大的后景图中时，聚合影像中前景目标对象的彩不会失真。

四是本发明提供的彩均衡不变形的DOM局部修复聚合方法，尽可能减少了对用户交互的依赖，在不同种子分布的情况下，也能全自动或只需少量人工操作就提取出前景目标对象。同时，在复杂后景以及前景、后景彩相近的情况下能获得精确的提取结果，聚合影像具有无缝的聚合边界，并且前景和后景影像在彩、纹理、亮度、比例尺寸、位置等方面都可达到最佳匹配，本发明同时满足上述条件并可高效计算运行，算法没有复杂并费时费力的操作，相比其它算法运行成本较低，其效果相对现有技术的其它算法都有明显的改善，对比现有技术的其它算法优势更为明显，能得到彩均衡不变形的聚合影像。

图1是本发明最佳拼接线中图的构造示意图。

图2是本发明融入新的影像块时拼接线的搜索示意图。

图3是本发明影像块被已有像素包围时的拼接线搜索示意图。

图4是本发明的最佳拼接线查流程图。

图5是本发明基于图割算法提取的拼接线示意图。

图6是本发明后景不变边界提取结果示意图。

图7是本发明DOM局部修复聚合方法的三条边界展示图。

下面结合附图，对本发明提供的彩均衡不变形的DOM局部修复聚合方法的技术方案进行进一步的描述，使本领域的技术人员可以更好的理解本发明并能予以实施。

本发明提供的彩均衡不变形的DOM局部修复聚合方法，克服现有技术算法的缺点，使DOM聚合影像达到无缝自然的标准。

本发明将影像认定为是由前景影像与后景影像线性组合而成，充分考虑边界对于聚合影像的影响，为保证前景彩不失真、前景与后景最佳缝合、后景彩和结构保持相对完整，本发明依次提取前景固定边界、最佳拼接线、后景固定边界三条边界，并由最外侧二条边界组成过渡交接区域，对于过渡交接区域内平滑权重值的获取，本发明采用将三条边界视作等值线，权重值分别定义为0、0.5、1，然后将离散点构造成带有约束的不规则三角网，再进行权重值插值的方法；最后通过几组基于普通影像进行聚合的对比实验，聚合结果充分说明本发明方法可有效改善DOM的渗效应和彩失真等缺点。

本发明提出的彩均衡不变形的DOM局部修复聚合方法，一是利用前景影像提取方法粗略提取目标对象，得到前景固定边界，聚合影像中的前景固定边界内全部源于前景影像；二是基于图割理论定义不同的能量函数，分别得到最佳拼接线及后景固定边界，聚合影像中后景固定边界外全部源于后景影像，前景固定边界保证目标对象彩和结构的完整，最佳拼接线寻前景影像与后景影像的最佳缝合部分，后景固定边界限定后景影像中目标对象的完整结构；三是以前景固定边界与后景固定边界之间的部分作为过渡交接区域，将三条边界视作权重值的等值线，基于等高线插值生成格网DEM的算法，获取过渡交接区域内每个像素的权重值，最后基于线性组合得到聚合影像。

一、提取前景固定边界

前景固定边界的提取是为了使目标对象的彩、结构特征保持相对完整，即在聚合影像中，前景固定边界内只包含感兴趣的目标对象。本发明采用Grab Cut算法提取前景固定边界，它有二个突出的优点：一是使用迭代Graph Cuts进行能量优化，在获得同等分割质量的情况下，能大幅减少用户交互，只需用矩形框选目标对象就能获得较好的分割效果；二是允许加入额外标注作为硬性约束，以精确矩形框选的分割结果，本发明硬性规定了迭代次数，而不是由程序自动收敛决定，因为实验过程中发现算法迭代3次后像素的抠图信息值的变化非常小，可忽略不计，而算法每次迭代消耗时间较长，为平衡分割质量与算法的运行效率，本发明将迭代次数设定为3次，另外由于Grab Cut是基于彩相似度的统计分割，当后景复杂或前景和后景彩相近时，使用Grab Cut算法必须加入额外交互才能较好的提取目标对象，而算法依赖于人工交互的准确性，因此，用户编辑可采取让种子点遍及要除去部分的各个不同的彩相似区域，以避免再次交互，从而减少运行时间。

本发明提取前景固定边界的方法为：采用RGB三通道的混合高斯模型取代灰度直方图，对目标对象和后景建模，当影像像素值为cn，分别用一个具有S个分量(具体实施例中取S＝5)的全协方差混合高斯模型来描述目标对象和后景的彩分布，于是便引入了一个额外的向量k。

当描述目标对象和后景的混合高斯模型参数已经确定，通过将一个像素的RGB彩值直接代入目标对象和后景的混合高斯模型，得到该像素分别属于目标对象和后景的概率，确定吉布斯能量的数据项。

图割中关于t-link的权重值已确定，利用图割进行能量最小化时必须定义n-link的权重值，即吉布斯能量中的边界项。边界项表示邻域像素之间的不连续性惩罚，若邻域像素差别越小，它们属于同一目标对象或后景的可能性就越大，若邻域像素差别很大，二个像素位于目标对象与后景的分界处的可能性大，则被分开的可能性就大，所以当邻域像素对的差值越大，对应的能量越小。

定义好能量项后，基于图割进行目标对象提取，采用迭代实现能量最小化，每次迭代都使得对目标对象和后景建模的混合高斯模型参数更优，确保更优的分割结果，算法实现步骤为：

第一步，初始化；

一是通过直接框选目标对象得到一个初始的三元图E，即矩形框外的像素全部作为后景像素EB，而框内的像素EU则视为可能的目标对象像素；

二是将EB、EU内像素n的标签分别初始化为an＝0和an＝1，即分别作为后景和可能的目标对象像素；

三是根据属于目标对象an＝1以及后景an＝0的像素来估计对应的混合高斯模型，首先利用k均值聚类算法将目标对象和后景聚类成S类，即混合高斯模型中的S个高斯模型，此时每个高斯模型就有了像素样本集，那么参数均值和协方差就能通过估计像素的RGB值得到，高斯分量的权重值则由属于该高斯分量的像素个数与总的像素个数的比值确定；

第二步，迭代最小化；

四是对每个像素设置混合高斯模型参数，即若像素n是目标对象像素，就将像素n的RGB值代入目标对象混合高斯模型的每一个高斯分量中，概率最大的就是最有可能生成n的，也即像素n的第sn个高斯分量：

五是对于给定的影像数据c，学习优化混合高斯模型参数；

六是分割估计，即通过建立的吉布斯能量项，建立相应的图，然后基于最大流最小割算法进行分割；

七是重复第二步的四至六直至迭代次数大于3，经过分割估计，每个像素属于目标对象还是后景混合高斯模型发生变化，即每个像素的sn改变，高斯混合模型随之发生变化，每次迭代都会交替优化混合高斯模型和分割结果。另外，迭代次数的限定很好的平衡了算法的效率和分割质量；

第三步，用户编辑

九是矩形框选一般能获得良好的分割效果，但当分割结果不理想时，加入用户标注来硬性约束某些像素为后景或目标对象，进而更新三元图E，并执行第二步中的分割估计进行再一次分割，让种子点遍及各个不同的彩相似区域，以避免再次交互。

本发明的前景提取算法，不仅分割精度较高，而且通过迭代优化大大减少了用户交互。只需一次额外交互就完成了目标对象提取，提高了算法效率。

二、提取最佳拼接线

前景固定边界的提取只保证了感兴趣目标对象的彩和结构相对完整，若要做到影像无缝聚合，还必须将提取出的前景目标对象平滑过渡到新后景上。这个过程涉及到二个边界，一条是前景与后景影像进行聚合的最佳拼接线，另外一条是使后景中对象的彩和结构保持相对完整的边界，即在聚合影像的这条边界外，像素全部源于后景影像，最佳拼接线是二幅影像的最佳缝合部分，关系到过渡交接区域内权重值(作为等值线，权重值为0.5)的选取，确定时要同时考虑前景和后景影像中对象的彩和结构特征。先利用动态规划在前景目标对象边界和用户指定边界之间的区域，寻最佳拼接线，然后再进行影像聚合。

提取最佳拼接线要综合考虑前景和后景影像的彩和结构特征。本发明提取最佳拼接线的方法是，将前景固定边界作为初始边界向外扩张，由相应算法自动出二幅影像之间，顾及彩和结构的最佳拼接线。以下首先介绍本发明最佳拼接线的提取方法，然后给出拼接线提取的具体实现。

(一)基于图割的最佳拼接线提取

最佳拼接线是影像重叠区域内按照规则确定的一条差异最小的曲线，本发明的差异最小指在彩强度上，像素点在二幅影像上对应点的彩差异最小，另外在几何结构上，像素点在二幅影像上对应点的结构最相似。拼接线的提取利用图割来检测最佳拼接线。

基于图割的拼接线搜索最初是纹理聚合，纹理聚合将源自各样本的影像块无缝聚合到输出影像，其中第一个影像块在聚合影像中的位置是随机的，随后的像素块必须与已有像素块存在部分重叠，重叠区域即为最佳拼接线的查范围。使用图割进行拼接线搜索，首先需要定义一个函数来度量二个影像块之间的相似性，选用相邻像素对间的彩差异作为相似性度量函数，并令k和e为影像重叠区域内的二个相邻像素，M(k)和N(k)分别为像素k在二个影像中的彩值，像素对k和e之间的相似性度量值写成：

X(k，e，M，N)＝||M(k)-N(k)||+||M(e)-N(e)||

式中||·||表示一个合适的范数,权重值定义后，将影像转化为权值对应图,具体如图1所示：

图1是最佳拼接线中图的构造,上图为待拼接的影像块，下图是权值对应图，上图为待拼接的二个影像块M和N，M和N之间存在部分重叠,若该区域内有9个像素，将每个像素映射成图结构中的一个结点，则下图中从1到9的九个方格表示相邻的9个结点,结点之间用带权边连接，权重值表示为X(k,e,M,N),而二个影像块的非重叠区域，即图中的影像块M和影像块N将映射成终端结点，部分普通结点要与之相连，它们是有约束的带权边，权重值无穷大表示聚合纹理影像中这些像素必须来自对应的影像块，为图中,强制令像素1、2、3必须源影像M，像素7、8、9则必须源影像N，由于最佳拼接线是从重叠区域一侧到另一侧权重值累计最小的一条线，而且这条线将终端结点M和N分离，那么最佳拼接线的搜索问题就转化成一个典型的图割问题，未知像素4、5、6来自的影像块可通过求解图的最小割解决。从示例中的最佳拼接线可以看出，在最终的输出影像中像素4来自影像N，而像素5和6来自影像M。

以上说明使用图割进行纹理聚合可行，但实际上，它更有利于将新的影像块融入到已有纹理结果上，并消除输出影像中可能存在的拼接缝。这只需整合原权值对应图中边的权重值、求解新的图割问题就可决定新纹理块中的哪些像素应该覆盖已有影像块之间的拼接缝隙。

具体说明详见图2，图的构造中将已有像素块的集合表示为一个终端结点M，用Mk代表像素k具体来自的像素块，新的影像块则表示为另一个终端结点N，对于已有像素块中的拼接线，在拼接线穿越的每个像素对中间插入一个线结点，并将它们与结点N逐一相连，连接边的权重值则为该线结点所在拼接线生成时所对应的权重值，即X(k,e,Mk,Me)，其中k、e是横跨这条拼接线的邻接像素对。图2中，像素1和4之间存在一条原拼接线，在这二个像素中间插入一个线结点k1，并将其与影像块N相连，边的权重值为X(1,4,M1,M4),同时，给像素1与结点k1相连边的赋权重值X(1,4,M1,N)，结点k1与像素4相连边的权重值则为X(1,4,N,M4)。若一个线结点与N之间的边被切割，表示输出影像中该原拼接线仍然保留；反之，若依然连接则表示新的像素已覆盖这条拼接线，因而其权重值不再计入最终的累积权重值。若连接线结点与其相邻像素对中的一条边被断开，表示相应位置上会出现新的拼接线，且新边的权重值会被累加到最终权重值中。参见图2，线结点k3处的原拼接线已被新拼接线代替，而k4处的原拼接线则被消除，并在像素3和6、5和6及4和7之间都引入了新的拼接线，通过求解图割问题就能得到最佳拼接线。

不同于只在影像边缘存在重叠的情况，纹理聚合时，经常需要将一个影像块插入到已被其它像素块填满的区域，此时的新影像块与已有像素完全重叠。如图3，权值对应图的构造方式基于图2，但限定像素变为已有像素块的边缘像素，在区域内部限定一个像素必须与结点N相连，保证聚合影像中至少有一个像素来自新影像块。

(二)边界提取方法的过程实现

本发明引入图割进行影像聚合，通过限定某些元素来自二影像源中的一个，基于图割实现任意二幅影像的聚合，并提取最佳拼接线。假设前景、后景影像分别为k1、k2，若要进行影像聚合，就必须确定聚合影像上每个像素u与影像源ki之间的映射关系，将这种关系看作是聚合影像像素与影像源之间的标签函数g，每个像素的标签可记为B(u)，当B(u)≠B(v)时，聚合影像上相邻像素对u、v之间就存在拼接缝。

在前景、后景二幅影像上搜索最佳拼接线，基于将影像块嵌入聚合影像的情况，但把后景影像k2视作初始聚合影像，即开始时聚合影像已被后景像素填满，然后将前景分割结果作为前景影像k1的限定元素，当前景目标对象融入后景中，二者之间的拼接缝就是要的最佳拼接线。另外，由于Graph Cuts是全局优化算法，若只使用限定元素来控制聚合结果，虽能获得全局能量最小的拼接线，但却可能距离初始边界太远，导致后续根据权重值进行线性组合时，其结果出现重影和模糊。为控制最佳拼接线的搜索范围，本发明引入权重值惯性参数，权重值惯性参数通过计算近似欧式距离图描述每个像素点u和限定元素之间的距离，并将其加权得到。当Bt+1(u)≠Bt(u)，t表示当前迭代次数，Bt(u)表示像素的当前标签，Bt+1(u)为优化后标签时，将该权重值加入到整体能量函数中，该参数越高，使用图割求解时距离限定元素越近的像素会被自动选取，最佳拼接线也就越靠近初始边界。本发明通过实验得出当该参数等于0.012时，拼接线的寻优方法表现最佳，提取的边界不仅在距初始边界的合适范围内，而且能获得较好的聚合效果。

基于图割搜索最佳拼接线通过计算能量函数进行优化，因此需定义能量函数的具体形式，本发明使用基于边缘的能量函数：

式中，X(k,e,M,N)是像素对k和e之间的相似性度量值，定义为RGB空间中彩的欧氏距离，d表示计算梯度的方向，与k和e之间的连接边方向相同；是影像M、N沿着方向d的梯度，能量函数能匹配前景、后景影像的彩，同时考虑对象的梯度特征，进而使分割线能够沿着彩差异最小并尽量贴近影像对象的边缘部分，保证后景中彩和结构特征的相对完整。算法的具体流程如图4。

在初始化阶段保留一张结果图，它的最终结果将是影像聚合的结果，用后景影像来初始化结果图，此时结果图中的标签均为0，代表了后景，具有的可选源包括后景影像和前景目标对象影像，即图结构中的源点与汇点，在影像聚合过程中则展现为像素可来源于后景影像或者前景目标对象影像。

初始化完成后，引入前景目标对象提取结果作为前景影像的限定元素，即要求聚合影像中这些像素一定来自前景影像，算法进入能量迭代最小化过程，首先根据能量函数计算当前结果图中标签g的总能量J(g),然后对可选源影像进行一次a-expansion操作，并求取此次标签调整中的能量最小值J(g')，最后比较J(g)、J(g')，重复以上循环，直至结果图中能量不再下降，此时结果图即为最终的聚合影像，标签函数g对应的分割边界即为最佳拼接线。

图5是本发明基于图割算法得到的实验结果。可以看出，提取的拼接线(在图中用线标示)很好的匹配了彩差异，而能量函数中的梯度项则充分顾及了影像中对象的边缘特征，如图b中边界沿着滑板与人的头部，而不是跨越头部或其它区域。

三、提取后景固定边界

后景固定边界的提取关系到前景目标对象是否可平滑过渡到新后景，并且影响聚合影像中后景对象彩和结构的完整程度，因而后景固定边界提取也非常重要。

本发明提取后景固定边界采用基于拼接线寻优的方法和步骤，不同的是将最佳拼接线作为初始边界，即限定元素为前景影像在最佳拼接线内对应的部分，调整权重值惯性为0.0012(实验经验值)，并更换能量函数为只考虑梯度，因为后景固定边界必然穿过梯度较大的区域，其具体形式为：

式中d表示计算梯度的方向，与k和e之间的连接边方向相同；是影像M、N沿着方向d的梯度，通过迭代求取此时前景和后景影像之间的最佳拼接线，得到所要的后景固定边界。

图6为后景固定边界的提取结果(图内线标示)：(a)中二影像重合处，不存在明显的梯度变化，后景固定边界就倾向于前景影像的边缘；(b)中则充分表示梯度项的作用，提取的边界沿着滑板与人的头部之间梯度变化较大的部分，并没有穿越明显对象的结构，保证了后景影像彩和结构的相对完整。

四、获取平滑权重值

确定三条边界后，将前景固定边界和后景固定边界之间的部分作为过渡交接区域，要使最终的聚合影像自然无缝，就必须让前景影像平滑过渡到后景影像，这要求过渡交接区域内的权重值必须连续平滑。

现有技术基于线性组合的影像聚合方法有帽子函数法和渐入渐出法二种，帽子函数法的核心思想是将影像聚合中心区域的像素赋予较高的权重值，而对影像边缘区域的像素赋予较低权重值；渐入渐出法的权重值为渐变系数，通过令一幅影像的权重值逐渐从1变为0，而另一幅则从0逐渐变为1，以实现影像之间的平滑过渡，由于简单快速、过渡效果好，该方法相比帽子函数法的应用更加广泛，尤其是在影像拼接技术中。但它只支持一维方向的过渡，不适用于本发明中在各个方向都需平滑的情况。

基于以上观点，本发明提出新的平滑权重值获取方法，将前景固定边界、最佳拼接线和后景固定边界的权重值依次看作是0、0.5、1，权重值获取问题就转化为在三条等值线之间进行插值以获取平滑连续曲面的问题，而等高线作为一种特殊的等值线，与之对应的数字高程模型也是基于格网点的平滑连续曲面，如此就可基于等高线插值生成数字高程模型的算法来获取过渡交接区域内每个像素点的权重值。

本发明利用等高线构建不规则三角网再转换为格网数字高程模型的算法来生成过渡交接区域内的平滑权重值，首先，将三条边界上各像素点视作等高线离散点，基于散点构造三角网，狄洛尼三角网在曲面拟合方面表现的最为出，用来生成不规则三角网，狄洛尼三角网具有空圆和最大最小角二个性质，即在任一狄洛尼三角形的外接圆内不包含其它离散点，以及组成凸四边形的二个相邻三角形，在交换对角线后形成的一对新三角形的最小内角不大于原来二个三角形的最小内角，其中后者构成了狄洛尼三角网的局部优化算法，即当二相邻三角形不满足这条特性时，就需互换对角线，保证狄洛尼三角网的最佳形状接近正三角形特征。本发明构建狄洛尼三角网采用三角网生长法，首先连接点集中距离最短的二个点作为三角形的一条边，然后以狄洛尼三角网的二个特性为准则来寻以此边为一边的狄洛尼三角形的第三个顶点，依次处理新生成的边，直至全部完成。算法具体步骤为：

第1步，任选一个点U1作为起始点；

第2步，出距离U1最近的点U2，连接U1U2；

第3步，以直线U1U2为基线，依照狄洛尼三角网的判别准则出另一个顶点U3；

第4步，连接U1U3、U2U3作为新的基线；

第5步，迭代进行第3步至第4步，直至所有离散点都被处理。

以上是基于等值线的离散点生成不规则三角网的方法。但它们只是将各点独立考虑，未考虑等值线数据结构的特殊性，会出现三角形的某一边穿越等值线以及三个顶点在同一等值线上的情况，造成不规则三角网与权重值曲面逼近程度的降低，必须进行处理。

对于三角形穿越等值线的情况，将等值线上相邻像素点连接而成的线段作为约束边参与不规则三角网的生成，避免边的跨越。具体采用以下方法：首先利用离散点构造非约束的初始三角网，然后将等值线作为约束线段进行调整，约束边的插入过程为：

步骤一，对于约束线段UiUj，在已构造的初始三角网中到与之相交的三角形集合；

步骤二，将该集合中三角形的外围边构成多边形V；

步骤三，约束线段UiUj将多边形一分为二，形成二个多边形V1、V2；

步骤四，对二个多边形分别进行三角剖分以及局部优化处理；

步骤五，重复以上步骤，直至所有的约束线段都被插入到三角网中。

平三角形是局部区域缺少特征点的结果，因而处理的关键就是增加特征点，再重新构网或进行局部更新，平三角形具体处理步骤为：

步骤1，以三角形三个顶点的权重值是否相等为判别准则提取所有的平三角形；

步骤2，提取特征点：提取每个平三角形取所有非约束线段边(不以等值线为边)的中点，其中若一个三角形的三条边均是非约束线段边，提取三角形的重心作为特征点；

步骤3，利用等值线离散点对提取的特征点进行三次曲面内插，得到其权重值；

步骤4，将提取的特征点及其权重值加入到三角网中，进行局部更新。

最终得到带有约束并消除平三角形的不规则三角网，结果如图7所示，约束分别对应于提取出的三条边界，需特别说明的是，在实际影像应用中，有时提取出的三条边界并不总像真正的等值线那样规则，它们在某些情况下会存在重合或相交，因为要顾及影像中对象的边缘特征，提取出的最佳拼接线以及后景固定边界(实际还有前景固定边界，因为是所要提取目标对象的边缘)会在滑板边缘处存在重叠或者相交，这些重合部分会导致算法失效。这是因为本发明是用三条边界上的各离散点构造三角网，假如边界存在重合，点就存在重复，并且对应二个权重值，按照上述算法也就无法正常构造不规则三角网，因此在构造三角网前必须对各边界进行预处理，关键是将重复的边界去掉，针对不同的重合状况，选用的处理方式不同：对于三条边界重合，将重合点的权重值置为三者的平均值0.5，若前景固定边界和最佳拼接线存在重合，令前景边界保持不变，而让最佳拼接线上的对应部分向外扩张1个像素，而若后景固定边界和最佳拼接线存在重合，则令后景边界保持不变，拼接线上的对应部分向内收缩1个像素，有效消除重复点。

得到不规则三角网后，基于不规则三角网进行内插生成以各像素为格网点的数字高程模型，其高程就是所需的权重值，包括以下二个过程：

过程一，确定格网点U(x,y)所在的三角形，内插过程中若采用对全部三角形进行遍历的方法，效率会极其低下，因而可先确定包括U点的区域，再从中搜索出所要的三角形；

过程二，内插方法的选择。进行线性内插即可，即把三角形构成的斜平面看作是权重值面，利用三角形三点的权重值进行内插；若U所在三角形的三个顶点坐标分别为(a1,b1,c1)、(a2,b2,c2)、(a3,b3,c3)，U点的权重值可按下式计算：

由于利用等值线获取平滑权重值时，采用曲面内插函数处理平三角形，加入了额外的特征点，这些点的权重值并没有做任何限制，可能超出[0,1]的范围，最后基于整体三角网生成的权重值会存在大于1或者小于0的情况。这在影像聚合中是不允许的，必须进行处理，将大于1的像素权重值强制为1，而小于0的权重值强制等于0即可。

至此，本发明就在过渡交接区域内获得了连续平滑权重值，接下来把前景固定边界内的像素权重值全部赋为0，后景固定边界外的像素权重值全部赋为1，得到整幅后景影像的权重值图，利用权重值图对前景、后景影像进行线性组合，得到最后的聚合影像。

五、实验结果及分析

本发明给出几组利用本发明的DOM局部修复聚合方法对普通影像进行聚合的实验结果，并且为了更好的对比分析，还分别与泊松编辑、边界优化影像聚合方法的效果进行了比较。

综合实验对比分析，本发明提出的DOM局部修复聚合方法能够很好的应对泊松编辑中，由于用户指定边界穿越明显目标对象而造成渗效应的情况，这是因为本发明使用的边界提取算法能够同时顾及二幅影像的彩和结构特征，从而避免了不期望的目标对象参与影像聚合。而基于用户输入种子点来限定前景固定部分，也让本发明方法在进行影像聚合时能够保持前景目标对象的彩，不会出现彩失真的问题。另外，实验证明本发明的方法还可用于后景彩差异较大的影像聚合。

本发明根据技术路线给出了DOM局部修复聚合方法的原理及其具体实现：首先通过GrabCut算法提取前景，然后利用图割理论提取最佳拼接线以及后景固定边界，再基于等高线插值生成格网数字高程模型的算法获取过渡交接区域的平滑权重值，最后基于线性组合完成影像聚合，对比实验说明本发明方法可有效改善渗效应，同时可保留前景目标对象的彩，避免彩失真，并做到平滑过渡。修复前后对比影像以及局部放大细节说明了将本发明方法应用于DOM局部修复的可行性，能够有效修复影像中的变形和彩不均衡区域。