收稿日期：２０２０ ０５ １０；修回日期：２０２０ ０７ ０２ 基金项目：国家自然科学基金资助项目
作者简介：胡育诚（１９９５ ），男，硕士研究生，主要研究方向为计算机视觉、图像处理；芮挺（１９７２ ），男（通信作者），教授，博士，主要研究方向为计算机视觉、模式识别、人工智能（７８５３４４３０５＠ｑｑ．ｃｏｍ）；杨成松（１９８２ ），男，讲师，博士，主要研究方向为计算机视觉、模式识别；王东（１９８５ ），男，讲师，博士，主要研究方向为计算机视觉、模式识别；刘恂（１９９２ ），男，讲师，博士，主要研究方向为计算机视觉、光学． 胡育诚，芮 挺 ，杨成松，王 东，刘 恂
（陆军工程大学野战工程学院，南京２０１００７）
摘 要：为了解决拼接图像中的模糊、畸形，运动物体图像拼接后会出现重影错位等问题，首先在图像配准阶段
通过感知哈希值相似度量准则选取变换效果最佳的权重ωｉ，ｊ
来计算局部投影变换矩阵；然后利用帧间差分法和区域生长算法对差异图像中的运动物体进行分割，对差异性区域进行单采样，其他区域采用线性加权融合；最后，构建了一个用于图像拼接的航空影像数据集并进行实验。实验结果证明，该方法运行耗时增加量较小，不仅有效抑制了重叠区域出现的拼接模糊、严重畸形现象，还能消除包含运动物体图像出现的重影错位，显著提高无人机航拍图像的拼接质量。 关键词：航拍图像；图像拼接；重影消除；单应性矩阵；运动物体分割中图分类号：ＴＰ３９１．４１ 文献标志码：Ａ 文章编号：１００１ ３６９５（２０２１）０５ ０５８ １５８６ ０４ｄｏｉ
：１０．１９７３４／ｊ．ｉｓｓｎ．１００１ ３６９５．２０２０．０５．０１５３ＲｅｓｅａｒｃｈｏｎｅｌｉｍｉｎａｔｅｇｈｏｓｔｉｎｇｔｅｃｈｎｉｑｕｅｏｆＵＡＶｉｍａｇｅｍｏｓａｉｃ
ＨｕＹｕｃｈｅｎｇ，ＲｕｉＴｉｎｇ
，ＹａｎｇＣｈｅｎｇｓｏｎｇ，ＷａｎｇＤｏｎｇ，ＬｉｕＸｕｎ
（ＣｏｌｌｅｇｅｏｆＦｉｅｌｄＥｎｇｉｎｅｅｒｉｎｇ，ＡｒｍｙＥｎｇｉｎｅｅｒｉｎｇＵｎｉｖｅｒｓｉｔｙｏｆＰＬＡ，Ｎａｎｊｉｎｇ２０１００７，Ｃｈｉｎａ）
Ａｂｓｔｒａｃｔ：Ｔｏｓｏｌｖｅｔｈｅｐｒｏｂｌｅｍｓｔｈａｔｔｈｅｂｌｕｒｉｎｔｈｅｍｏｓａｉｃｉｍａｇｅａｎｄｔｈｅｇｈｏｓｔｉｎｇａｐｐｅａｒｓａｆｔｅｒｍｏｔｉｏｎｉｍａｇｅｍｏｓａｉｃ．Ｉｎｔｈｅ
ｓｔａｇｅｏｆｉｍａｇｅｒｅｇｉｓｔｒａｔｉｏｎ，ｔｈｅｍｅｔｈｏｄｕｓｅｄｔｈｅｐｅｒｃｅｐｔｕａｌｈａｓｈｓｉｍｉｌａｒｉｔｙｍｅｔｒｉｃｔｏｓｅｌｅｃｔｔｈｅｗｅｉｇｈｔωｉ，ｊ
ｗｉｔｈｔｈｅｂｅｓｔｔｒａｎｓｆｏｒ ｍａｔｉｏｎｅｆｆｅｃｔｆｏｒｃａｌｃｕｌａｔｉｎｇｔｈｅｌｏｃａｌｐｒｏｊｅｃｔｉｏｎｔｒａｎｓｆｏｒｍａｔｉｏｎｍａｔｒｉｘ．Ｔｈｅｎ
pp18，ｉｔｕｓｅｄｔｈｅｆｒａｍｅｄｉｆｆｅｒｅｎｃｅｍｅｔｈｏｄａｎｄｔｈｅｒｅｇｉｏｎｇｒｏｗｉｎｇａｌｇｏｒｉｔｈｍｔｏｓｅｇｍｅｎｔｔｈｅｍｏｖｉｎｇｏｂｊｅｃｔ．Ｔｈｅｄｉｆｆｅｒｅｎｃｅｒｅｇｉｏｎｉｓｓｉｎｇｌｅｓａｍｐｌｅｄｗｈｉｌｅｔｈｅｏｔｈｅｒｒｅｇｉｏｎｓｗｅｒｅｌｉｎｅａｒｗｅｉｇｈｔｅｄｆｕｓｉｏｎ．Ｆｉｎａｌｌｙ，ｔｈｉｓｐａｐｅｒｃｏｎｓｔｒｕｃｔｅｄａｓｐｅｃｉａｌａｅｒｉａｌｉｍａｇｅｓｄａｔａｓｅｔｆｏｒｉｍａｇｅｍｏｓａｉｃａｎｄｃｏｎｄｕｃｔｅｄｅｘｐｅｒｉｍｅｎｔｓｂａｓｅｄｏｎｉｔ．Ｔｈｅｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｔｈｅｐｒｏｐｏｓｅｄｍ
ｅｔｈｏｄｒｅｑｕｉｒｅｓｌｏｗｅｘｔｒａｃｏｍｐｕｔａｔｉｏｎｔｉｍｅａｎｄｅｆｆｅｃｔｉｖｅｌｙｓｕｐ
ｐｒｅｓｓｔｈｅｂｌｕｒａｎｄｉｍａｇｅａｂｎｏｒｍａｌｉｔｙｉｎｏｖｅｒｌａｐｐｉｎｇａｒｅａ
，ｅｌｉｍｉｎａｔｅｇｈｏｓｔｉｎｇｏｆｉｍａｇｅｓｗｉｔｈｍｏｖｉｎｇｏｂｊｅｃｔｓ，ｗｈｉｃｈｓｉｇｎｉｆｉｃａｎｔｌｙｉｍｐｒｏｖｅｔｈｅｑｕａｌｉｔｙｏｆＵＡＶ’ｓａｅｒｉａｌｉｍａｇｅｍｏｓａｉｃ．Ｋｅｙｗｏｒｄｓ：ａｅｒｉａｌｉｍａｇｅｓ；ｉｍａｇｅｍｏｓａｉｃ；ｇｈｏｓｔｉｎｇ；ｈｏｍｏｇｒａｐｈｙ；ｍｏｖｉｎｇｏｂｊｅｃｔｓｅｇｍｅｎｔａｔｉｏｎ
与卫星遥感技术相比，无人机能够在云下低空作业，减少
云雾遮挡的干扰，可以实现实时图传，迅速获取影像［１］
，同时凭借其高机动性能、灵活操作、低成本、低损耗等优势，无人机
已广泛应用于军事及民用领域［２］
。
但是对于大范围区域的巡查，由于受到飞行高度及相机视角局限性的影响，单张航拍图像视野范围较小，获取信息有限，所以需要将无人机航拍图像以拼接的方式获得该区域的全局信息，而图像拼接成为提高无人机应用能力与水平的重要技术手段。图像拼接是指将一定数量的包含重叠区域的航拍序列影像进行拼接以获取一幅全
景图像的技术方法［３］
。拼接图像不仅保留了原始图像的细节信息，还能对拍摄区域进行全局把握与信息分析。高效准确的图像拼接技术一直是计算机视觉与图像处理的热点问题之一。
目前无人机航拍图像拼接中出现重影错位现象主要有以下原因：
ａ）图像配准不准确。无人机质量轻，巡查时易受高空风力影响导致飞行姿态不稳定，得到的航拍图像不能被近似为同
一平面［４］
，加上常用的特征匹配算法鲁棒性会影响矩阵的估计误差导致图像变换不准确，不能够克服序列图像间的几何变
形问题［５］
，使得拼接图像会出现明显的对齐错误与重影模糊。
ｂ）序列图像存在运动物体。运动物体由于位移会在多帧图像间重复出现，序列图像间的内容通常有明显变化，导致两图的重叠区域存在曝光差异，若直接进行融合处理，拼接结果
将会产生明显的运动重影，严重影响拼接图像的质量［
６］
。１ 相关工作
为了获得更好的对齐质量，解决上述拼接问题，国内外学
者提出了一系列基于网格优化和局部单应性矩阵变换的配准
方法。Ｚａｒａｇｏｚａ等人［７］
提出了ＡＰＡＰ（ａｓ ｐｒｏｊｅｃｔｉｖｅ ａｓ ｐｏｓｓｉｂｌｅ）算法，将图像划分为密集网格，用ｍｏｖｉｎｇＤＬＴ（ｍｏｖｉｎｇｄｉｒｅｃｔｌｉｎｅａｒｔｒａｎｓｆｏｒｍ）求解每个网格的单应性矩阵并对其投影变换，可以更好地处理局部变形，但无法解决大视差图像的拼接问
题；Ｃｈａｎｇ等人［８］
在ＡＰＡＰ基础上提出ＳＰＨＰ（ｓｈａｐｅ ｐｒｅｓｅｒｖｉｎｇｈａｌｆ ｐｒｏｊｅｃｔｉｖｅ），对于重叠区域使用投影变换，非重叠区域使用相似变换，减少了大视差图像拼接造成的透视失真，但局部的
拼接效果仍然不理想；
Ｌｉｎ等人［９］
因此提出了ＡＡＮＡＰ（ａｄａｐｔｉｖｅａｓ ｎａｔｕｒａｌ ａｓ ｐｏｓｓｉｂｌｅ），在图像网格的划分过程中将图像的局
部变换与全局相似性变换线性结合，使拼接结果比Ｓ
ＰＨＰ更加自然；Ｃｈｅｎ等人［１０］
提出了ＧＳＰ（ｇｌｏｂａｌｓｉｍｉｌａｒｉｔｙｐｒｉｏｒ）方法，在目标函数中加入了全局相似性和点线结构作为图像形变的约
束项，进一步提升拼接图像观感自然度；
Ｌｉｎ等人［１１］
提出了ＭＡＰ（ｍｅｓｈ ｂａｓｅｄｐｈｏｔｏｍｅｔｒｉｃａｌｉｇｎｍｅｎｔ）方法，利用并最小化图像对齐中采样点的光度误差来代替对应点的几何误差，结合了基于光流对准的优秀性能和基于网格变形的拼接效率，但边界
上的区域拼接后会有局部的偏移；
Ｊａｃｏｂ等人［１２］
提出Ｇｒｅｅｎ 第３８卷第５期２０２１年５月 计算机应用研究
ＡｐｐｌｉｃａｔｉｏｎＲｅｓｅａｒｃｈｏｆＣｏｍｐｕｔｅｒｓＶｏｌ ３８Ｎｏ ５
Ｍａｙ２０２１
Ｗａｒｐｓ的两阶段拼接方法，在第一阶段使用格林坐标对图像进
行预变形，第二阶段用ｄ
ｅｍｏｎ ｂａｓｅｄｄｉｆｆｅｏｍｏｒｐｈｉｃ变形方法来确定对齐，解决了大视差图像拼接的难
题；
Ｌｉｕ等人［１３］
提出了一种基于形状优化混合变换的光照平滑图像拼接方法。在对图像进行混合变换的同时，采用颜校正的方法，用于颜变换模型的计算，得到光照平滑效果的图像拼接结果。
综上所述，局部模型比全局模型具有更好的适用性，可以更加精确地配准图像，减少静态场景拼接中重叠区域的模糊错误［１４］
。考虑到无人机在航拍时飞行高度与云台相机的焦距一般稳定不变，采集的图像没有明显的尺度、光照与视差的变化，从方法复杂度层面考虑，使用ＡＡＮＡＰ方法可满足需求。然而，仅仅使用上述算法并无法有效解决运动重影问题，因此可以考虑在图像融合阶段对运动物体进行分割，再采取不同的融合方法，由于这两类方法分别处于图像拼接的不同阶段，可以结合使用。
２ 重影消除方法
重影会影响图像拼接质量，结合上述分析，重影产生的原
因主要有两方面：一是图像拼接重叠区域配准对齐误差导致；二是运动物体在多帧图像间重复出现导
致。针对此问题，本文首先基于局部单应性变换思想选择ＡＡＮＡＰ模型，通过相似度量准则计算图像畸变程度，选取变换效果最佳局部投影变换矩阵，与全局相似变换矩阵线性结合为最优单应性矩阵，减少配准误差导致的重影模糊，然后在融合阶段利用区域生长法分割出运动物体，消除结果中存在的运动物体鬼影，改进后的方法只增加少量运算耗时就可以得到高质量的航拍拼接图像。２ １ 重叠区域重影消除
ＡＡＮＡＰ继承ＡＰＡＰ的优点，在图像网格的划分过程中将图像的局部变换与全局相似性变换线性结合，使拼接结果更优
于Ａ
ＰＡＰ与ＳＰＨＰ。但Ｌｉｎ等人［９］
提出，ＡＡＮＡＰ由于非线性的投影变换与线性的相似变换加权结合，对应求解投影变换矩阵
的权重ωｉ，ｊ
如果选择不当会导致图像变换后畸形严重，引起波浪效应。对于不同应用场景，权重ωｉ，ｊ应该有不同的最佳选择。针对此情况，本文选取若干个尺度因子σ，通过感知哈希值相似度量准则计算图像的畸变程度，自动选取出效果最佳的单应性矩阵，减少配准误差导致的重影模糊同时避免图像严重畸
形。２ ２ 图像几何变换模型研究
计算图像间单应性矩阵即出参考图像与目标图像之间的坐标变换关系，常见图像变换有平移变换、相似变换和投影
变换［１５］
等。
１）相似变换 等距变换与均匀缩放变换的结合形式统称为相似变换，可以写成
折叠篮
珓ｘ＝ｓＲｔ０Ｔ
１珓ｘ（１）
物流追踪系统其中：２×２的矩阵Ｒ代表图像的旋转；ｓ是缩放尺度，改变图像
的大小；ｔ是２维列向量，代表图像的平移，此变换为线性变换。
２）投影变换 原来的直线映射到第二个图像仍是一条直线，但不再保持一个平行关系的变换叫投影变换，是相似变换基础上加上拉伸的操作，其图像的形变自由度更加大，可以写成
珓ｘ＝Ａ
ｔＶＴ
１珓ｘ（２）
其中：Ａ为拥有两个缩放因子，两个旋转因子的２×２矩阵；
Ｖ＝（ｖ１，ｖ２）Ｔ
代表图像的拉伸，此变换非线性变换。２ ２ １ 最优单应性矩阵的选择
ＡＡＮＡＰ延续了ＡＰＡＰ的思想，首先将航拍图像划分为ｍ个密集网格，每个网格皆有一个单应性矩阵对其投影变换。利用重叠区域中每个网格的匹配特征点对，通过ｍｏｖｉｎｇＬＴ方法
自动计算对应的局部单应性矩阵［
７］，其矩阵的求解为ｈｊ＝ａｒｇｍｉｎｈｊ∑Ｎｉ
＝１ωｉ，ｊ‖ａｉ，１ａｉ，
２ｈ‖２（３）ωｉ，ｊ＝ｍａｘ（ｅｘｐ（－‖ｐｉ－ｐｊ
‖２／σ２
），γ） γ∈［０ １］（４）
其中：Ｐｉ为所划分子区域中的坐标点；Ｐｊ为第ｊ
个特征匹配点对。根据计算得到每个子区域匹配点之间的权重ωｉ，ｊ
，可以判断该区域是否选取该匹配点用于矩阵的求解。ＡＡＮＡＰ计算局部单应性矩阵后，通过计算形变参数自动选择一个最佳的相似变
换矩阵Ｓ
，再将两个矩阵线性叠加得到一个新的变换矩阵Ｈｊ为Ｈｊ＝ｔｊ×ｈｊ＋（１－ｔｊ
）×Ｓ（５）
这样的策略会使ＡＡＮＡＰ的对齐效果比ＳＰＨＰ更好，但Ｌｉｎ
等人提出，由于非线性变换与线性变换的结合，权重ωｉ，ｊ的选择不当会引起图像波浪效应。然而，ＡＡＮＡＰ在计算过程中所选用尺度因子σ均为定值１２，这并不适用于所有无人机航拍图像拼
接应用场景。针对此问题，本文选取ｎ个σ值构造成ｎ个ωｉ，ｊ，进行ｎ次图像变换，通过相似度量准则来自动选取最优矩阵，保证局部区域的精确配准。２ ２ ２ 感知哈希值相似度量
感知哈希算法用于生成每张图像的指纹字符串，比较不同图像的指纹信息来判断图像的相似性。用离散余弦变换得到６４位哈希值后，使用汉明距离量化两张图像的相似性。其值越小，图像的相似度越大，证明图像变换后的畸变程度越小。２ ３ 运动物体重影消除
使用ＡＡＮＡＰ虽然能减少图像配准误差，但仍无法解决包含运动物体的重影问题。考虑使用单一方法效果仍不理想，本文提出结合图像分割的思想，先对运动物体进行分割，针对不同区域采取不同的融合方法，避免像素重复。其优化步骤如下：
１）构造差分图像 由于相邻序列航拍图像具有很高的相似性，当图像中出现了运动物体，两图像的像素信息会出现明显差别，所以可以基于差分图像对运动物体进行分割。利用帧
间差分法计算两幅图像之间的差异区域［１６］
扩管机：
δｉ，ｊ
＝ａｂｓ（Ｉｍ１ｉ，ｊ－Ｉｍ２ｉ，ｊ
）ｍａｘ（Ｉｍ１ｉ，ｊ－Ｉｍ２ｉ，ｊ
）（６）
其中：Ｉｍ１ｉ，ｊ、Ｉｍ２ｉ，ｊ
为两幅图像的像素值。２）运动物体分割 在差分图像中，差异区域与相邻区域间具有不同的特性，可以基于分割思想将差异性区域筛选出来，区域生长算法能够保留清晰的边界轮廓信息和分割结果。其实现条件简便，在没有先验知识的帮助下，可以生成较好的
分割结果［１７］
。
其运动物体分割步骤如下：ａ）选择初始种子点。种子点自动选取有三个标准：（ａ）种子点与周围像素点的灰度值相似；（ｂ）从目标区域中至少挑选
一个初始种子点；（
ｃ）不同区域之间的种子点不连通［１８］
。
ｂ）执行区域增长。搜索种子点周围的八个像素，如果相邻像素与种子点的灰度值之差小于指定阈值，则两点具有高度的纹理相似性，符合生长准则，将相似像素添加到该区域；直到没有像素加入该区域时，停止区域生长。
ｃ）当该区域停止生长时，选择下一个种子，继续执行下一个区域的生长。
继续执行前三个步骤，直到覆盖图像中的所有种子点［
１８］
。３）区域覆盖策略 为了消除重叠区域中的重影，运动区域只能采用单幅图像的信息。对于区域生长停止后的图像，黑
区域（灰度值为０
）为具有差异性区域，可能包含运动物体，因此采用单采样策略，使用最后一张序列图像对应区域的灰度值；对于白区域（灰度值标记为２５５）采用线性加权融合，得到最终拼接图像：
Ｉｉ，ｊ
＝ω１×Ｉｍ１ｉ，ｊ＋ω２×Ｉｍ２ｉ，ｊ
ω１＋ω２
（７）
·７８５１·第５期胡育诚，等：无人机航拍图像拼接重影消除技术研究
３ 实验与分析
３ １ 实验环境与数据采集
实验采用ＭＡＴＬＡＢ２０１６ａ和Ｃ编程实现本文方法。实验硬件配置为Ｉｎｔｅｌ６８００ＫＣＰＵ，６４ＧＢ内存，ＮＶＩＤＩＡＲＴＸ２０８０Ｔｉ
ＧＰＵ
。实验设备为四旋翼无人机：大疆“御”Ｍａｖｉｃ２ｐｒｏ，图像采集模块为哈苏Ｌ
１Ｄ ２０ｃ相机云台。实验数据集为自主采集，巡查高度为１００ｍ，保证覆盖足够大的面积和无人机飞行时的安全；相机云台摄像头角度为９０°正俯视，序列图像间的重叠度为７０％。数据集共有６３５张图像，主要包括丛林、山地、农田、水体、城市建筑与道路信息，含有元素丰富的野外、城市
与田野环境。数据集采集部分结果如图１
所示。
图１ 部分数据集
Ｆｉｇ．１ Ｐａｒｔｏｆｔｈｅｄａｔａｓｅｔ
３ １ １ 重叠区域重影消除
原始ＡＡＮＡＰ的σ为１２，在该值基础上通过一定的范围上下浮动得到ｎ个σ值，经过多次实验，ｎ一般取７，浮动间隔为１最佳。图２是多组实验图像中的一组航拍示例，（ａ）为基准图像，（ｂ）
为待匹配图。
（ａ）基准图像 （ｂ）待匹配图
图２ 实验图像
Ｆｉｇ．２ Ｅｘｐｅｒｉｍｅｎｔｉｍａｇｅｓ
首先使用七个σ所计算的矩阵对目标图像进行几何变质粒拯救
换，再用感知哈希相似度来计算之间的变换程度，其实验结果如表１所示。
表１ 不同尺度因子实验结果Ｔａｂ．１ Ｅｘｐｅｒｉｍｅｎｔｒｅｓｕｌｔｓｗｉｔｈｄｉｆｆｅｒｅｎｔｓｃａｌｅ
由表１可得，尺度因子σ为１５时差异值最小，相似度最
大，为最优矩阵。为了有一个更直观的效果对比，分别用原始ＡＡＮＡＰ（σ＝１２）与本次实验最佳结果（σ＝１５）进行图像拼接，其结果如图３所示。
（ａ）σ＝１２的拼接结果 （ｂ）σ＝
１５的拼接结果图３ 结果对比
Ｆｉｇ．３ Ｒｅｓ
ｕｌｔｃｏｍｐａｒｉｓｏｎ
从主观角度验证，原始ＡＡＮＡＰ（σ＝
１２）由于权重选择不当，右下角出现了严重畸形现象，并不适用于此场景的拼接应用；本文自动选取最优矩阵的拼接结果过渡自然，避免了图像的波浪效应。但当图像包含运动物体时，行驶车辆由于视差缘故有明显的重影，出现模糊不清，后续将使用图像质量优化方法进行运动重影消除。３ １ ２ 运动物体重影消除
加入区域生长方法对拼接图像进行质量优化。利用帧间差分法得到重叠区域的差异图像，然后在此基础上执行区域生长算法，其执行结果如图４所示。
图
４ 算法执行结果
Ｆｉｇ．４ Ｒｅｓｕｌｔｏｆａｌｇｏｒｉｔｈｍｅｘｅｃｕｔｉｏｎ
对于区域生长的执行结果，黑区域（灰度值为０）为具有
差异性区域，包含运动物体，因此采用单采样策略，使用最后一张序列图像对应区域的像素；对于白区域（灰度值标记为２５５）采用线性加权融合方法。最终优化结果如图５所示。
图５ 最终结果
Ｆｉｇ．５ Ｆｉｎ
ａ
ｌ
ｒｅｓｕｌｔ
在最终结果中，有效消除了车辆、楼层的残影。与仅使用
ＡＡＮＡＰ相比，拼接图像中树木、楼层的模糊现象、行驶车辆的重影都显著减少，整体拼接质量得到了提高。３ １ ３ 性能对比
１）视觉主观评价 为进一步验证本文算法的有效性，分
别使用Ａ
ＰＡＰ、ＳＰＨＰ及本文算法对图像进行多组实验，对比其性能效果，对比结果如图６、７
所示。
图６ 第一组实验Ｆｉｇ．６ Ｆｉｒｓｔｇｒｏｕｐｏｆｅｘｐｅｒｉｍｅｎｔｓ
图７ 第二组实验Ｆｉｇ．７ Ｓｅｃｏｎｄｇｒｏｕｐｏｆｅｘｐｅｒｉｍｅｎｔｓ
两组实验中，ＡＰＡＰ与ＳＰＨＰ方法的树木与建筑体都出现
了不同程度的模糊与重影，重叠区域与非重叠区域间过渡不自然，图像边缘出现了明显的畸变。与其他方法相比，本文算法能较好地避免鬼影的出现，对周围区域重影有较大的修补，提升了图像清晰度，克服了模糊区域细节丢失的问题，性能均优
·８８５１·计算机应用研究 第３８卷
于其他算法。
２）量化客观评价 选取信息熵、平均梯度、标准差［１９］和ＮＲＳＳ［２０］等四个指标对三种方法进行客观评价，其中信息熵是衡量图像信息丰富程度的，标准差越大则反映融合图像的灰度级分
布越分散，平局梯度的大小可以衡量图像的清晰度，ＮＲＳＳ则是一种无参考结构清晰度的质量评价方法，对多组实验求均值得到其统计特性，其统计结果如表２所示。
表２ 三种算法不同参数对比
Ｔａｂ．２ Ｃｏｍｐａｒｉｓｏｎｏｆｔｈｒｅｅａｌｇｏｒｉｔｈｍｓｗｉｔｈｄｉｆｆｅｒｅｎｔｉｎｄｅｘ评价参数ＡＰＡＰＳＰＨＰ本文算法
信息熵６．３５８７５．５６６７６．３９７２
标准差７３．４９８６７５．１５６９８０．２９０９
平均梯度６．５４８７６．３７４８７．１０９８
ＮＲＳＳ０．８７３２０．８５５７０．８３６４
可以看出，本文算法在信息熵、标准差、平均梯度与ＮＲＳＳ的指标中结果均优于其他算法。因此，无论是主观视觉效果还是客观评价指标，本文算法很好地保存了原始图像的细节信息，达到了优良的航拍图像拼接结果。腊肉烘干机
３）运算时间对比 为了证明本文算法只添加了少量的计算时间，统计三种方法中对图像进行变形融合的运算时间，其统计结果如表３所示。由表３可得，本文算法对比其他两种方法只增加了少量的运行耗时，在得到高质量的拼接图像前提下，满足运行耗时在可接受的范围内。
表３ 三种算法的运行时间对比
Ｔａｂ．３ Ｒｕｎｎｉｎｇｔｉｍｅｃｏｍｐａｒｉｓｏｎｏｆｔｈｒｅｅａｌｇｏｒｉｔｈｍｓ
算法运行时间／ｓ
ＡＰＡＰ４．６９
ＳＰＨＰ４．９９
本文算法５．７１
４ 结束语
利用图像拼接技术弥补无人机航拍图像覆盖幅宽不足的缺陷，是提高无人机应用能力与水平的重要技术手段。无人机巡航时飞行姿态不稳、航拍图像配准算法精度不高导致拼接图像出现模糊，大视差图
像拼接后出现重影等问题，降低了拼接图像的质量，影响了无人机巡查效果。针对上述问题，本文首先提出基于局部单应性矩阵变换思想，使用ＡＡＮＡＰ方法，通过感知哈希值相似度量准则来自动选取变换效果最佳的权重ωｉ，ｊ来计算最优单应性矩阵，进行航拍图像配准；然后基于序列图像间的差异图像利用区域生长算法进行运动物体的有效分割，对差异性区域进行单采样，其他区域使用线性加权融合。实验结果表明，与同类算法相比，本文方法不仅能有效抑制静态场景重叠区域出现的拼接模糊，还能消除动态场景中的重影错位，显著提高了图像拼接质量，为无人机的高效运用提供了技术支撑。
参考文献：
［１］ＳｈｅｎｇＨｕ，ＣｈａｏＨａｉｙａｎｇ，ＣｏｏｐｍａｎｓＣ，ｅｔａｌ．Ｌｏｗ ｃｏｓｔＵＡＶ ｂａｓｅｄｔｈｅｒｍａｌｉｎｆｒａｒｅｄｒｅｍｏｔｅｓｅｎｓｉｎｇ：ｐｌａｔｆｏｒｍ，ｃａｌｉｂｒａｔｉｏｎａｎｄａｐｐｌｉｃａｔｉｏｎｓ［Ｃ］／／ＰｒｏｃｏｆＩＥＥＥ／ＡＳＭＥＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＭｅｃｈａｔｒｏｎｉｃａｎｄＥｍｂｅｄｄｅｄＳｙｓｔｅｍｓａｎｄＡｐｐｌｉｃａｔｉｏｎｓ．Ｐｉｓｃａｔａｗａｙ，ＮＪ：ＩＥＥＥＰｒｅｓｓ，２０１０：３８ ４３．
［２］王海峰，胡琪佳，段佳著，等．小型机载偏振成像系统研制及应用研究［Ｊ］．光电工程，２
０１７，４４（１１）：１０７５ １０８２．（ＷａｎｇＨａｉｆｅｎｇ，ＨｕＱｉｊｉａ，ＤｕａｎＪｉａｚｈｕ，ｅｔａｌ．Ｄｅｖｅｌｏｐｍｅｎｔａｎｄａｐｐｌｉｃａｔｉｏｎｓｏｆｓｍａｌｌａｉｒｂｏｒｎｅｐｏｌａｒｉｚａｔｉｏｎｉｍａｇｉｎｇｓｙｓｔｅｍ［Ｊ］．Ｏｐｔｏ ＥｌｅｃｔｒｏｎｉｃＥｎｇｉｎｅｅ ｒｉｎｇ，２０１７，４４（１１）：１０７５ １０８２．）
［３］ＬｕｏＬｉｎｂｏ，ＸｕＱｕａｎ，ＣｈｅｎＪｕｎ，ｅｔａｌ．ＵＡＶｉｍａｇｅｍｏｓａｉｃｂａｓｅｄｏｎｎｏｎ ｒｉｇｉｄｍａｔｃｈｉｎｇａｎｄｂｕｎｄｌｅａｄｊｕｓｔｍｅｎｔ［Ｃ］／／ＰｒｏｃｏｆＩＧＡＲＳＳＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌＧｅｏｓｃｉｅｎｃｅａｎｄＲｅｍｏｔｅＳｅｎｓｉｎｇＳｙｍｐｏｓｉｕｍ．Ｐｉｓ
ｃａｔａｗａｙ，ＮＪ：ＩＥＥＥＰｒｅｓｓ，２０１９：９１１７ ９１２０．
［４］ＬｉＮａｎ，ＸｕＹｉｆａｎｇ，ＷａｎｇＣｈａｏ．Ｑｕａｓｉ ｈｏｍｏｇｒａｐｈｙｗａｒｐｓｉｎｉｍａｇｅｓｔｉｔｃ ｈｉｎｇ［Ｊ］．ＩＥＥＥＴｒａｎｓｏｎＭｕｌｔｉｍｅｄｉａ，２０１８，２０（６）：１３６５ １３７５．
［５］李婉，赵双明，张卫龙，等．一种无人机影像滤波分频拼接算法［Ｊ］．武汉大学学报：信息科学版，２０１８，４３（６）：９４３ ９５０．（ＬｉＷａｎ，ＺｈａｏＳｈｕａｎｇｍｉｎ，ＺｈａｎｇＷｅｉｌｏｎｇ，ｅｔａｌ．ＡｍｏｓａｉｃｍｅｔｈｏｄｆｏｒＵＡＶｉｍａｇｅｓｂａ
ｓｅｄｏｎｆｉｌｔｅｒｉｎｇ［Ｊ］．ＧｅｏｍａｔｉｃｓａｎｄＩｎｆｏｒｍａｔｉｏｎＳｃｉｅｎｃｅｏｆＷｕｈａｎＵｎｉｖｅｒｓｉｔｙ，２０１８，４３（６）：９４３ ９５０．）
［６］ＹａｎｇＹａｎｇ，ＸｕＱｉｏｎｇ，ＧａｎＺｏｎｇｌｉａｎｇ，ｅｔａｌ．Ａｒｅｓｅａｒｃｈｏｎｒｅｇｉｓｔｒａｔｉｏｎａｎｄｄｅ ｇｈｏｓｔｉｎｇａｌｇｏｒｉｔｈｍｉｎｉｍａｇｅｍｏｓａｉｃ［Ｃ］／／ＰｒｏｃｏｆＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＷｉｒｅｌｅｓｓＣｏｍｍｕｎｉｃａｔｉｏｎｓ＆ＳｉｇｎａｌＰｒｏｃｅｓｓｉｎｇ．Ｐｉｓｃａ ｔａｗａｙ，ＮＪ：ＩＥＥＥＰｒｅｓｓ，２０１３：１ ５．
［７］ＺａｒａｇｏｚａＪ，ＣｈｉｎＴＪ，ＴｒａｎＱＨ，ｅｔａｌ．Ａｓ ｐｒｏｊｅｃｔｉｖｅ ａｓ ｐｏｓｓｉｂｌｅｉｍａｇｅｓｔｉｔｃｈｉｎｇｗｉｔｈｍｏｖｉｎｇＤＬＴ［Ｊ］．ＩＥＥＥＴｒａｎｓｏｎＰａｔｔｅｒｎＡｎａｌｙｓｉｓａｎｄＭａｃｈｉｎｅＩｎｔｅｌｌｉｇｅｎｃｅ，２０１４，３６（７）：１２８５ １２９８．
［８］ＣｈａｎｇＣＨ，ＳａｔｏＹ，ＣｈｕａｎｇＹＹ．Ｓｈａｐｅ ｐｒｅｓｅｒｖｉｎｇｈａｌｆ ｐｒｏｊｅｃｔｉｖｅｗａｒｐｓｆｏｒｉｍａｇｅｓｔｉｔｃｈｉｎｇ［Ｃ］／／ＰｒｏｃｏｆＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ．Ｐｉｓｃａｔａｗａｙ，ＮＪ：ＩＥＥＥＰｒｅｓｓ，２０１４：３２５４ ３２６
１．［９］ＬｉｎＣＣ，ＰａｎｋａｎｔｉＳＵ，ＲａｍａｍｕｒｔｈｙＫＮ，ｅｔａｌ．Ａｄａｐｔｉｖｅａｓ ｎａｔｕｒａｌ ａｓ ｐｏｓｓｉｂｌｅｉｍａｇｅｓｔｉｔｃｈｉｎｇ［Ｃ］／／ＰｒｏｃｏｆＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍ ｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ．Ｐｉｓｃａｔａｗａｙ，ＮＪ：ＩＥＥＥＰｒｅｓｓ，２０１５：１１５５ １１６３．
［１０］ＣｈｅｎＹＳ，ＣｈｕａｎｇＹＹ．Ｎａｔｕｒａｌｉｍａｇｅｓｔｉｔｃｈｉｎｇｗｉｔｈｔｈｅｇｌｏｂａｌｓｉｍｉ ｌａｒｉｔｙｐｒｉｏｒ［Ｃ］／／ＰｒｏｃｏｆＥｕｒｏｐｅａｎＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎ．Ｂｅｒｌｉｎ：Ｓｐｒｉｎｇｅｒ，２０１６：１８６ ２０１．
［１１］ＬｉｎＫａｉｍｏ，ＪｉａｎｇＮｉａｎｊｕａｎ，ＬｉｕＳｈｕａｉｃｈｅｎｇ，ｅｔａｌ．Ｄｉｒｅｃｔｐｈｏｔｏｍｅｔｒｉｃａｌｉｇｎｍｅｎｔｂｙｍｅｓｈｄｅｆｏｒｍａｔｉｏｎ［Ｃ］／／ＰｒｏｃｏｆＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ．Ｐｉｓｃａｔａｗａｙ，ＮＪ：ＩＥＥＥＰｒｅｓｓ，２０１７：２７０１ ２７０９．
［１２］ＪａｃｏｂＧＭ，ＤａｓＳ．ＧｒｅｅｎＷａｒｐｓ：ａｔｗｏ ｓｔａｇｅｗａｒｐｉｎｇ
ｍｏｄｅｌｆｏｒｓｔｉ ｔｃｈｉｎｇｉｍａｇｅｓｕｓｉｎｇｄｉｆｆｅｏｍｏｒｐｈｉｃｍｅｓｈｅｓａｎｄｇｒｅｅｎｃｏｏｒｄｉｎａｔｅｓ［Ｃ］／／ＰｒｏｃｏｆＥｕｒｏｐｅａｎＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎ．Ｂｅｒｌｉｎ：Ｓｐｒｉｎｇｅｒ，２０１８：７４０ ７４４．
［１３］ＬｉｕＳｈｉｇｕａｎｇ，ＣｈａｉＱｉｎｇｐｅｎｇ．Ｓｈａｐｅ ｏｐｔｉｍｉｚｉｎｇａｎｄｉｌｌｕｍｉｎａｔｉｏｎ ｓｍｏｏｔｈｉｎｇｉｍａｇｅｓｔｉｔｃｈｉｎｇ［Ｊ］．ＩＥＥＥＴｒａｎｓｏｎＭｕｌｔｉｍｅｄｉａ，２０１９，２１（３）：６９０ ７０３．
［１４］李加亮，蒋品．结合变形函数和幂函数权重的图像拼接［Ｊ］．计算机应用，２０１９，３９（１０）：３０６０ ３０６４．（ＬｉＪｉａｌｉａｎｇ，ＪｉａｎｇＰｉｎｑｕｎ．Ｉｍａｇｅｓｔｉ ｔｃｈｉｎｇｂｙｃｏｍｂｉｎｉｎｇｄｅｆｏｒｍａｔｉｏｎｆｕｎｃｔｉｏｎａｎｄｐｏｗｅｒｆｕｎｃｔｉｏｎｗｅｉｇｈｔ［Ｊ］．ＪｏｕｒｎａｌｏｆＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓ，２０１９，３９（１０）：３０６０ ３０６４．）
［１５］杨智尧，宋欣，宋占伟．动态图像的拼接与运动目标检测方法的研究［Ｊ］．图学学报，２０１４，３５（６）：８９３ ８９８．（ＹａｎｇＺｈｉｙａｏ，ＳｏｎｇＸｉｎ，ＳｏｎｇＺｈａｎｗｅｉ．Ｔｈｅｒｅｓｅａｒｃｈｏｆｄｙｎａｍｉｃｉｍａｇｅｍｏｓａｉｃａｎｄｍｏｖｉｎ
ｇｏｂｊｅｃｔｄｅｔｅｃ ｔｉｏｎｍｅｔｈｏｄ［Ｊ］．ＪｏｕｒｎａｌｏｆＧｒａｐｈｉｃｓ，２０１４，３５（６）：８９３ ８９８．）
［１６］ＭｉｌｌｓＡ，ＤｕｄｅｋＧ．Ｉｍａｇｅｓｔｉｔｃｈｉｎｇｗｉｔｈｄｙｎａｍｉｃｅｌｅｍｅｎｔｓ［Ｊ］．ＩｍａｇｅａｎｄＶｉｓｉｏｎＣｏｍｐｕｔｉｎｇ，２００９，２７（１０）：１５９３ １６０２．
［１７］徐蔚波，刘颖，章浩伟．基于区域生长的图像分割研究进展［Ｊ］．北京生物医学工程，２０１７，３６（３）：３１７ ３２２．（ＸｕＷｅｉｂｏ，ＬｉｕＹｉｎ，ＺｈａｎｇＨａｏ ｗｅｉ．Ｒｅｓｅａｒｃｈｐｒｏｇｒｅｓｓｉｎｉｍａｇｅｓｅｇｍｅｎｔａｔｉｏｎｂａｓｅｄｏｎｒｅｇｉｏｎｇｒｏｗｉｎｇ［Ｊ］．ＢｅｉｊｉｎｇＢｉｏｍｅｄｉｃａｌＥｎｇｉｎｅｅｒｉｎｇ，２０１７，３６（３）：３１７ ３２２．）
［１８］ＤｅｈｄａｓｈｔＨＲ，ＧｈｏｌａｍｉＳ．Ａｕｔｏｍａｔｉｃｓｅｅｄｅｄｒｅｇｉｏｎｇｒｏｗｉｎｇ（ＡＳＲＧ）ｕｓｉｎｇｇｅｎｅｔｉｃａｌｇｏｒｉｔｈｍｆｏｒｂｒａｉｎＭＲＩｓｅｇｍｅｎｔａｔｉｏｎ［Ｊ］．ＷｉｒｅｌｅｓｓＰｅｒｓｏｎａｌＣｏｍｍｕｎｉｃａｔｉｏｎｓ，２０１９，１０９：８９７ ９０８．
［１９］高超．图像融合评价方法的研究［Ｊ］．电子测试，２０１１（７）：３０ ３３．（Ｇａｏ
Ｃｈａｏ．Ｒｅｓｅａｒｃｈｏｆｉｍａｇｅｆｕｓｉｏｎｅｖａｌｕａｔｉｏｎｍｅｔｈｏｄ［Ｊ］．Ｅｌｅｃ ｔｒｏｎｉｃＴｅｓｔ，２０１１（７）：３０ ３３．）
［２０］谢小甫，周进，吴钦章．一种针对图像模糊的无参考质量评价指标［Ｊ］．计算机应用，２０１０，３０（４）：９２１ ９２４．（ＸｉｅＸｉａｏｆｕ，ＺｈｏｕＪｉｎ，ＷｕＱｉｎｚｈａｎｇ．Ｎｏ ｒｅｆｅｒｅｎｃｅｑｕａｌｉｔｙｉｎｄｅｘｆｏｒｉｍａｇｅｂｌｕｒ［Ｊ］．ＪｏｕｒｎａｌｏｆＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓ，２０１０，３０（４）：９２１ ９２４．）
·
９
８
５
１
·
第５期胡育诚，等：无人机航拍图像拼接重影消除技术研究
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议