一种全景图像配准效果的检测方法

本发明属于图像拼接和图像质量评价技术领域，涉及计算机视觉领域，尤其涉及 一种全景图像配准效果检测方法。

随着电子信息产业的发展和技术进步，能够获取、记录视频信息的设备日益普及， 但与人眼的视场范围相比，普通摄像机的视场要小得多，如何有效的利用计算机技术扩大 摄像机拍摄图像和视频的视场范围，引起了研究者的广泛注意。图像拼接技术可以解决由 于摄像机等成像仪器的视角和大小的限制，不能生成宽视场图片的问题，现有的图像拼接 技术主要有两种方案：

第一种方案是用一个常规镜头的投影变换和多项式畸变校正技术用校正模板图 像对镜头畸变参数进行畸变校正，生成一组中间校正后的2D图像，然后采用2D图像配准技 术对校正后的图像元进行2D配准，最后对配准的两幅图像进行融合。

第二种方案是把图像的径向畸变校正参数和图像元的位姿参数作为一体，整体用 最优化技术进行参数估计，生成一个参数映射表，然后利用参数映射表将原始图片逐张映 射到全景图像中，处理完所有的图像后，将两两相邻的处理之后的图像在重叠区域做一次 融合过渡。

从上述过程可以看出，图像拼接算法性能的好坏受图像配准和图像融合两大步骤 的共同影响。针对拼接合成图像进行算法评价是不可或缺的，但对于图像拼接算法的定量 评价分析，目前尚无统一的标准。已有的评价方法都是通过人眼观测拼接缝的方法来评估 拼接质量的好坏，而人眼观测的方法误差较大，无法准确评估图像拼接算法的拼接质量。

本发明为克服上述情况不足，旨在提供一种可以准确判断图像拼接中融合效果的 方法。

一种全景图像配准效果检测方法，包括以下步骤：S1：生成训练数据集和测试数据 集；S2：生成卷积神经网络模型；S3：基于训练的卷积神经网络测试测试数据集；

所述S1包括S101、S102、S103、S104；

S101:获取拼接合成图像；

S102：计算拼接合成图像的客观评价参数；选取了配准误差作为客观评价参数；该 评价参数用于体现图像拼接算法的配准性能，本发明中采用特征位置平均误差来反映配准 误差，可由下式计算：

其中

其中，Q是评价的拼接序列图像数量，K是每相邻图像间的特征匹配对数，H是它们 与参考平面IR之间的变换矩阵，xjk，xik表示图像的第k个特征对，这里的特征可以是区域特 征、线特征或点特征，对待特征匹配对(xi，xj)中的xi而言，投影到参考平面再投影到其相邻 图像后变成坐标x′i，xj与x′i之间的几何距离误差可以体现配准的准确性；特征位置平均误 差εn是指每幅图像Ii和其相邻图像Ij上的特征匹配对经过参考平面IR变换后的几何距离误 差值的平均值，CL是拼接序列图像的匹配误差；

S103：生成训练数据集；

根根据S101步得到的拼接合成图像以及S102步设置的客观评价参数，计算卷积神 经网络的训练数据集；对训练样本集中所有的拼接合成图像以及相对应的原始图像序列， 使用图像配准技术，将拼接合成图像与原始图像序列进行配准，得到二者的重合区域，将重 合区域按行均匀分割成M块，对每一块进行处理，依据上述两种评价参数的计算方法，对每 个块计算它们的客观评价参数，作为卷积神经网络的训练数据集X＝{CG1，CL1，CG2， CL2，...，CGM，CLM}；基于每个块都会得到一个配准误差，设置一个阈值τ，将每个块的配准误 差与τ进行比较，得到对应于每个块的理想输出yi，计算公式如下：

将所有块的理想输出组合成训练数据集Y＝{y1，y2，...，yM}，{X，Y}一起构成了卷 积神经网络的训练数据集合；

S104：获取测试数据集；

所述S2步骤包括S201、S202、S203；

S201：构建卷积神经网络模型；S202：设置输入层与卷积采样层参数；S203：利用训 练数据集训练卷积神经网络。

进一步的，所述步骤S102中还选取了标准差作为客观评价参数，拼接合成图像的 标准差SD定义为：

进一步的，所述步骤S2中采用非全连接的深层神经网络模型，且同一层中某些神 经元之间的连接权重是共享的。

进一步的，所述S201具体为：以步骤S1生成的训练数据集中的客观评价参数X为输 入，构建一个卷积神经网络模型，该卷积神经网络采用5层的神经网络，分别是输入层，第一 卷积采样层，第二卷积采样层，全链接层，输出层，其中，在第一卷积采样层首先将输入与该 层设定的不同卷积核和可加偏置进行卷积，卷积后产生若干个特征，然后对特征按照设定 的池化尺度大小进行特征值求和，加权值，加偏置，最后通过一个Sigmoid函数得到该层的 输出，第二卷积采样层进行与第一卷积采样层相同的操作，区别在于两层所使用到的卷积 核、池化尺度大小以及偏置不同，两次卷积采样层的输出是特征映射图，全链接层将第二卷 积采样层的特征正向传播输出特征向量，同时也可以进行反向传播操作，在输出层中将输 入的特征向量按输出标签的大小指定输出。

进一步的，所述步骤202具体为：输入层：X＝{CG1，CL1，CG2，CL2，...，CGM，CLM}是卷 积神经网络的输入，为了将各项不同的评价参数综合起来，需要对各个评价指标进行归一 化处理；

卷积采样层：在一个卷积层l，输入层的输入或者是上一层的第i个特征被一个可学习的卷积核进行卷积，然后通过一个激活函数，就可以得到输出的第j个特征每一个输出可能是组合卷积多个输入的值，具体计算方法如下：

其中，i，j分别表示上一层和当前层上特征映射编号，M_j表示选取的输入特征集合的一个子集，表示第l层的第j个特征与第l-1层的第i个特征之间相关的卷积核，表示第l层的第j个特征对应的附加的偏置，*表示卷积操作，激活函数f(.)采用sigmoid函数将输出压缩到[0,1]；

卷积之后会紧跟着一个子采样，对于子采样来说，有N个输入特征，就有N个输出特 征，只是每个输出特征在大小上变小了，计算公式如下：

其中，down(.)表示一个下采样函数，优选Max-Pooling池化模式，池化核大小为2* 2，步长为2。

进一步的，所述步骤S203具体分为如下两个阶段：

第一阶段：前向传播阶段

对给定的训练数据集{X，Y}，将训练数据集中的X输入到卷积神经网络的输入层， 经过逐层的变换，传送到输出层，计算出与X相对应的实际输出O；计算实际输出O与理想输 出Y之间的误差，这里采用平方误差代价函数，第n个训练数据的误差表示为：

其中，K表示输出数据的维数，表示第n个训练数据对应的理想输出数据的第k维，表示第n个训练数据对应的网络输出的第k个输出；

第二阶段：后向传播阶段

后向传播阶段是按照上述计算前向平方误差方法反向传播调整网络每一层的权 重矩阵；反向传播回来的误差可以看做是每个神经元的偏置的灵敏度δ，卷积层逆向误差传 播公式为：

其中，°表示每个元素相乘，l表示层数，m，n分别表示上一层和当前层上特征的映射编号，表示第l层上的第n个神经节点的灵敏度，表示下采样层的权值，为可训练的常数，up()表示上采样操作，’表示转置，和表示第l层第n个特征对应的权值和偏置，表示第l-1层的第n个特征；池化层的逆向误差传播公式计算如下：

其中，M表示输入特征的集合，表示l+1层的第n个特征与第l层的第m个特征之间相关的卷积核，表示第l+1层的第n个神经节点的灵敏度，表示第l层的第m个神经节点的灵敏度；

最后，对每个神经元运用δ规则进行权值更新；即对一个给定的神经元，得到它的 输入，然后用这个神经元的δ来进行缩放；用向量的形式表述就是，对于第l层，误差对于该 层每一个权值(组合为矩阵)的导数是该层的输入(等于上一层的输出)与该层的灵敏度(该 层每个神经元的δ组合成一个向量的形式)的叉乘；计算偏置和卷积核的偏导数公式如下：

其中，E表示误差代价函数，为计算卷积时的每一个小区域(patch)，u、v分别表示灵敏度矩阵中的元素位置；利用上述卷积核和偏置的偏导，更新卷积核和偏置。

进一步的，所述步骤S3具体为：将步骤S103生成的测试数据集作为步骤S2训练好 的卷积神经网络的输入，经过该神经网络后输出对应每个块的输出标签。

本发明根据卷积神经网络输出的每块的输出标签，计算每一幅待评价拼接合成图 像所有块的输出标签的平均值，然后计算同一拼接算法下所有拼接合成图像输出标签的平 均值作为该拼接算法效果好坏的评价等级。利用卷积神经网络，可以代替繁琐的，大量的人 为统计评分，并且可以准确地判断图像拼接中配准效果的好坏，克服单因素评价指标所带 来的局限性，有利于全自动自适应图像拼接系统的实现，具有非常重要的应用价值。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变 得明显，或通过本发明的实践了解到。

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本 发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可 以根据这些附图获得其他的附图。

图1为本发明实施例中一种全景图像配准效果检测方法的流程图；

图2为本发明实施例中训练数据集与测试数据集的计算流程图；

图3为本发明实施例中卷积神经网络计算流程图。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完 整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于 本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他 实施例，都属于本发明保护的范围。

如图1所示，本发明提出的一种全景图像配准效果检测方法具体包括以下步骤：

S1：生成训练数据集和测试数据集。

如图2所示，训练数据集与测试数据集的计算方法如下：

S101:获取拼接合成图像。

利用图像采集设备拍摄N组原始图像序列，然后采用不同的待评价拼接算法对这N 组原始图像序列进行拼接，获得与每种待评价拼接算法相对应的N组拼接合成图像。

S102：计算拼接合成图像的客观评价参数。

本发明主要关心的是拼接合成图像的匹配误差，为了实现对拼接合成图像配准效 果的评价，选取了配准误差作为客观评价参数，进一步的，还可以增加信息熵作为客观评价 参数。这两种评价参数的具体计算方法如下：

(1)配准误差

该评价参数用于体现图像拼接算法的配准性能，本发明中采用特征位置平均误差 来反映配准误差，可由下式计算：

其中

其中，Q是评价的拼接序列图像数量，K是每相邻图像间的特征匹配对数，H是它们 与参考平面IR之间的变换矩阵，xjk，xik表示图像的第k个特征对，这里的特征可以是区域特 征、线特征或点特征，对待特征匹配对(xi，xj)中的xi而言，投影到参考平面再投影到其相邻 图像后变成坐标x′i，xj与x′i之间的几何距离误差可以体现配准的准确性。特征位置平均误 差εn是指每幅图像Ii和其相邻图像Ij上的特征匹配对经过参考平面IR变换后的几何距离误 差值的平均值，CL是拼接序列图像的匹配误差。

(2)信息熵

信息熵是反映图像信息量的一个重要指标。可通过下式计算拼接合成图像I的信 息熵：

其中，CG表示拼接合成图像的信息熵，pi为灰度值i的像素与图像总像素数之比，L 是灰度级别。对于拼接合成图像I来说，信息熵越大，则代表图像的信息越丰富，图像越复 杂。

S103：生成训练数据集。

根据S101步得到的拼接合成图像以及S102步设置的客观评价参数，计算卷积神经 网络的训练数据集。对训练样本集中所有的拼接合成图像以及相对应的原始图像序列，使 用图像配准技术，将拼接合成图像与原始图像序列进行配准，得到二者的重合区域，将重合 区域按行均匀分割成M块，对每一块进行处理，依据上述两种评价参数的计算方法，对每个 块计算它们的客观评价参数，作为卷积神经网络的训练数据集X＝{CG1，CL1，CG2，CL2，...， CGM，CLM}。基于每个块都会得到一个配准误差，设置一个阈值τ，将每个块的配准误差与τ进 行比较，得到对应于每个块的理想输出yi，计算公式如下：

将所有块的理想输出组合成训练数据集Y＝{y1，y2，...，yM}，{X，Y}一起构成了卷 积神经网络的训练数据集合。

S104：获取测试数据集。

测试样本图像包括原始序列图像以及拼接合成图像，按照步骤S103介绍的方法获 取测试数据集ts＝{CG1，CL1，CG2，CL2，...，CGM，CLM}。

S2：卷积神经网络模型。

在本发明实施例中，采用的是非全连接的深层神经网络模型，且同一层中某些神 经元之间的连接权重是共享的，这种非全连接和权重共享的网络结构使该模型更类似于生 物神经网络，降低了网络模型的复杂度，减少了权重的数量。

如图3所示，卷积神经网络模型的训练包括如下步骤：

S201：构建一个卷积神经网络模型。

以步骤S1生成的训练数据集中的客观评价参数X为输入，构建一个卷积神经网络 模型，该卷积神经网络采用5层的神经网络，分别是输入层，第一卷积采样层，第二卷积采样 层，全链接层，输出层，其中，在第一卷积采样层首先将输入与该层设定的不同卷积核和可 加偏置进行卷积，卷积后产生若干个特征，然后对特征按照设定的池化尺度大小进行特征 值求和，加权值，加偏置，最后通过一个Sigmoid函数得到该层的输出，第二卷积采样层进行 与第一卷积采样层相同的操作，区别在于两层所使用到的卷积核、池化尺度大小以及偏置 不同，两次卷积采样层的输出是特征映射图，全链接层将第二卷积采样层的特征正向传播 输出特征向量，同时也可以进行反向传播操作，在输出层中将输入的特征向量按输出标签 的大小指定输出。

以上仅给出卷积神经网络模型的一个示例，实际上卷积神经网络模型的构建方式 可以根据应用目的进行经验设置，包括卷积池化层数、全链接层数、卷积核的数量与大小以 及池化尺度等参数可以根据应用目的进行设置。

S202：设置输入层与卷积采样层参数。

输入层：X＝{CG1，CL1，CG2，CL2，...，CGM，CLM}是卷积神经网络的输入，为了将各项 不同的评价参数综合起来，需要对各个评价指标进行归一化处理。

卷积采样层(包括第一卷积采样层和第二卷积采样层)：在一个卷积层l，输入层的输入或者是上一层的第i个特征被一个可学习的卷积核进行卷积，然后通过一个激活函数，就可以得到输出的第j个特征每一个输出可能是组合卷积多个输入的值，具体计算方法如下：

其中，i，j分别表示上一层和当前层上特征映射编号，M_j表示选取的输入特征集合的一个子集，表示第l层的第j个特征与第l-1层的第i个特征之间相关的卷积核，表示第l层的第j个特征对应的附加的偏置，*表示卷积操作，激活函数f(.)采用sigmoid函数将输出压缩到[0,1]。

卷积之后会紧跟着一个子采样，对于子采样来说，有N个输入特征，就有N个输出特 征，只是每个输出特征在大小上变小了，计算公式如下：

其中，down(.)表示一个下采样函数，优选Max-Pooling池化模式，池化核大小为2* 2，步长为2。

卷积神经网络中的每一个特征提取层(子采样层)都紧跟着一个用来求局部平均 与二次提取的计算层(卷积层)，这种特有的两次特征提取结构使网络在识别时对输入样本 有较高的畸变容忍能力。

S203：利用训练数据集训练卷积神经网络。

卷积神经网络在本质上是一种输入到输出的映射，他能够学习大量的输入与输出 之间的映射关系，而不需要任何输入和输出之间的精确数学表达式，只要用已知的模式对 卷积神经网络进行训练，网络就具有输入到输出对之间的映射能力。在开始训练前，所有的 权重都应该进行随机初始化。

卷积神经网络的训练方法可以分为如下两个阶段：

第一阶段：前向传播阶段

对给定的训练数据集{X，Y}，将训练数据集中的X输入到卷积神经网络的输入层， 经过逐层的变换(卷积采样层，卷积采样层，全链接层，全链接层)，传送到输出层，计算出与 X相对应的实际输出O。计算实际输出O与理想输出Y之间的误差，这里采用平方误差代价函 数，第n个训练数据的误差表示为：

其中，K表示输出数据的维数，表示第n个训练数据对应的理想输出数据的第k维，表示第n个训练数据对应的网络输出的第k个输出。

第二阶段：后向传播阶段

后向传播阶段是按照上述计算前向平方误差方法反向传播调整网络每一层的权 重矩阵。反向传播回来的误差可以看做是每个神经元的偏置的灵敏度δ，卷积层逆向误差传 播公式为：

其中，°表示每个元素相乘，l表示层数，m，n分别表示上一层和当前层上特征的映射编号，表示第l层上的第n个神经节点的灵敏度，表示下采样层的权值，为可训练的常数，up()表示上采样操作，’表示转置，和表示第l层第n个特征对应的权值和偏置，表示第l-1层的第n个特征。池化层的逆向误差传播公式计算如下：

其中，M表示输入特征的集合，表示l+1层的第n个特征与第l层的第m个特征之间相关的卷积核，表示第l+1层的第n个神经节点的灵敏度，表示第l层的第m个神经节点的灵敏度。

最后，对每个神经元运用δ规则进行权值更新。即对一个给定的神经元，得到它的 输入，然后用这个神经元的δ来进行缩放。用向量的形式表述就是，对于第l层，误差对于该 层每一个权值(组合为矩阵)的导数是该层的输入(等于上一层的输出)与该层的灵敏度(该 层每个神经元的δ组合成一个向量的形式)的叉乘。计算偏置和卷积核的偏导数公式如下：

其中，E表示误差代价函数，为计算卷积时的每一个小区域(patch)，u，v分别表示灵敏度矩阵中的元素位置。利用上述卷积核和偏置的偏导，更新卷积核和偏置。

利用步骤S1获取的训练数据集，采用Hinge损失函数和随机梯度下降方法对卷积 神经网络进行训练，当整个卷积神经网络的损失函数趋于局部最优解附近时，完成训练；其 中局部最优解事先由人工设定。

S3：基于训练的卷积神经网络测试测试数据集。

将步骤S103生成的测试数据集作为步骤S2训练好的卷积神经网络的输入，经过该 神经网络后输出对应每个块的输出标签。

根据上述卷积神经网络输出的每块的输出标签，计算每一幅待评价拼接合成图像 所有块的输出标签的平均值，然后计算同一拼接算法下所有拼接合成图像输出标签的平均 值作为该拼接算法效果好坏的评价等级。

综上所述，利用卷积神经网络，可以代替繁琐的，大量的人为统计评分，并且可以 准确地判断图像拼接中配准效果的好坏，克服单因素评价指标所带来的局限性，有利于全 自动自适应图像拼接系统的实现，具有非常重要的应用价值。

以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权 利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。