一种基于SIFT融合ResNet50的图像匹配方法

一种基于sift融合resnet50的图像匹配方法
技术领域
1.本发明属于数字图像处理领域，尤其涉及一种基于sift融合resnet50的图像匹配方法。

背景技术：

2.图像匹配是指同一场景在两个不同时点下图像之间的对应关系，它是计算机视觉研究领域的一个基本问题，也是计算机视觉应用，如深度恢复、摄像机标定、运动分析以及三维重构等问题的研究起点或基础。
3.在特征匹配法中，如今运用最多的是点特征。现在常见的特征点提取算法包括：harris算子、foristner算子、sift算法和基于小波变换的边缘点提取法。其中sift算法以其独特的优势，成为目前最为稳定的一种算法。sift(scale invariant feature transform)算法即尺度不变特征变换算法，是david g.lowe在1999年提出的一种基于尺度空间的、对图像缩放、旋转甚至仿射变换保持不变性的图像局部特征描述算子，sift将一幅图像映射(变换)为一个局部特征向量集，特征向量具有平移、缩放、旋转不变性，同时对光照变化、仿射及投影变换也有一定的不变性。sift特征向量的生成由以下四个步骤组成：1、在尺度空间中检测极值点；2、去除低对比度的极值点和不稳定的边缘极值点，得到特征点；3、计算特征点的方向参数；4、生成sift特征点向量。
4.传统的sift算法对部分图像进行匹配时，基于手工设计的特征描述子效率较低，匹配点数较少等问题，导致匹配的准确率不高。

技术实现要素：

5.本发明提供了一种基于sift融合resnet50的图像匹配方法，以解决传统的sift对部分图像进行匹配时，设计特征描述子效率较低，匹配点数较少等问题。
6.为了解决上述技术问题，本发明提供的技术方案为：
7.本发明涉及一种基于sift融合resnet50的图像匹配方法，其包括以下步骤：
8.s1.输入显示区域的两幅图像作为参考图像和待匹配图像；
9.s2.采用sift算法对参考图像与待匹配图像构建高斯金差分字塔，基于高斯金差分字塔确定尺度空间；
10.s3.在构建的尺度空间中定位极值点，将极值点作为关键点；
11.s4.计算各关键点的主方向和梯度值，根据主方向和梯度值确定sift特征点；
12.s5.采用深度残差网络resnet50对sift特征点进行特征描述，获取特征描述子；
13.s6.计算参考图像与待匹配图像的特征描述子的欧氏距离作为特征描述子的相似度，基于相似度判定参考图像与待匹配图像中的区域是否属于同一区域。
14.优选地，所述的步骤s1中输入两幅图像后，对两幅图像进行去噪处理。
15.优选地，所述的步骤s2中建立图像多尺度空间的具体步骤为：
16.对于参考图像和待匹配图像，分别通过卷积运算获得尺度空间，计算公式为：
17.l(x,y,σ)＝g(x,y,σ)*i(x,y)
ꢀꢀ
(1)
18.公式中，l(x,y,σ)为尺度空间，x，y为空间坐标，σ为尺度因子，i(x,y)为二维图像，g(x,y,σ)为高斯核函数；
19.高斯核函数g(x,y,σ)的表达式为：
[0020][0021]
高斯差分金字塔由相邻的高斯金字塔相减可得，高斯差分金字塔的表达式为：
[0022]
d(x,y,σ)＝[g(x,y,kσ)-g(x,y,σ)]*i(x,y)
ꢀꢀꢀ
(3)
[0023]
公式中，d(x,y,σ)为高斯差分金字塔，g(x,y,kσ)和g(x,y,σ)表示两个相邻的高斯金字塔，k为相邻两个尺度因子的比值；
[0024]
通过改变尺度因子σ的数值构建多尺度的图像表现形式，建立图像多尺度空间。
[0025]
优选地，所述的步骤s3在图像多尺度空间中定位极值点，将极值点作为关键点的具体步骤为：
[0026]
s3.1.将高斯金字塔内的每一个像素点与平面相邻的8个点、上下层2*9个像素点进行对比，取这些点中的极大值或极小值的点作为局部的极值点；
[0027]
s3.2.去除对比度低和边缘不稳定的极值点，得到关键点。
[0028]
优选地，所述的步骤s4计算各关键点的主方向和梯度值，根据主方向和梯度值确定sift特征点的具体步骤为：
[0029]
s4.1.计算各关键点的方向和梯度值，计算公式为：
[0030][0031][0032]
公式中，m(x,y)为梯度值，θ(x,y)为关键点的方向；
[0033]
s4.2.统计关键点邻域的像素，建立统计直方图，以0～360度为界，将直方图分为8个方向，每组方向相差45度，直方图横纵坐标分别表示梯度方向与同梯度方向关键点邻域像素的数量，令直方图的峰值为主方向，将同时具备位置、尺度、方向的点定义为sift特征点。
[0034]
优选地，所述的步骤s5中采用深度残差网络resnet50对sift特征点进行特征描述，获取特征描述子的具体方式为：取参考图像和待匹配图像中的sift特征点为终点，从四周截取灰度图像块，再通过降采样输入到resnet50网络中进行学习和特征描述，获取特征描述子。
[0035]
优选地，所述的步骤s6中参考图像与待匹配图像的特征描述子的欧式距离的计算公式为：
[0036][0037]
公式中，f1为原图像的特征描述子，f2为待匹配图像的特征描述子，128表示128维度特征描述子，i表示第i个特征描述子，i的范围为0～128。
[0038]
优选地，所述的步骤s6中计算参考图像的每个特征描述子和待匹配图像的每个特
征描述子的欧氏距离，按照公式(7)的匹配条件进行匹配
[0039][0040]
其中，di为参考图像的每个特征描述子与待匹配图像的每个特征描述子的欧氏距离，i表示第i个特征描述子，i的范围为0～128，e为匹配阈值，取0.6。
[0041]
采用本发明提供的技术方案，与现有技术相比，具有如下有益效果：
[0042]
本发明涉及的基于sift融合resnet50的图像匹配方法采用深度残差网络resnet50对sift特征点进行特征描述并获取特征描述子，深度残差网络resnet50改善网络变深准确率拟合性能下降的问题，避免了sift计算邻域梯度存在的特征描述不稳定的缺点，解决了特征描述子效率较低的问题。
附图说明
[0043]
图1为本发明涉及的基于sift融合resnet50的图像匹配方法的流程图。
具体实施方式
[0044]
为进一步了解本发明的内容，结合实施例对本发明作详细描述，以下实施例用于说明本发明，但不用来限制本发明的范围。
[0045]
参照附图1所示，本发明涉及一种基于sift融合resnet50的图像匹配方法，其包括以下步骤：
[0046]
s1.输入显示区域的两幅图像作为参考图像和待匹配图像，两幅图像的尺寸均为640*480，并对两幅图像进行去噪处理；
[0047]
s2.采用sift算法对参考图像与待匹配图像构建高斯金差分字塔，基于高斯金差分字塔确定尺度空间，建立图像多尺度空间的具体步骤为：
[0048]
对于参考图像和待匹配图像，分别通过卷积运算获得尺度空间，计算公式为：
[0049]
l(x,y,σ)＝g(x,y,σ)*i(x,y)
ꢀꢀ
(1)
[0050]
公式中，l(x,y,σ)为尺度空间，x，y为空间坐标，σ为高斯函数的尺度因子，i(x,y)为二维图像，g(x,y,σ)为高斯核函数；
[0051]
高斯核函数g(x,y,σ)的表达式为：
[0052][0053]
高斯差分金字塔由相邻的高斯金字塔相减可得，高斯差分金字塔的表达式为：
[0054]
d(x,y,σ)＝[g(x,y,kσ)-g(x,y,σ)]*i(x,y)
ꢀꢀꢀ
(3)
[0055]
公式中，d(x,y,σ)为高斯差分金字塔，g(x,y,kσ)和g(x,y,σ)表示两个相邻的高斯核，k为相邻两个尺度因子的比值；
[0056]
通过改变尺度因子σ的数值构建多尺度的图像表现形式，建立图像多尺度空间；
[0057]
s3.在构建的尺度空间中定位极值点，将极值点作为关键点，具体步骤为：
[0058]
s3.1.将高斯金字塔内的每一个像素点与平面相邻的8个点、上下层2*9个像素点进行对比，取这些点中的极大值或极小值的点作为局部的极值点；
[0059]
s3.2.去除对比度低和边缘不稳定的极值点，得到关键点。
[0060]
s4.计算各关键点的主方向和梯度值，根据主方向和梯度值确定sift特征点，具体步骤为：
[0061]
s4.1.计算各关键点的方向和梯度值，计算公式为：
[0062][0063][0064]
公式中，m(x,y)为梯度值，θ(x,y)为关键点的方向；
[0065]
s4.2.统计关键点邻域的像素，建立统计直方图，以0～360度为界，将直方图分为8个方向，每组方向相差45度，直方图横纵坐标分别表示梯度方向与同梯度方向关键点邻域像素的数量，令直方图的峰值为主方向，将同时具备位置、尺度、方向的点定义为sift特征点；
[0066]
s5.采用深度残差网络resnet50对sift特征点进行特征描述，获取特征描述子，具体方式为：取参考图像和待匹配图像中的sift特征点为终点，从四周截取尺寸为64*64的灰度图像块，对截取后尺寸不足64*64的图像块舍弃，再进行32*32的降采样，即通过降采样输入到resnet50网络中进行学习和特征描述，获取相关的128维特征描述子；
[0067]
s6.计算参考图像与待匹配图像的特征描述子的欧氏距离作为特征描述子的相似度，基于相似度判定参考图像与待匹配图像中的区域是否属于同一区域，
[0068]
其中，特征描述子的欧氏距离的计算公式为：
[0069][0070]
公式中，f1为原图像的特征描述子，f2为待匹配图像的特征描述子，128表示128维度特征描述子(i的范围为0～128)。
[0071]
遍历参考图像的每个特征描述子和待匹配图像的每个特征描述子的欧氏距离di(i＝1,...,n)，按照公式(7)的匹配条件进行匹配，
[0072][0073]
其中，di为参考图像的每个特征描述子与待匹配图像的每个特征描述子的欧氏距离，i表示第i个特征描述子(i的范围为0～128)，e为匹配阈值，取0.6，判断匹配效果的准则是在匹配不出现错误的情况下观察匹配点数目是否有所增加。对于待匹配图像的128维特征描述子，用公式(6)出与需要与之匹配的图像的欧氏距离，出最近欧氏距离与次近的欧氏距离，当最近距离与次近距离的比值低于匹配阈值e，匹配成功。
[0074]
以上结合实施例对本发明进行了详细说明，但所述内容仅为本发明的较佳实施例，不能被认为用于限定本发明的实施范围。凡依本发明申请范围所作的均等变化与改进等，均应仍属于本发明的专利涵盖范围之内。

技术特征：

1.一种基于sift融合resnet50的图像匹配方法，其特征在于：其包括以下步骤：s1.输入显示区域的两幅图像作为参考图像和待匹配图像；s2.采用sift算法对参考图像与待匹配图像构建高斯金差分字塔，基于高斯金差分字塔确定尺度空间；s3.在构建的尺度空间中定位极值点，将极值点作为关键点；s4.计算各关键点的主方向和梯度值，根据主方向和梯度值确定sift特征点；s5.采用深度残差网络resnet50对sift特征点进行特征描述，获取特征描述子；s6.计算参考图像与待匹配图像的特征描述子的欧式距离作为特征描述子的相似度，基于相似度判定参考图像与待匹配图像中的区域是否属于同一区域。2.根据权利要求1所述的基于sift融合resnet50的图像匹配方法，其特征在于：所述的步骤s1中输入两幅图像后，对两幅图像进行去噪处理。3.根据权利要求1所述的基于sift融合resnet50的图像匹配方法，其特征在于：所述的步骤s2中建立图像多尺度空间的具体步骤为：对于参考图像和待匹配图像，分别通过卷积运算获得尺度空间，计算公式为：l(x,y,σ)＝g(x,y,σ)*i(x,y)
ꢀꢀꢀ
(1)公式中，l(x,y,σ)为尺度空间，x，y为空间坐标，σ为高斯函数的尺度因子，i(x,y)为二维图像，g(x,y,σ)为高斯核函数；高斯核函数g(x,y,σ)的表达式为：高斯差分金字塔由相邻的高斯金字塔相减可得，高斯差分金字塔的表达式为：d(x,y,σ)＝[g(x,y,kσ)-g(x,y,σ)]*i(x,y)
ꢀꢀꢀ
(3)公式中，d(x,y,σ)为高斯差分金字塔，g(x,y,kσ)和g(x,y,σ)表示两个相邻的高斯金字塔，k为相邻两个尺度因子的比值；通过改变尺度因子σ的数值构建多尺度的图像表现形式，建立图像多尺度空间。4.根据权利要求3所述的基于sift融合resnet50的图像匹配方法，其特征在于：所述的步骤s3在图像多尺度空间中定位极值点，将极值点作为关键点的具体步骤为：s3.1.将高斯金字塔内的每一个像素点与平面相邻的8个点、上下层2*9个像素点进行对比，取这些点中的极大值或极小值的点作为局部的极值点；s3.2.去除对比度低和边缘不稳定的极值点，得到关键点。5.根据权利要求1所述的基于sift融合resnet50的图像匹配方法，其特征在于：所述的步骤s4计算各关键点的主方向和梯度值，根据主方向和梯度值确定sift特征点的具体步骤为：s4.1.计算各关键点的方向和梯度值，计算公式为：s4.1.计算各关键点的方向和梯度值，计算公式为：公式中，m(x,y)为梯度值，θ(x,y)为关键点的方向；s4.2.统计关键点邻域的像素，建立统计直方图，以0～360度为界，将直方图分为8个方
向，每组方向相差45度，直方图横纵坐标分别表示梯度方向与同梯度方向关键点邻域像素的数量，令直方图的峰值为主方向，将同时具备位置、尺度、方向的点定义为sift特征点。6.根据权利要求1所述的基于sift融合resnet50的图像匹配方法，其特征在于：所述的步骤s5中采用深度残差网络resnet50对sift特征点进行特征描述，获取特征描述子的具体方式为：取参考图像和待匹配图像中的sift特征点为终点，从四周截取灰度图像块，再通过降采样输入到resnet50网络中进行学习和特征描述，获取特征描述子。7.根据权利要求1所述的基于sift融合resnet50的图像匹配方法，其特征在于：所述的步骤s6中参考图像与待匹配图像的特征描述子的欧式距离的计算公式为：公式中，f1为原图像的特征描述子，f2为待匹配图像的特征描述子，128表示128维度特征描述子，i表示第i个特征描述子，i的范围为0～128。8.根据权利要求7所述的基于sift融合resnet50的图像匹配方法，其特征在于：所述的步骤s6中计算参考图像的每个特征描述子和待匹配图像的每个特征描述子的欧拉距离，按照公式(7)的匹配条件进行匹配其中，d
i
为参考图像的每个特征描述子与待匹配图像的每个特征描述子的欧式距离，i表示第i个特征描述子，i的范围为0～128，e为匹配阈值，取0.6。

技术总结

本发明涉及一种基于SIFT融合ResNet50的图像匹配方法，属于生数字图像处理领域，该方法采用SIFT算法对参考图像与待匹配图像构建高斯金差分字塔并确定尺度空间；在构建的尺度空间中定位极值点作为关键点；计算各关键点的主方向和梯度值确定SIFT特征点；采用深度残差网络ResNet50对SIFT特征点进行特征描述，获取特征描述子；计算参考图像与待匹配图像的特征描述子的欧氏距离作为特征描述子的相似度并判定参考图像与待匹配图像中的区域是否匹配。本发明采用深度残差网络ResNet50改善网络变深准确率拟合性能下降的问题，避免了SIFT计算邻域梯度存在的特征描述不稳定的缺点，解决了特征描述子效率较低。特征描述子效率较低。特征描述子效率较低。