图像特征点匹配方法、装置以及存储介质与流程

1.本公开涉及计算机视觉技术领域，尤其涉及一种图像特征点匹配方法、装置以及存储介质。

背景技术：

2.局部特征点匹配是计算机视觉中经典的问题之一，它在很多方面有很多的重要的应用，比如图像拼接，三维重建，图像检索，同步定位与建图slam等等技术中。目前的特征点匹配的方法主要包括以手工设计的多阶段匹配方法和以深度学习为特征的单阶段匹配方法，其中，多阶段匹配方法需要设定阈值筛选掉误匹配点，阈值较高会将正确的匹配点筛除，阈值过低会增加错误匹配点，因此匹配结果依赖阈值的设定；而深度学习特征匹配内存和速度消耗比较大，并且严重依赖场景数据，对于没有训练学习过的场景，泛化能力表现不好。因此，相关技术中的特征点匹配效果有待提升。

技术实现要素：

3.本技术提出了一种图像特征点匹配方法、装置以及存储介质，旨在至少在一定程度上解决相关技术中的技术问题之一。
4.本技术第一方面实施例提出了一种图像特征点匹配方法，包括：确定两个图像中特征点的多个候选匹配点对；将多个候选匹配点对映射为网络图；基于图像视差信息，建立表征网络图中多个候选匹配点标记为正确匹配点对或错误匹配点对所需能量的第一能量函数；利用最大流/最小割算法求解网络图的最小割作为第一能量函数的最优值，并根据最小割确定正确匹配点对和错误匹配点对。
5.本技术第二方面实施例提出了一种图像特征点匹配装置，包括：确定模块，用于确定两个图像中特征点的多个候选匹配点对；构造模块，用于将多个候选匹配点对映射为网络图；第一建立模块，用于基于图像视差信息，建立表征网络图中多个候选匹配点标记为正确匹配点对或错误匹配点对所需能量的第一能量函数；以及求解模块，用于利用最大流/最小割算法求解网络图的最小割作为第一能量函数的最优值，并根据最小割确定正确匹配点对和错误匹配点对。
6.本技术第三方面实施例提出了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本技术实施例的图像特征点匹配方法。
7.本技术第四方面实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本技术实施例公开的图像特征点匹配方法。
8.本实施例中，通过确定两个图像中特征点的多个候选匹配点对，并将多个候选匹配点对映射为网络图，并基于图像视差信息，建立表征网络图中多个候选匹配点标记为正确匹配点对或错误匹配点对所需能量的第一能量函数，以及利用最大流/最小割算法求解
网络图的最小割作为第一能量函数的最优值，并根据最小割确定正确匹配点对和错误匹配点对，能够利用图割原理确定图像中正确的匹配点对，该过程不需要依赖阈值的设定，因此提升特征点匹配的的准确性，此外本方案不需要进行模型训练，具有较强的场景泛化能力。从而，提升特征点匹配的效果。
9.本公开附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。
附图说明
10.本公开上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
11.图1是本公开一实施例提出的图像特征点匹配方法的流程示意图；
12.图2是本公开实施例提出的网络图的最小割的结构示意图；
13.图3是本公开另一实施例提出的图像特征点匹配装置的示意图；
14.图4示出了适于用来实现本技术实施方式的示例性计算机设备的框图。
具体实施方式
15.下面详细描述本公开的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本公开，而不能理解为对本公开的限制。相反，本公开的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
16.其中，需要说明的是，本实施例的图像特征点匹配方法的执行主体可以为图像特征点匹配装置，该装置可以由软件和/或硬件的方式实现，该装置可以配置在电子设备中，电子设备可以包括但不限于终端、服务器端等。
17.图1是根据本公开一实施例提供的图像特征点匹配方法的流程示意图。参考图1所示，该方法包括：
18.s101：确定两个图像中特征点的多个候选匹配点对。
19.本公开实施例中，两个图像中初步匹配成功的两个特征点构成的匹配对可以被称为候选匹配点对，而多个匹配的特征点可以对应多个候选匹配点对。其中，特征点例如可以是fast特征点、orb特征点、sift特征点以及其它任意可能的特征点，对此不作限制。
20.一些实施例，在确定候选匹配点对的操作中，可以计算两个图像中两个特征点的特征描述子之间的余弦距离，例如sift特征使用128维特征计算余弦距离，superpoint特征使用的256维高维向量计算余弦距离，而余弦距离越大表明两个特征点越高度相似，则可以作为一个候选匹配点对。为了防止“多对一”或者“一对多”现象的发生，即：保证匹配的唯一性，本实施例可以使用最近邻匹配点相似度(c1)与次近邻匹配点相似度(c2)之间的比率作为每个特征点最终相似度ci，ci＝1-(c1/c2)，ci越大，表示最邻近相似点越可能是唯一的匹配点。此外，还可以同时进行两个图像的双向匹配检查，尽可能剔除已经匹配的重复点。从而，得到的匹配成功的特征点可以被称为候选匹配点对，多个候选匹配点对中可以包括正确匹配点对和错误匹配点对。其中，本实施例可以将正确匹配点对称为内点。
21.s102：将多个候选匹配点对映射为网络图。
22.进一步地，本公开实施例可以基于图割原理(graph cuts)，将多个候选匹配点对映射成无向图的形式g＝《v，ε》，即：网络图，v表示无向图的节点(即，每个候选匹配点对)，并且无向图还包括两个终端顶点：源点“s”和汇点“t”；ε表示无向图的边，其连接相邻候选匹配点对，并且每个节点与源点s和汇点t之间分别有一条边，不同的边可以有不同的权值，也可以称为能量。
23.s103：基于图像视差信息，建立表征网络图中多个候选匹配点标记为正确匹配点对或错误匹配点对所需能量的第一能量函数。
24.本领域技术人员可以理解的是，视差连续性表达的是空间目标表面离相机的距离的连续性，如果空间目标连续的表面在影像上成像，则成像范围内视差也是连续的；而如果目标有前景和背景在影像上成像，则前景和背景的交界处，在局部窗口内会是一部分属于前景一部分属于背景，前景和背景离相机的距离就可能相差很大，视差也会相差很大，即不连续视差。因此，从全局的层面来看，正确的匹配点对领域周围会有相同的一致性视差，而错误匹配点对通常在场景中具有不同的视差。
25.鉴于此，本实施例可以基于图像视差信息(视差连续性)，将确定多个候选匹配点中的正确匹配点对和错误匹配点对的问题转化标号问题(标记为正确匹配点或错误匹配点)，并建立关于此标号的能量函数，该能量函数可以被称为第一能量函数。
26.一些实施例，第一能量函数可以表示为：
27.e(x)＝∑
i∈v
e1(xi)+λ*∑
(i，j∈ε)
e2(xi，xj)
ꢀꢀꢀꢀꢀꢀ
(1)
28.其中，v表示网络图中多个候选匹配点对(即，节点)，ε表示网络图中相邻两个候选匹配点对之间的边(相邻节点之间的边)。
29.e1(xi)为第二能量函数(也可以称为似然能量)，其用于表征候选匹配点对i标记为xi时所花费的能量(或者称为代价)，xi属于正确匹配点标签或者错误匹配点标签，其中，正确匹配点标签例如可以用“1”表示，错误匹配点标签可以用“0”表示，也即是说，e1(xi)表示x
i＝0
或1时花费的能量。
30.e2(xi，xj)为第三能量函数(也可以称为先验能量)，表征相邻两个候选匹配点对i和j标记为xi和xj时所花费的能量，xi属于正确匹配点标签1或者错误匹配点标签0，xj属于正确匹配点标签1或者错误匹配点标签0；λ表示权重系数，用于调节每个候选匹配点对自身能量和相邻接能量的比重。
31.基于上述的基于图像视差信息，可以推论出在一个连续的视差表面上如果存在一对正确的匹配点对，那么在它的周围邻域内往往也存在相同视差的若干正确匹配点对。
32.鉴于此，本实施例在建立第二能量函数过程中，可以定义每个候选匹配点对i周围邻域内匹配点对的数量，即：匹配点对数量，其可以用ni表示。一些实施例，在计算每个候选匹配点对i周围邻域内匹配点对数量ni的过程中，可以确定候选匹配点对中的一个匹配点，进一步确定该匹配点所在图像中周围邻域内匹配点的数量作为匹配点对数量ni，其中，周围邻域的范围可以根据实际应用场景灵活设定，对此不作限制。
33.进一步地，根据匹配点对数量ni，建立第二能量函数e1(xi)。
34.具体地，本实施例可以预先配置设定阈值n，将匹配点对数量ni与设定阈值n进行比较，根据比较结果建立不同的第二能量函数e1(xi)。
35.一些实施例，在匹配点对数量ni大于等于设定阈值n的情况下，则可以确定该候选匹配点对i大概率是正确匹配点对，在这种情况下，第二能量函数表示为：
36.e1(xi＝1)＝0 e1(xi＝0)＝∞
ꢀꢀꢀꢀ
(2)
37.其中，xi＝1表示候选匹配点对i标记为正确匹配点标签1，xi＝0表示候选匹配点对i标记为错误匹配点标签0。也即是说，在候选匹配点对周围领域匹配点对数量达到设定阈值的情况下，则利用第二能量函数(2)赋予候选匹配点对i被标记为xi(1或0)时所花费的似然能量值。
38.另一些实施例，在匹配点对数量ni为零的情况下，即：候选匹配点对i周围领域没有匹配点对，则表示该候选匹配点对i大概率为错误匹配点对，在这种情况下，第二能量函数表示为：
39.e1(xi＝1)＝∞ e1(xi＝0)＝0
ꢀꢀꢀꢀ
(3)
40.也即是说，在候选匹配点对周围邻域内没有匹配点的情况下，则利用第二能量函数(3)赋予候选匹配点对i被标记为xi(1或0)时所花费的似然能量值。
41.另一些实施例，在匹配点对数量ni小于设定阈值n，且不为零的情况下，本实施例确定候选匹配点对i的相似度，即：上述的相似度ci。
42.进一步地，根据相似度ci、设定阈值n以及匹配点对数量ni，建立第二能量函数，第二能量函数表示为：
[0043][0044]
也即是说，当候选匹配点对周围邻域的匹配点对数量ni的时候，第二能量函数(似然能量)计算公式如(4)，它表示的是候选匹配点对i获得不同的标记xi(1或0)时候的能量分布值，其中，概率越大，能量也越大。
[0045]
第三能量函数e2(xi，xj)(先验能量)，表示相邻两个候选匹配点对i和j标记为xi和xj时所花费的能量，包括在一个连续的邻域视差表面获得相同的标记(或称为标签)的能量惩罚，或者在不连续的邻域视差表面上获得不同的标记的能量惩罚。当相邻匹配点对i和j获得相同的标记的时候，能量惩罚值变大，获得不同的标记的时候，能量的惩罚值变小。本实施例基于图像视差信息，可以确定在连续视差局部邻域中，匹配点对会保持一定的相对的位置关系。
[0046]
鉴于此，本实施例在建立第三能量函数过程中，可以分别确定相邻两个候选匹配点对连线与水平线的夹角。
[0047]
举例而言，相邻两个候选匹配点对为i和j，候选匹配点对i的连线与水平线的夹角可以用θ
a，b
表示，候选匹配点对j的连线与水平线的夹角可以用θ
c，d
表示。
[0048]
进一步地，根据夹角的关系建立第三能量函数，其中，第三能量函数表示为：
[0049][0050]
其中，xi，xj表示相邻匹配点对i和j的标记，θ
a，b
和θ
c，d
分别表示相邻匹配点对i和j与水平线的夹角，相邻候选匹配点对i和j如果都是正确的匹配对，则夹角越小，指数函数越大，也就是整个能量惩罚越大。
[0051]
进一步地，本实施例根据第二能量函数e1(xi)和第三能量函数e2(xi，xj)，可以建立
第一能量函数e(x)。因此，本实施例利用视差连续性的约束性质建立能量函数，因此可以根据视差判断匹配点对为正确匹配点对或错误匹配点对。
[0052]
s104：利用最大流/最小割算法求解网络图的最小割作为第一能量函数的最优值，并根据最小割确定正确匹配点对和错误匹配点对。
[0053]
图割问题可以视为候选匹配点对标记问题，正确匹配点对可以标记为“1”，错误匹配点对可以标记为“0”，该过程可以通过最小化第一能量函数实现。本实施例可以利用最大流/最小割算法求解网络图的最小割，该最小割是第一能量函数的全局最优值。图2是本公开实施例提出的网络图的最小割的结构示意图，如图2所示，根据最小割可以将网络图分为两部分(两个子图)，两部分分别表示标记为1的正确匹配点对，和标记为0的错误匹配点对。
[0054]
可以理解的是，本实施例可以对接任意的传统学习或者深度学习匹配框架，利用本实施例提供的图像特征点匹配方法对其他方式初步确定的匹配点对再次进行筛选，确定其中的正确匹配点对和错误匹配点对。
[0055]
本实施例中，通过确定两个图像中特征点的多个候选匹配点对，并将多个候选匹配点对映射为网络图，并基于图像视差信息，建立表征网络图中多个候选匹配点标记为正确匹配点对或错误匹配点对所需能量的第一能量函数，以及利用最大流/最小割算法求解网络图的最小割作为第一能量函数的最优值，并根据最小割确定正确匹配点对和错误匹配点对，能够利用图割原理确定图像中正确的匹配点对，该过程不需要依赖阈值的设定，因此提升特征点匹配的的准确性，此外本方案不需要进行模型训练，具有较强的场景泛化能力。从而，提升特征点匹配的效果。
[0056]
在一个具体应用场景中，将立体图像匹配对表达成无向图的形式g＝《v，ε》，其中，v代表无向图的节点，ε代表无向图的边，经过特征比对算法后可以得到一系列的潜在候选匹配对(xi，xj)，包含正确的和错误的匹配点，正确匹配点对假设我们称为内点，错误匹配点对叫做外点，每一个内点或者外点都可以看成一个节点，那么内点与顶点的(s-node)的标签设为1，外点(t-node)的标签设为0，整个过程可以通过最小化图割来最小化能量函数得到。则在内点和外点的边界处的cut就是我们想要的(相当于把图像匹配对中内点和外点连接的地方割开)。同时，这时候能量也应该是最小的。假设整个图像匹配点对的标签(标记)x＝{l1，l2，.....l
p
}，其中xi为0(外点)或者1(内点)，则图像的能量可以表示为：
[0057]
e(x)＝∑
i∈v
e1(xi)+λ*∑
(i，j∈ε)
e2(xi，xj)
[0058]
其中，e1(xi)是似然能量，它表明节点i的标签为xi时所花费的能量，e2(xi，xj)为先验能量，它表示的相邻节点i和j的标签为xi和xj时所花费的能量，则如何在我们的算法中分别给似然能量e1(xi)和先验能量e2(xi，xj))建模是算法的关键。通常来说在立体图像特征匹配中，特征点匹配对经常有如下几个特性：(1)相似性约束，特征点的周围特征描述是高度相似的。(2)唯一性约束，即所求点的匹配是唯一的(3)连续性约束，即假设他们的视差是连续性的。特征部分通常包括特征提取和特征描述，相似度使用两个点之间特征描述子的余弦距离来计算，距离越大表明两个点越高度相似，反之越不像。比如sift特征使用的是128维特征，superpoint使用的256维高维向量。为了防止“多对一“或者”一对多“现象的发生，也就是要满足唯一性的要求，通常使用最近邻(c1)与次近邻(c2)的相似度之间的比率作为最终每个匹配点相似度ci＝1-(c1/c2)，ci越大，越有可能是正确的匹配点。同时进行两个图像的双向匹配检查，尽可能剔除已经匹配的重复点。在初步得到了潜在的匹配点后，我们利
用视差的连续性进行无向图建模。所谓的视差连续性表达的是空间目标表面离相机的距离的连续性，如果空间目标连续的表面在影像上成像，则成像范围内视差也是连续的；而如果目标有前景和背景在影像上成像，则前景和背景的交界处，在局部窗口内会是一部分属于前景一部分属于背景，前景和背景离相机的距离就可能相差很大了，视差也会相差很大，即不连续视差。根据这个原则，可以推论出在一个连续的视差表面上如果存在一对正确的匹配点xi，那么在它的周围邻域内往往也存在相同视差的若干正确匹配对y
j＝0，1，2...n.
。如果存在视差不连续的错误匹配对，那么它周围的邻域点也会很分散。这样我们定义匹配点xi的周围邻域的匹配点的最大的个数为n，如何达到这个数值的话，我们就可以认为xi是一个正确匹配点，同时赋予似然能量值计算如公式(2)，反之如果周围邻域内没有匹配点的话，同样的道理似然能量计算公式如下(3)
[0059]
e1(xi＝1)＝0 e1(xi＝0)＝∞
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0060]
e1(xi＝1)＝∞ e1(xi＝0)＝0
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0061][0062]
当周围邻域的匹配点个数是ni的时候，我们的似然能量计算公式如(4)，它表示的是xi获得不同的标签(1，0)时候的能量分布值。概率越大，能量也就越大。同理，先验能量e2(xi，xj)所表示的是(xi，xj)在一个连续的邻域视差表面获得相同的标签或者在不连续的邻域视差表面上获得不同的标签的能量惩罚值。当获得相同的标签的时候，能量惩罚值变大，获得不同的标签的时候，能量的惩罚值变小。在连续视差局部邻域中，匹配点对会保持一定的相对的位置关系，因此令θ
a，b
和θ
c，d
分别是匹配点对xi和xj连线与水平线的夹角，两个如果都是正确的匹配点，夹角越小，指数函数越大，也就是整个能量惩罚越大。
[0063][0064]
利用了视差的连续性的约束性质，有了上面的能量公式定义后，我们可以采用经典的最大流和最小切割的算法进行求解。整个过程我们不需要任何的阈值，而且可以对接任何潜在的传统学习或者深度学习匹配框架。
[0065]
图3是根据本公开另一实施例提供的图像特征点匹配装置的示意图，如图3所示，该图像特征点匹配装置30包括：
[0066]
确定模块301，用于确定两个图像中特征点的多个候选匹配点对；
[0067]
构造模块302，用于将多个候选匹配点对映射为网络图；
[0068]
第一建立模块303，用于基于图像视差信息，建立表征网络图中多个候选匹配点标记为正确匹配点对或错误匹配点对所需能量的第一能量函数；以及
[0069]
求解模块304，用于利用最大流/最小割算法求解网络图的最小割作为第一能量函数的最优值，并根据最小割确定正确匹配点对和错误匹配点对。
[0070]
一些实施例，第一能量函数表示为：
[0071]
e(x)＝∑
i∈v
e1(xi)+λ*∑
(i，j∈ε)
e2(xi，xj)
[0072]
其中，e(x)表示第一能量函数，v表示网络图中多个候选匹配点对，ε表示网络图中相邻两个候选匹配点对之间的边；
[0073]
e1(xi)为第二能量函数，表征候选匹配点对i标记为xi时的能量，xi属于正确匹配
点标签或者错误匹配点标签；
[0074]
e2(xi，xj)为第三能量函数，表征相邻两个候选匹配点对i和j标记为xi和xj时的能量，xi和xj分别属于正确匹配点标签或者错误匹配点标签，λ表示权重系数。
[0075]
一些实施例，装置30还包括：
[0076]
定义模块，用于定义每个候选匹配点对周围邻域内的匹配点对数量；
[0077]
第二建立模块，用于根据匹配点对数量，建立第二能量函数。
[0078]
一些实施例，第二建立模块，具体用于：在匹配点对数量大于等于设定阈值的情况下，第二能量函数表示为：
[0079]
e1(xi＝1)＝0 e1(xi＝0)＝∞。
[0080]
一些实施例，第二建立模块，具体用于：在匹配点对数量为零的情况下，第二能量函数表示为：
[0081]
e1(xi＝1)＝∞ e1(xi＝0)＝0。
[0082]
一些实施例，第二建立模块，具体用于：
[0083]
在匹配点对数量小于设定阈值且不为零的情况下，确定候选匹配点对的相似度；以及
[0084]
根据相似度、设定阈值以及匹配点对数量，建立第二能量函数，第二能量函数表示为：
[0085][0086]
其中，ci表示相似度，ni表示匹配点对数量，n表示设定阈值。
[0087]
一些实施例，装置还包括第三建立模块，具体用于：
[0088]
分别确定相邻两个候选匹配点对连线与水平线的夹角；以及
[0089]
根据夹角的关系建立第三能量函数，其中，第三能量函数表示为：
[0090][0091]
其中，θ
a，b
和θ
c，d
分别表示相邻匹配点对i和j的夹角。
[0092]
本实施例，通过确定两个图像中特征点的多个候选匹配点对，并将多个候选匹配点对映射为网络图，并基于图像视差信息，建立表征网络图中多个候选匹配点标记为正确匹配点对或错误匹配点对所需能量的第一能量函数，以及利用最大流/最小割算法求解网络图的最小割作为第一能量函数的最优值，并根据最小割确定正确匹配点对和错误匹配点对，能够利用图割原理确定图像中正确的匹配点对，该过程不需要依赖阈值的设定，因此提升特征点匹配的的准确性，此外本方案不需要进行模型训练，具有较强的场景泛化能力。从而，提升特征点匹配的效果。
[0093]
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
[0094]
为了实现上述实施例，本技术还提出一种计算机程序产品，当计算机程序产品中的指令处理器执行时，执行如本技术前述实施例提出的图像特征点匹配方法。
[0095]
图4示出了适于用来实现本技术实施方式的示例性计算机设备的框图。图4显示的计算机设备12仅仅是一个示例，不应对本技术实施例的功能和使用范围带来任何限制。
[0096]
如图4所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
[0097]
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(industry standard architecture；以下简称：isa)总线，微通道体系结构(micro channel architecture；以下简称：mac)总线，增强型isa总线、视频电子标准协会(video electronics standards association；以下简称：vesa)局域总线以及外围组件互连(peripheral component interconnection；以下简称：pci)总线。
[0098]
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
[0099]
存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(random access memory；以下简称：ram)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图4未显示，通常称为“硬盘驱动器”)。
[0100]
尽管图4中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如：光盘只读存储器(compact disc read only memory；以下简称：cd-rom)、数字多功能只读光盘(digital video disc read only memory；以下简称：dvd-rom)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本技术各实施例的功能。
[0101]
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本技术所描述的实施例中的功能和/或方法。
[0102]
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(local area network；以下简称：lan)，广域网(wide area network；以下简称：wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
[0103]
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现前述实施例中提及的图像特征点匹配方法。
[0104]
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本技术的其它实施方案。本技术旨在涵盖本技术的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本技术的一般性原理并包括本技术未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本技术的真正范围和精神由下面的权利要求指出。
[0105]
应当理解的是，本技术并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本技术的范围仅由所附的权利要求来限制。
[0106]
需要说明的是，在本技术的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本技术的描述中，除非另有说明，“多个”的含义是两个或两个以上。
[0107]
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本技术的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本技术的实施例所属技术领域的技术人员所理解。
[0108]
应当理解，本技术的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
[0109]
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
[0110]
此外，在本技术各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
[0111]
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
[0112]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本技术的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
[0113]
尽管上面已经示出和描述了本技术的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本技术的限制，本领域的普通技术人员在本技术的范围内可以对上述实施例进行变化、修改、替换和变型。

技术特征：

1.一种图像特征点匹配方法，其特征在于，所述方法包括：确定两个图像中特征点的多个候选匹配点对；将所述多个候选匹配点对映射为网络图；基于图像视差信息，建立表征所述网络图中多个候选匹配点标记为正确匹配点对或错误匹配点对所需能量的第一能量函数；以及利用最大流/最小割算法求解所述网络图的最小割作为所述第一能量函数的最优值，并根据所述最小割确定所述正确匹配点对和所述错误匹配点对。2.如权利要求1所述的方法，其特征在于，所述第一能量函数表示为：e(x)＝∑
i∈v
e1(x
i
)+λ*∑
(i，j∈ε)
e2(x
i
，x
j
)其中，v表示所述网络图中多个候选匹配点对，ε表示所述网络图中相邻两个候选匹配点对之间的边；e1(x
i
)为第二能量函数，表征候选匹配点对i标记为x
i
时的能量，x
i
属于正确匹配点标签或者错误匹配点标签；e2(x
i
，x
j
)为第三能量函数，表征相邻两个候选匹配点对i和j标记为x
i
和x
j
时的能量，x
i
和x
j
分别属于正确匹配点标签或者错误匹配点标签，λ表示权重系数。3.如权利要求2所述的方法，其特征在于，所述方法还包括：基于图像视差信息，定义每个候选匹配点对周围邻域内的匹配点对数量；根据所述匹配点对数量，建立所述第二能量函数。4.如权利要求3所述的方法，其特征在于，所述根据所述匹配点对数量，建立所述第二能量函数，包括：在所述匹配点对数量大于等于设定阈值的情况下，所述第二能量函数表示为：e1(x
i
＝1)＝0
ꢀꢀ
e1(x
i
＝0)＝∞其中，x
i
＝1表示候选匹配点对i标记为正确匹配点标签1，x
i
＝0表示候选匹配点对i标记为错误匹配点标签0。5.如权利要求4所述的方法，其特征在于，所述根据所述匹配点对数量，建立所述第二能量函数，包括：在所述匹配点对数量为零的情况下，所述第二能量函数表示为：e1(x
i
＝1)＝∞
ꢀꢀ
e1(x
i
＝0)＝0。6.如权利要求4所述的方法，其特征在于，所述根据所述匹配点对数量，建立所述第二能量函数，包括：在所述匹配点对数量小于所述设定阈值且不为零的情况下，确定所述候选匹配点对的相似度；以及根据所述相似度、所述设定阈值以及所述匹配点对数量，建立所述第二能量函数，所述第二能量函数表示为：其中，c
i
表示所述相似度，n
i
表示所述匹配点对数量，n表示所述设定阈值。7.如权利要求2所述的方法，其特征在于，所述方法还包括：基于图像视差信息，分别确定所述相邻两个候选匹配点对连线与水平线的夹角；以及
根据所述夹角的关系建立所述第三能量函数，其中，所述第三能量函数表示为：e2(x
i
，x
j
)＝exp(-|θ
a，b-θ
c，d
|/2)其中，θ
a，b
和θ
c，d
分别表示相邻两个候选匹配点对i和j的所述夹角。8.一种图像特征点匹配装置，其特征在于，包括：确定模块，用于确定两个图像中特征点的多个候选匹配点对；构造模块，用于将所述多个候选匹配点对映射为网络图；第一建立模块，用于基于图像视差信息，建立表征所述网络图中多个候选匹配点标记为正确匹配点对或错误匹配点对所需能量的第一能量函数；以及求解模块，用于利用最大流/最小割算法求解所述网络图的最小割作为所述第一能量函数的最优值，并根据所述最小割确定所述正确匹配点对和所述错误匹配点对。9.如权利要求8所述的装置，其特征在于，所述第一能量函数表示为：e(x)＝∑
i∈v
e1(x
i
)+λ*∑
(ij∈ε)
e2(x
i
，x
j
)其中，e(x)表示所述第一能量函数，v表示所述网络图中多个候选匹配点对，ε表示所述网络图中相邻两个候选匹配点对之间的边；e1(x
i
)为第二能量函数，表征候选匹配点对i标记为x
i
时的能量，x
i
属于正确匹配点标签或者错误匹配点标签；e2(x
i
，x
j
)为第三能量函数，表征相邻两个候选匹配点对i和j标记为x
i
和x
j
时的能量，x
i
和x
j
分别属于正确匹配点标签或者错误匹配点标签，λ表示权重系数。10.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行根据权利要求1-7中任一项所述的方法。

技术总结

本公开提出一种图像特征点匹配方法、装置以及存储介质，该方法包括：确定两个图像中特征点的多个候选匹配点对，并将多个候选匹配点对映射为网络图，并基于图像视差信息，建立表征网络图中多个候选匹配点标记为正确匹配点对或错误匹配点对所需能量的第一能量函数，以及利用最大流/最小割算法求解网络图的最小割作为第一能量函数的最优值，并根据最小割确定正确匹配点对和错误匹配点对，能够利用图割原理确定图像中正确的匹配点对，该过程不需要依赖阈值的设定，因此提升特征点匹配的的准确性，此外本方案不需要进行模型训练，具有较强的场景泛化能力。从而，提升特征点匹配的效果。提升特征点匹配的效果。提升特征点匹配的效果。