一种基于事件和帧的异步特征跟踪方法和系统与流程

1.本技术涉及特征跟踪技术领域，尤其涉及一种基于事件和帧的异步特征跟踪(aftef asynchronous feature tracking using events and frames)方法和系统。

背景技术：

2.动态视觉传感器，作为一种新兴的生物启发的事件相机，吸引了机器人学和计算机视觉研究人员的兴趣。不同于输出信息为绝对亮度帧的传统相机，事件相机的输出是对局部像素的亮度变化做出反应的异步事件流。事件信息包括时间戳、极性和像素坐标。事件相机的优点包括低功耗、高动态范围和高时间分辨率。此外，事件相机对场景的运动很敏感，能够以低延迟(1μs)反映每个像素对应的亮度变化。另一个受生物启发的传感器，动态和主动像素视觉传感器能够提供异步的事件流和亮度帧。
3.特征检测和跟踪是基于特征的视觉里程计领域的一个关键组成部分。由于事件相机的异步事件流与亮度帧不同，基于帧的特征检测和跟踪算法不能直接应用于异步事件流。因此，需要探索新的算法来处理这种异步事件流并释放其潜力。在这种情况下，如何利用事件相机和传统相机的信息互补性是特征检测和跟踪所需的关键问题。
4.在事件相机的特征检测领域，目前的研究大多是对基于图像的流行角点检测方法的扩展和融合。已有人提出一种基于帧的扩展harris角点的方法，在由事件累积获得的二进制帧上检测，需要计算梯度和卷积。受到基于帧的fast(features from accelerated segment test)角点检测方法的启发，已有人提出一种名为efast的基于事件的角点检测方法，在活动事件表面(surface of active events sae)上进行检测，只需要进行比较操作。sae是事件流的二维表示，它存储每个像素位置上最近事件的时间戳。为提高efast的鲁棒性，已有人提出一种基于sae过滤的事件特征检测方法，名为arc*。这种算法检测角点的速度比efast和eharris快，同时增强角点检测的可重复性。fa-harris提供了一个选择和细化策略，它使用改进的efast来选择候选点，并用改进的eharris进行过滤。已有人提出一种由三层过滤阶段和低复杂度harris检测的方法。
5.在事件相机的特征跟踪领域，研究者致力于利用事件信息实现事件驱动的异步特征跟踪方法。已有人提出一种基于概率的事件流和特征之间的关联方法，将事件角点跟踪描述为一个匹配当前视图和特征模板的优化问题，只需要评估一组离散的跟踪假设。已有人提出一种基于树状结构的具有多种数据关联可能性的事件特征跟踪方法，其中每个节点是一个事件角点，其添加节点的匹配机制是基于时空约束的。基于时空约束，已有人在树状结构中加入对角点方向的约束。这种改进可以切断分支并简化树结构。已有人提出了一个基于速度不变的时间面的梯度描述符，并将其作为树结构中两个事件角点的匹配基础。已有人提出了第一个同时使用帧相机和事件相机的特征跟踪方法，其中特征块使用角点和边缘检测器在帧上初始化，然后使用事件流通过二维欧几里得变换进行对齐，实现跟踪。
6.然而，上述方法并没有充分利用事件信息的优势。具体来说，事件信息不仅包含空间和时间信息，还包含极性信息。这些方法只利用时空信息，而没有利用极性信息。此外，这
些方法没有使用传统相机的信息作为补充。
7.帧和事件相机的较好结合是使用事件和帧的异步光度特征跟踪(eklt)方法。这种方法在亮度帧上检测出特征，之后使用事件流进行跟踪。它实现异步跟踪并充分利用事件流的极性信息。

技术实现要素：

8.有鉴于此，本技术的目的在于提出一种基于事件和帧的异步特征跟踪方法和系统，本技术能够针对性的解决现有的问题。
9.基于上述目的，本技术提出了一种基于事件和帧的异步特征跟踪方法，包括：
10.步骤1、在帧上使用基于决策树的fast角点检测方法，并使用非极大值抑制得到初始化的特征点；
11.步骤2、在特征点周围的像平面提取特征块；
12.步骤3、建立事件相机生成事件的观测模型；
13.步骤4、利用观测模型，对事件流的极性信息积分，得到光度增量图像的观测值；
14.步骤5、基于局部特征块光度不变性原理，由图像梯度、光流和仿射变换得到光度增量图像的预测值；
15.步骤6、基于两个归一化的光度增量图像的差值建立损失函数，使用非线性优化方法最小化损失函数得到特征块的运动参数；
16.步骤7、基于损失函数的历史值进行评估，判断所述运动参数的有效性；
17.步骤8、使用光流和仿射变换更新特征块的位置；
18.步骤9、初始化新的特征点后，遍历所有已存在的特征块，根据欧氏距离到最近的初始特征点，并确保其距离低于阈值；
19.步骤10、以未匹配上的初始化特征点为中心提取新的特征块。
20.进一步地，所述步骤1中的fast角点检测方法是一种基于帧的角点检测方法。
21.进一步地，所述步骤3中的事件相机是一种异步输出离散信息的仿生视觉传感器，其输出信息被称为事件，包括像平面坐标、时间戳和极性。
22.进一步地，所述步骤4中的事件极性信息积分，累加其位置落入特征块内的事件的极性信息。
23.进一步地，所述步骤5中的局部特征块光度不变性原理是假定极短时间内像平面局部光度不变，图像梯度为光度值在像平面两个方向上的差值，光流是点在像平面的运动速度，仿射变换是二维平面的旋转平移矩阵。
24.进一步地，所述步骤9中的欧氏距离为两个二维点在像平面的距离。
25.基于上述目的，本技术还提出了一种基于事件和帧的异步特征跟踪系统，包括：
26.初始化模块，基于fast角点检测将帧的特征块初始化；
27.更新模块，基于事件信息积分的光流和仿射变换优化方法更新特征块位置；
28.验证模块，基于历史损失函数值的优化结果评估方法验证光流和仿射变换的有效性；
29.关联模块，基于最近邻搜索的特征块关联方法确定新的特征块初始化。
30.总的来说，本技术的优势及给用户带来的体验在于：该方法能够在保证跟踪精度
的同时提高跟踪时间。与现有方法相比，轨迹整体质量得到改善，特征时间延并且保证跟踪准确性。本发明为未来发展完全事件驱动的视觉里程计和其他计算机视觉任务提供必要的基础。
附图说明
31.在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本技术公开的一些实施方式，而不应将其视为是对本技术范围的限制。
32.图1示出根据本技术实施例的基于事件和帧的异步特征跟踪方法的流程图。
33.图2示出原始fast角点的检测方法示意图。
34.图3示出事件流信息的可视化示意图。
35.图4示出数据集的可视化示意图。
36.图5示出数据集的跟踪可视化示意图。
37.图6所示为本技术aftef方法与eklt方法的平均跟踪误差对比示意图。
38.图7所示为本技术aftef方法与eklt方法的特征时间对比示意图。
39.图8示出根据本技术实施例的基于事件和帧的异步特征跟踪系统的构成图。
40.图9示出了本技术一实施例所提供的一种电子设备的结构示意图。
41.图10示出了本技术一实施例所提供的一种存储介质的示意图。
具体实施方式
42.下面结合附图和实施例对本技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
43.需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本技术。
44.图1示出根据本技术实施例的基于事件和帧的异步特征跟踪方法的流程图。如图1所示，该基于事件和帧的异步特征跟踪方法包括：
45.步骤1、在帧上使用基于决策树的fast角点检测方法，通过图2所示圆弧上像素点的亮度值进行角点检测，并使用非极大值抑制得到初始化的特征点；
46.步骤2、在特征点周围的像平面提取特征块；
47.步骤3、建立事件相机生成事件的观测模型；
48.如图3中像平面和时间轴下的事件所示，事件是离散的信息，只包含空间信息、时间信息和极性信息。具体来说，一个事件{u，pol，t}包含像素的二维位置u＝{x，y}，代表着亮度变化正负的极性pol∈{+1，-1}，以及触发事件的时间戳t。当像素位置在t和t-δt之间的对数亮度变化高于阈值
±
c(c＞0)时，事件就会产生。q(u，t)＝log(i(u，t))是对数亮度图像，对数亮度增量图像δq(u，t)可以表示为：
49.δq(u，t)＝q(u，t)-q(u，t-δt)＝pol*c
ꢀꢀꢀꢀ
(1)
50.其中，t-δt是同一像素位置的上一个事件的时间戳。
51.步骤4、利用观测模型，对事件流的极性信息积分，得到光度增量图像的观测值；
52.当落入特征块内p的事件数量达到自适应阈值ne时，特征块中每个像素位置的事件极性在时间间隔δτ内被累加。如公式(2)所示，δq(u，t)被称为光度增量图像的观测值：
[0053][0054]
其中f(u，t)是像素位置u的时间戳t上的所有事件极性。注意，极性是-1或+1，事件的产生是基于阈值c。光度增量图像随后被归一化。自适应阈值ne被初始化为一个常量值(例如100)，后续根据图像梯度和光流v进行优化后重新计算：
[0055][0056]
步骤5、基于局部光度不变性原理，由图像梯度、光流和仿射变换得到光度增量图像的预测值；
[0057]
考虑光流未知的情况。假设特征块中的梯度和对数亮度图像在一定时间内是恒定的q(u，t)＝const，q(u，t)的导数表示为：
[0058][0059]
其中，是像素位置的亮度梯度，v是光流。方程4的泰勒近似值可以表示为：
[0060][0061]
将方程4带入方程5：
[0062][0063]
被称为光度增量图像的预测值，因为光流是未知值。事实上，梯度会根据运动参数p发生变化：
[0064]
w(u，p)＝r(p)*u+t(p)
ꢀꢀꢀꢀ
(7)
[0065]
其中，(r，t)∈se(2)是由李表示的旋转和平移量，p∈se(2)量是相应的李代数，对梯度进行仿射变换后，光度增量图像的预测值可以写成：
[0066][0067]
步骤6、基于两个归一化后的光度增量图像的差值建立损失函数，使用非线性优化方法最小化损失函数得到特征块的运动参数(光流和仿射变换)；
[0068]
其中损失函数v写成：
[0069][0070]
步骤7、基于损失函数的历史值进行评估，判断运动参数的有效性；
[0071]
每次优化结束后的运动参数为p
last
和v
last
，对应最终损失函数值为v
last
：
[0072][0073]
取特征块最近n次优化的最终损失函数值，并计算出平均值：
[0074]
[0075]
优化结果的质量是根据v
average
与阈值c
threshold
相比的值的大小来评估的。阈值是根据经验预设的常数参数。如果它超过阈值c
threshold
，优化就会失败，特征块的状态被设置为丢失。反之，特征块的位置更新。
[0076]
步骤8、使用光流和仿射变换更新特征块的位置；
[0077]
优化后的运动参数(光流v和仿射变换p)用来更新特征块位置：
[0078]u′
＝r(p)-1
*u-r(p)-1
*t(p)
ꢀꢀ
(12)
[0079]
步骤9、初始化新的特征点后，遍历所有已存在的特征块，根据欧氏距离到最近的初始特征点，并确保其距离低于阈值；
[0080]
步骤10、以未匹配上的初始化特征点为中心提取新的特征块。
[0081]
该算法在图4显示的数据集场景上进行验证，(a)为简单黑白场景，(b)和(c)为高纹理场景，(d)和(e)为自然场景。跟踪特征块得到的轨迹示意图如图5所示，簇状短线条代表特征块的轨迹。图6所示为本技术aftef方法与eklt方法的平均跟踪误差对比，图7所示为本技术aftef方法与eklt方法的特征时间对比。由图6和图7结果可得，本技术提出的aftef方法与eklt方法相比，在保证特征跟踪准确度的同时，整体特征块的特征时间提升约10％～30％。
[0082]
申请实施例提供了一种基于事件和帧的异步特征跟踪系统，该系统用于执行上述实施例所述的基于事件和帧的异步特征跟踪方法，如图8所示，该系统包括：
[0083]
初始化模块501，基于fast角点检测将帧的特征块初始化；
[0084]
更新模块502，基于事件信息积分的光流和仿射变换优化方法更新特征块位置；
[0085]
验证模块503，基于历史损失函数值的优化结果评估方法验证光流和仿射变换的有效性；
[0086]
关联模块504，基于最近邻搜索的特征块关联方法确定新的特征块初始化。
[0087]
本技术的上述实施例提供的基于事件和帧的异步特征跟踪系统与本技术实施例提供的基于事件和帧的异步特征跟踪方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
[0088]
本技术实施方式还提供一种与前述实施方式所提供的基于事件和帧的异步特征跟踪方法对应的电子设备，以执行上基于事件和帧的异步特征跟踪方法。本技术实施例不做限定。
[0089]
请参考图9，其示出了本技术的一些实施方式所提供的一种电子设备的示意图。如图9所示，所述电子设备20包括：处理器200，存储器201，总线202和通信接口203，所述处理器200、通信接口203和存储器201通过总线202连接；所述存储器201中存储有可在所述处理器200上运行的计算机程序，所述处理器200运行所述计算机程序时执行本技术前述任一实施方式所提供的基于事件和帧的异步特征跟踪方法。
[0090]
其中，存储器201可能包含高速随机存取存储器(ram：random access memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口203(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网、广域网、本地网、城域网等。
[0091]
总线202可以是isa总线、pci总线或eisa总线等。所述总线可以分为地址总线、数据总线、控制总线等。其中，存储器201用于存储程序，所述处理器200在接收到执行指令后，
执行所述程序，前述本技术实施例任一实施方式揭示的所述基于事件和帧的异步特征跟踪方法可以应用于处理器200中，或者由处理器200实现。
[0092]
处理器200可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器200中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器200可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(dsp)、专用集成电路(asic)、现成可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本技术实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器201，处理器200读取存储器201中的信息，结合其硬件完成上述方法的步骤。
[0093]
本技术实施例提供的电子设备与本技术实施例提供的基于事件和帧的异步特征跟踪方法出于相同的发明构思，具有与其采用、运行或实现的方法相同的有益效果。
[0094]
本技术实施方式还提供一种与前述实施方式所提供的基于事件和帧的异步特征跟踪方法对应的计算机可读存储介质，请参考图10，其示出的计算机可读存储介质为光盘30，其上存储有计算机程序(即程序产品)，所述计算机程序在被处理器运行时，会执行前述任意实施方式所提供的基于事件和帧的异步特征跟踪方法。
[0095]
需要说明的是，所述计算机可读存储介质的例子还可以包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。
[0096]
本技术的上述实施例提供的计算机可读存储介质与本技术实施例提供的基于事件和帧的异步特征跟踪方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
[0097]
需要说明的是：
[0098]
在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备有固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本技术也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本技术的内容，并且上面对特定语言所做的描述是为了披露本技术的最佳实施方式。
[0099]
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本技术的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
[0100]
类似地，应当理解，为了精简本技术并帮助理解各个发明方面中的一个或多个，在上面对本技术的示例性实施例的描述中，本技术的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保
护的本技术要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本技术的单独实施例。
[0101]
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
[0102]
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本技术的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
[0103]
本技术的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(dsp)来实现根据本技术实施例的虚拟机的创建系统中的一些或者全部部件的一些或者全部功能。本技术还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者系统程序(例如，计算机程序和计算机程序产品)。这样的实现本技术的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
[0104]
应该注意的是上述实施例对本技术进行说明而不是对本技术进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本技术可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干系统的单元权利要求中，这些系统中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
[0105]
以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到其各种变化或替换，这些都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。

技术特征：

1.一种基于事件和帧的异步特征跟踪方法，其特征在于，包括如下步骤：步骤1、在帧上使用基于决策树的fast角点检测方法，并使用非极大值抑制得到初始化的特征点；步骤2、在特征点周围的像平面提取特征块；步骤3、建立事件相机生成事件的观测模型；步骤4、利用观测模型，对事件流的极性信息积分，得到光度增量图像的观测值；步骤5、基于局部特征块光度不变性原理，由图像梯度、光流和仿射变换得到光度增量图像的预测值；步骤6、基于两个归一化的光度增量图像的差值建立损失函数，使用非线性优化方法最小化损失函数得到特征块的运动参数；步骤7、基于损失函数的历史值进行评估，判断所述运动参数的有效性；步骤8、使用光流和仿射变换更新特征块的位置；步骤9、初始化新的特征点后，遍历所有已存在的特征块，根据欧氏距离到最近的初始特征点，并确保其距离低于阈值；步骤10、以未匹配上的初始化特征点为中心提取新的特征块。2.根据权利要求1所述的基于事件和帧的异步特征跟踪方法，其特征在于：所述步骤1中的fast角点检测方法是一种基于帧的角点检测方法。3.根据权利要求1所述的基于事件和帧的异步特征跟踪方法，其特征在于：所述步骤3中的事件相机是一种异步输出离散信息的仿生视觉传感器，其输出信息被称为事件，包括像平面坐标、时间戳和极性。4.根据权利要求1所述的基于事件和帧的异步特征跟踪方法，其特征在于：所述步骤4中的事件极性信息积分，累加其位置落入特征块内的事件的极性信息。5.根据权利要求1所述的基于事件和帧的异步特征跟踪方法，其特征在于：所述步骤5中的局部特征块光度不变性原理是假定极短时间内像平面局部光度不变，图像梯度为光度值在像平面两个方向上的差值，光流是点在像平面的运动速度，仿射变换是二维平面的旋转平移矩阵。6.根据权利要求1所述的基于事件和帧的异步特征跟踪方法，其特征在于：所述步骤9中的欧氏距离为两个二维点在像平面的距离。7.一种基于事件和帧的异步特征跟踪系统，其特征在于，包括：初始化模块，基于fast角点检测将帧的特征块初始化；更新模块，基于事件信息积分的光流和仿射变换优化方法更新特征块位置；验证模块，基于历史损失函数值的优化结果评估方法验证光流和仿射变换的有效性；关联模块，基于最近邻搜索的特征块关联方法确定新的特征块初始化。8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序以实现如权利要求1-6任一项所述的方法。9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行实现如权利要求1-6中任一项所述的方法。

技术总结

本申请提供一种基于事件和帧的异步特征跟踪方法和系统，方法包括：基于FAST角点检测的特征块初始化方法，基于事件信息积分的光流和仿射变换优化方法更新特征块位置，基于历史损失函数值的优化结果评估方法验证光流和仿射变换的有效性，基于最近邻搜索的特征块关联方法确定新的特征块初始化。该方法在公开数据集上进行评估，评估指标为特征初始化和特征丢失之间的时间间隔，即特征时间，反映跟踪器的鲁棒性。与原始方法相比，本发明在保证跟踪精度的同时，提高约10％～30％的特征时间，为视觉里程计等计算机视觉任务奠定基础。觉里程计等计算机视觉任务奠定基础。觉里程计等计算机视觉任务奠定基础。