一种自适应时间分辨率的事件信息可视化方法

1.本发明涉及空间智能成像技术领域，特别是涉及一种自适应时间分辨率的事件信息可视化方法。

背景技术：

2.随着空间成像技术的快速发展，人们对单幅图像包含更多信息量的需求越来越迫切，在满足高信息量的同时，人们对空间成像低数据量、高时效性的需求也越来越高。
3.传统cmos或ccd传感器在对地成像时能够获得大量信息，但其代价是会产生超高的数据量，给数据传输和处理带来巨大负担，严重影响时效性。针对这个矛盾，许多研究者通过数据压缩等方式试图减小数据传输时的数据量，但这又会增加后期数据处理的时间，仍不能有效地化解这个矛盾。
4.近些年，有人提出将动态视觉传感器(dynamicvisionsensor，dvs)应用在空间成像中来化解上述矛盾。动态视觉传感器的单个像素能实时检测场景中光照强度的变化，并在变化程度超过某一阈值时输出仅包含时间戳、像素位置、事件极性的事件信息。动态视觉传感器独特的工作原理和数据输出形式使其能从根源上减少成像数据量，而其微秒级时间分辨率的特征，也保证了对大信息量的需求。然而时间分辨率越高，事件的总量就越多，且不同的场景对时间分辨率的需求也不同。同时，由于事件信息的独立性及其信息结构的特殊性，使事件信息的可视化程度低而无法便捷地完成信息处理，所以亟需一种能够针对不同拍摄场景合理地调整动态视觉传感器时间分辨率大小的事件信息可视化方法。

技术实现要素：

5.本发明为解决事件信息的可视化程度低以及不同场景对时间分辨率有不同的需求的问题，提供了一种自适应时间分辨率的事件信息可视化方法。
6.为实现上述目的，本发明采用以下的技术方案：
7.一种自适应时间分辨率的事件信息可视化方法，包括以下步骤：
8.步骤一、设置初始时间间隔，根据事件信息将处于所述初始时间间隔内的事件按照事件极性的正负分别投影在两个与动态视觉传感器空间分辨率大小相同的全零矩阵上，在每个矩阵中将存在事件的位置赋值为1，得到两幅事件的分解图；
9.步骤二、对两幅所述分解图分别进行中值滤波处理，再将两幅分解图进行rgb转换，得到一幅初始图，在转换时，如果同一个像素位置处既有极性为正的事件又有极性为负的事件，则将该像素位置标记为重叠点，并统计出所述初始图中所有重叠点的数量；
10.步骤三、判断重叠点的数量是否处于判定范围内，若是，则以所述初始图作为事件信息可视化的生成图；若否，则继续判断重叠点的数量是大于等于判定范围或者小于等于判定范围，并根据大小判断结果将所述初始时间间隔相应地减少或者增加最小时间单位后返回步骤一。
11.本发明的有益效果是：
12.本发明所提出的自适应时间分辨率的事件信息可视化方法，将从动态视觉传感器获取的不可视的事件信息转化为图像信息，从而可以利用处理图像的各种先进算法来对事件信息进行分析和处理。另外，由事件获得的图像不再是以固定帧频呈现，而是根据场景中物体运动速度或光强变化速度的快慢来自适应地改变时间分辨率而呈现的，能够保证始终以清晰且相对最小数量的图像完成事件的可视化，更容易捕捉物体运动的细节且能节省数据量，为后续的分析和处理工作带来快捷和便利。
附图说明
13.图1为本发明实施例中自适应时间分辨率的事件信息可视化方法的流程图。
具体实施方式
14.为了使本技术的技术方案更加清晰，以下结合附图及实施例，对本发明的技术方案作进一步具体的说明。应当理解，此处描述的具体实施例仅用以解释本技术，并不用于限定本技术。
15.本实施例提供一种自适应时间分辨率的事件信息可视化方法，如图1所示，该方法包括以下步骤：
16.步骤一、设置初始时间间隔，根据事件信息将处于初始时间间隔内的事件按照事件极性的正负分别投影在两个与动态视觉传感器分辨率大小相同的全零矩阵上，并且在每个矩阵中将存在事件的位置赋值为1，赋值完成后得到两幅事件的分解图。
17.在本步骤中，事件信息主要来源于动态视觉传感器，具体包括：事件发生的时间戳、事件所在位置的坐标值和事件的极性。事件的极性具体包括：亮度变亮超过阈值时为正极性，亮度变暗超过阈值时为负极性。
18.动态视觉传感器是一种仅关注光照强度变化的传感器，它会实时检测对应像素位置处的光照强度，且当光强变化超过阈值时会输出一个事件，该事件记录了这个变化产生的时间t、变化发生的像素位置坐标(x,y)、变亮或是变暗p。其中p的值由+1和-1代替，+1表示变亮，-1表示变暗。
19.例如，本实施例中事件的采集来源于davis346，采集的事件的空间分辨率为260*346，时间分辨率为1微秒。设置初始时间间隔tg，如tg＝20000微秒，根据事件信息中时间t的值，可以将处于时间段[t,t+tg]中的所有事件筛选出来，再根据筛选出来的事件的坐标(x,y)将这些事件投影在260*346的两个全零矩阵上。
[0020]
在投影时，依据各事件的极性p的正负，将极性为正的事件投影在一个全零矩阵上，将极性为负的事件投影在另一个全零矩阵上，并且在每个全零矩阵中，存在事件的位置赋值为1，其他位置的值为0，完成全部位置的赋值后即可得到两幅事件的分解图。同时，为了便于区分，将全零矩阵中包含有正极性事件的位置用绿表示，将全零矩阵中包含有负极性事件的位置用红表示。
[0021]
投影过程可能会出现同一个像素位置处有多个事件，这时仅需保留最后一次出现的事件，丢弃之前的事件。
[0022]
经过上述步骤，可以将一系列不可视的事件信息转化为可视的分别包含变亮和变暗信息的图像信息。
[0023]
步骤二、对两幅分解图分别进行中值滤波处理，再将两幅分解图进行rgb转换，得到一幅初始图，在转换时，如果同一个像素位置处既有极性为正的事件又有极性为负的事件，则将该像素位置标记为重叠点，并统计出初始图中所有重叠点的数量。
[0024]
由于运动物体的连续性，对应真实产生的事件应该是相互关联的，即某真实事件附近在短时间内应也会有其他真实事件。根据真实事件的这个特点，可以去除图中零星散落的噪声事件，这种事件大多数属于热噪声，同时可以填补真实事件阵列中偶尔出现的由于成像不稳定等原因产生的孔洞，可使物体内部更连续，边缘更平滑，增强信息表达能力。
[0025]
根据发生的真实事件相互关联的特点，对两幅分解图分别进行中值滤波处理，去除图中散落的噪声事件，并填补物体像素阵列中的孔洞，达到增强图像信息的目的。
[0026]
具体地，在对两幅分解图分别进行中值滤波处理时，采用大小为3*3的中值滤波器对两幅分解图分别进行中值滤波，将目标像素位置及其周围8个相邻像素位置的值进行统计排序并确定排序的中值，若目标像素位置的值小于中值，则将该目标像素位置赋值为0；若目标像素位置的值大于或等于中值，则将该目标像素位置赋值为1；遍历两幅分解图中的全部像素位置后，即完成了对分解图的中值滤波处理。
[0027]
去噪后的两幅分解图分别包含变亮和变暗的信息，将两幅分解图进行rgb转换，得到一幅初始图。在转换时，如果同一个像素位置处既有变亮事件(即极性为正的事件)也有变暗事件(即极性为负的事件)，则将该像素位置标记为重叠点，并统计出初始图中所有重叠点的数量，记为w。同时，为了便于区分，将初始图中重叠点所在的像素位置用黄表示。
[0028]
重叠点的意义是，该像素位置在[t,t+tg]这段时间内，亮度既发生了变亮也发生了变暗，表示该像素位置的亮度变化较快，在现实世界中光照条件不变时，则表示该像素位置处的物体运动速度较快。
[0029]
步骤三、判断重叠点的数量是否处于判定范围内，若是，则以初始图作为事件信息可视化的生成图；若否，则继续判断重叠点的数量是大于等于判定范围或者小于等于判定范围，并根据大小判断结果将初始时间间隔相应地减少或者增加最小时间单位后返回步骤一。
[0030]
对于一幅初始图，光照条件不变时，其中包含的重叠点的数量间接地反映了所摄物体运动的快慢。若物体运动速度过快，会导致在[t,t+tg]这段时间内产生大量重叠点，使得在初始图中无法分辨物体的特征；相反，若物体运动速度过慢，会导致在[t,t+tg]这段时间内变亮和变暗的事件太少，使得这些事件在初始图中无法准确地呈现物体的特征。为此，可以利用重叠点的数量来界定初始图的时间分辨率。
[0031]
本步骤中需要设定一个重叠点数量的判定范围，重叠点数量高于该范围表示变亮和变暗事件重叠现象较严重，此时所摄物体运动速度较高导致事件较拥挤，即初始时间间隔过大，应适当减小。相反，低于该范围表示几乎不存在变亮和变暗事件的重叠现象，此时所摄物体运动速度较低导致事件太稀疏，即初始时间间隔较小，应适当增大。
[0032]
具体地，设定判定范围为(10,20)；再根据所摄环境规定一个最小时间单位d，如本实施例规定d＝100微秒。
[0033]
判断重叠点的数量w和判定范围z
±
a的大小：若w≥z+a，表示变亮和变暗事件重叠现象较严重，图中物体运动速度相对较快，事件较拥挤，则舍弃此初始图，并将初始时间间隔tg减少最小时间单位d，即初始时间间隔更新为tg-d，然后重新回到步骤一；若w≤z-a，表
示初始图中不具有重叠点，图中物体运动速度相对较慢，变亮和变暗事件的数量较少，则舍弃此初始图，并将初始时间间隔tg增加最小时间单位d，即初始时间间隔更新为tg+d，然后重新回到步骤一；如果z-a《w《z+a，表示事件占比率较合理，则保留此初始图作为得到物体特征明确的生成图，完成对事件信息的可视化。
[0034]
本发明所提出的自适应时间分辨率的事件信息可视化方法，将从动态视觉传感器获取的不可视的事件信息转化为图像信息，从而可以利用处理图像的各种先进算法来对事件信息进行分析和处理。另外，由事件获得的图像不再是以固定帧频呈现，而是根据场景中物体运动速度或光强变化速度的快慢来自适应地改变时间分辨率而呈现的，能够保证始终以清晰且相对最小数量的图像完成事件的可视化，更容易捕捉物体运动的细节且能节省数据量，为后续的分析和处理工作带来快捷和便利。
[0035]
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0036]
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

技术特征：

1.一种自适应时间分辨率的事件信息可视化方法，其特征在于，包括以下步骤：步骤一、设置初始时间间隔，根据事件信息将处于所述初始时间间隔内的事件按照事件极性的正负分别投影在两个与动态视觉传感器空间分辨率大小相同的全零矩阵上，在每个矩阵中将存在事件的位置赋值为1，得到两幅事件的分解图；步骤二、对两幅所述分解图分别进行中值滤波处理，再将两幅分解图进行rgb转换，得到一幅初始图，在转换时，如果同一个像素位置处既有极性为正的事件又有极性为负的事件，则将该像素位置标记为重叠点，并统计出所述初始图中所有重叠点的数量；步骤三、判断重叠点的数量是否处于判定范围内，若是，则以所述初始图作为事件信息可视化的生成图；若否，则继续判断重叠点的数量是大于等于判定范围或者小于等于判定范围，并根据大小判断结果将所述初始时间间隔相应地减少或者增加最小时间单位后返回步骤一。2.根据权利要求1所述的自适应时间分辨率的事件信息可视化方法，其特征在于，在对两幅所述分解图分别进行中值滤波处理时，包括以下步骤：采用大小为3*3的中值滤波器对两幅所述分解图分别进行中值滤波，将目标像素位置及其周围8个相邻像素位置的值进行统计排序并确定排序的中值，若目标像素位置的值小于中值，则将该目标像素位置赋值为0；若目标像素位置的灰度值大于或等于中值，则将该目标像素位置赋值为1；遍历两幅所述分解图中的全部像素位置后，完成中值滤波处理。3.根据权利要求1或2所述的自适应时间分辨率的事件信息可视化方法，其特征在于，在两个全零矩阵中，包含有正极性事件的位置用绿表示，包含有负极性事件的位置用红表示；在初始图中，重叠点所在的像素位置用黄表示。4.根据权利要求1或2所述的自适应时间分辨率的事件信息可视化方法，其特征在于，所述初始时间间隔为20000微秒，所述最小时间单位为100微秒。5.根据权利要求1或2所述的自适应时间分辨率的事件信息可视化方法，其特征在于，所述判定范围为(10,20)。

技术总结

本发明涉及一种自适应时间分辨率的事件信息可视化方法，包括：步骤一、设置初始时间间隔，根据事件信息将处于初始时间间隔内的事件按照事件极性的正负分别投影在两个全零矩阵上，在每个矩阵中将存在事件的位置赋值为1，得到两幅事件的分解图；步骤二、对两幅分解图分别进行中值滤波处理及RGB转换，得到一幅初始图，并统计出初始图中所有重叠点的数量；步骤三、判断重叠点的数量是否处于判定范围内，若是，则以初始图作为事件信息可视化的生成图；若否，则调整初始时间间隔后返回步骤一。本发明能够自适应地改变时间分辨率，保证始终以清晰且相对最小数量的图像完成事件的可视化，更容易捕捉物体运动的细节且能节省数据量。容易捕捉物体运动的细节且能节省数据量。容易捕捉物体运动的细节且能节省数据量。