一种视觉多传感器高精度同步方法和装置与流程

1.本发明属于导航制导与控制技术领域，尤其涉及一种视觉多传感器高精度同步方法和装置。

背景技术：

2.惯性导航是一种不依赖于外部信息、也不向外部辐射能量的自主式导航技术，具有全天候、全时间、数据更新率高、短期精度和稳定性好等特点，但存在导航精度随时间发散的缺点。惯性/环境感知组合导航是解决纯惯性导航精度随时间发散的一种有效方法。环境感知是指利用载体自身携带的传感器对周围环境进行测量，分析环境结构、纹理等特征，测量载体相对于环境中静止不动的特征之间的相对位姿。环境感知传感器的测量结果具有长期稳定性好的特点，因此能够与惯性导航技术相结合，达到抑制导航误差发散的效果。
3.常用的环境感知传感器包括激光雷达、可见光相机、红外相机、里程计等，这些传感器会同时接入组合导航系统，以保证系统能够全天时、全天候工作。但各个传感器存在数据接口繁多、同步信号电压不一致，逻辑信号正负不统一，时钟源不同以及操作系统调度和数据传输的不可预测的延迟等情况。此外，特别针对相机来说，还存在每次曝光时间不同、内部数据处理时间长的问题，使得传感器之间的同步具有挑战性。随着对导航精度要求的不断提高，各传感器数据的同步性成为制约精度进一步提升的瓶颈。

技术实现要素：

4.针对现有技术中组合导航中多种视觉传感器数据不同步的技术问题，本发明提供了一种视觉多传感器高精度同步方法和装置，实现了多种传感器数据的高精度时间同步。
5.本发明解决上述问题采用的技术方案如下：
6.本发明提供了一种视觉多传感器高精度同步方法，包括如下步骤：
7.imu输出包含时间戳的imu数据，同步发送触发信号；
8.同步处理电路依据触发信号生成各视觉传感器所需的同步信号，基于imu高频时间戳标记各同步信号；
9.各视觉传感器响应相应的同步信号进行工作，采集数据；
10.导航计算机接收各视觉传感器的数据、imu数据，依据imu数据包含的时间戳和各同步信号的时间戳，为各视觉传感器数据标注时间戳。
11.进一步地，所述同步信号属性包括极性、脉宽、触发频率、触发电平幅值。进一步地，所述导航计算机为各视觉传感器数据标注时间戳的具体方法为
12.读取导航计算机寄存器存储的同步信号，判断是否收到同步处理电路的同步信号；
13.依据同步信号的时间戳、imu数据的时间戳，完成时间配对。
14.进一步地，初始阶段，所有视觉传感器采用低频触发模式，同步信号触发周期大于其对应的视觉传感器一次发送数据的处理时间和数据传输时间之和；逐步恢复视觉传感器
的正常触发频率。
15.进一步地，所述视觉多传感器高精度同步方法还包括计算各视觉传感器数据接收时间与同步信号之间的时间间隔，判断同步信号与视觉传感器数据接收的匹配情况的步骤。
16.进一步地，所述视觉传感器中包括相机，导航计算机将相机数据按照曝光补偿量进行时间修正。
17.本发明还提供了一种视觉多传感器高精度同步装置，包括imu、导航计算机、同步处理电路、至少一个视觉传感器；
18.所述imu用于输出包含时间戳的imu数据、触发信号；
19.所述同步处理电路用于依据触发信号生成各视觉传感器所需的同步信号，依据imu数据标记各同步信号的时间戳；
20.所述视觉传感器响应对应的同步信号，采集数据；
21.所述导航计算机接收imu数据、同步信号及其时间戳、各传感器数据，为各视觉传感器数据标注时间戳。
22.进一步地，所述视觉传感器为可见光相机、红外相机、立体相机、激光雷达中的至少一种。
23.进一步地，同步处理电路包括gpio、分频和倍频电路、高低电平转换电路，所述gpio用于生成对外同步信号，所述分频和倍频电路用于调节同步信号的频率，所述高低电平转换电路用于调节同步信号的电平幅值。
24.本发明的有益效果：
25.本发明设计了一种视觉多传感器高精度同步方法和装置，通过同步处理电路设置各视觉传感器的同步信号，利用时间戳进行时间同步，大幅降低了惯性/环境感知导航系统同步处理信号的处理难度，提高了系统设计通用性，通过提高传感器之间的时间同步性，能够显著提升惯性/环境感知组合导航系统的导航性能。
26.本发明对相机数据同步时间进行曝光补偿，进一步提高同步精度。
附图说明
27.所包括的附图用来提供对本发明实施例的进一步的理解，其构成了说明书的一部分，用于例示本发明的实施例，并与文字描述一起来阐释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
28.图1为本发明具体实施例提供的一种视觉多传感器高精度同步装置原理框图；
29.图2为本发明具体实施例提供的曝光补偿前的相机同步示意图；
30.图3为本发明具体实施例提供的曝光补偿后的相机同步示意图。
具体实施方式
31.下面结合附图，通过实施方式详细地描述本发明的技术方案。需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本技术的示例性实施方式。除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数
值不限制本发明的范围。
32.本发明提供了一种视觉多传感器高精度同步方法，具体过程如下：
33.s1、微惯性器件(imu)输出包含时间戳的imu数据，同步发送触发信号；
34.s2、同步处理电路依据触发信号生成各视觉传感器所需的同步信号，依据imu数据的高频时间戳标记各同步信号的时间戳；
35.s3、各视觉传感器响应相应的同步信号进行工作，采集数据；
36.s4、导航计算机接收各视觉传感器的数据、imu数据，依据imu数据包含的时间戳和各同步信号的时间戳，为各视觉传感器数据标注时间戳。
37.进一步地，同步信号属性包括极性、脉宽、触发频率、触发电平幅值，针对视觉传感器所需进行设置。
38.进一步地，导航计算机为各视觉传感器数据标注时间戳的具体方法为
39.读取导航计算机寄存器存储的同步信号，判断是否收到同步处理电路的同步信号；
40.依据同步信号的时间戳、imu数据的时间戳，完成时间配对。
41.进一步地，初始阶段，除imu外所有视觉传感器采用低频触发模式，同步信号触发周期大于其对应的视觉传感器一次发送数据的处理时间和数据传输时间之和；然后逐步恢复视觉传感器的正常触发频率。保证视觉多传感器的有效同步。
42.进一步地，计算各视觉传感器数据接收时间与同步信号之间的时间间隔，判断同步信号与视觉传感器数据接收的匹配情况，避免视觉传感器数据延迟发生标记错误。
43.进一步地，若视觉传感器中包括相机，导航计算机将相机数据按照曝光补偿量进行时间修正，提高相机同步精度。
44.本发明提供了一种视觉多传感器高精度同步装置，包括imu、导航计算机、同步处理电路、至少一个视觉传感器；
45.imu用于输出包含时间戳的imu数据、触发信号；
46.同步处理电路用于依据触发信号生成各视觉传感器所需的同步信号，依据imu数据标记各同步信号的时间戳；
47.视觉传感器响应对应的同步信号，采集数据；
48.导航计算机接收imu数据、同步信号及其时间戳、各传感器数据，为各视觉传感器数据标注时间戳。
49.进一步地，视觉传感器为可见光相机、红外相机、立体相机、激光雷达中的至少一种。
50.下面结合附图，对本发明的技术方案进行详细描述。
51.如图1所示，视觉多传感器高精度同步装置，包括
52.imu包括高精度晶振，为数据提供时间信息，输出的imu数据中包含时间戳信息；imu数据发送时刻与触发信号同步，但频率不同。
53.同步处理电路接收imu的imu数据、触发信号，依据触发信号生成各视觉传感器所需的同步信号，依据imu数据标记各同步信号的时间戳。如图1所示，同步处理电路包括外部时钟触发接口、gpio、分频和倍频电路、高低电平转换电路，gpio用于生成对外同步信号，分频和倍频电路用于调节同步信号的频率，高低电平转换电路用于调节同步信号的电平幅
值。
54.导航计算机接收各传感器的数据、imu数据、同步信号及其时间戳，进行各视觉传感器数据标注时间戳。
55.本实施例中，视觉多传感器包括可见光相机、红外相机、立体相机、激光雷达。
56.视觉多传感器高精度同步装置由imu的高精度晶振提供时间基准，imu数据中包含时间戳信息，imu数据发送时刻与触发信号同步，但频率不同，如数据频率可以为200hz，触发信号频率为10hz。
57.同步处理电路接收imu发送的触发信号和imu数据。同步处理电路采用gpio生成对外同步信号(同步信号为一触发脉冲信号)，根据传感器需要，设置同步信号的极性、脉宽；通过分频和倍频电路，生成传感器所需频率的同步信号，常见的触发频率包括：1hz、15hz、30hz等；通过高低电平转换电路，生成传感器所需触发电平幅值生成同步信号，常见的触发电平包括：1.8v、3.3v、5v等。
58.导航计算机对外接口包括串口、usb、以太网等传感器常见接口，各个传感器将数据传入导航计算机。
59.导航计算机中运行专用驱动程序，负责为各传感器数据标注时间戳，具体方法如下：
60.a)读取导航计算机的同步信号寄存器，判断当前是否收到同步处理电路发送的同步信号；
61.b)接收同步处理电路发送的同步信号时间戳信息，同时接收imu发送的数据(包含时间戳信息)，完成同步信号时间与imu数据时间戳的配对；
62.c)在上电工作初始阶段，所有传感器(除imu外)，采用低频触发模式(如1hz)，低频触发模式的触发周期需要远大于传感器一次发送数据的处理时间+数据传输时间，以保证同步信号与传感器数据的正确匹配；
63.d)判断各传感器数据与同步信号之间的时间间隔
[0064][0065]
其中，是收到第n个传感器同步信号的时间，是收到第n个传感器数据的时间；
[0066]
e)逐步恢复正常的传感器触发频率，根据上一步得到的δtn，判断同步信号与数据之间的匹配关系，这一点对于数据延迟时间大于同步信号周期的传感器来说尤为重要。
[0067]
对于相机需要增加处理措施，以进一步提高同步精度。一般情况下，相机的曝光时间是不固定，通常在微秒级(μs)到毫秒级(ms)之间变化，对于快速运动场景所带来的误差仍然难以忽略。目前大部分工业相机均有预留有额外的数据接口，用于收发相机的控制信息，包含相机的快门时间、曝光补偿等额外参数，将这些参数传入同步处理电路，可进一步提高相机图像的同步精度。
[0068]
在补偿相机曝光时间之前，相机成像时间序列如图2所示。
[0069]
相机在收到同步信号指令后触发快门，开始拍摄，同时记录触发时刻的同步时间，称为tn；根据外界环境光线强弱，相机快门需要打开的时间不同，称为“曝光时间”。在未进行曝光补偿的情况下，tn时刻快门尚未打开，因此相机拍摄的图像并不是tn时刻的，而是从
tn时刻到t
n+1
时刻的平均值。
[0070]
快门从完全闭合到完全打开需要时间，因此一般认为图像对应的时刻是时刻，即以为补偿量，对发送给导航计算机的同步时间进行修正，修正后的同步时间序列如图3所示。
[0071]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
[0072]
本发明未详细说明部分为本领域技术人员公知技术。

技术特征：

1.一种视觉多传感器高精度同步方法，其特征在于，包括如下步骤：imu输出包含时间戳的imu数据，同步发送触发信号；同步处理电路依据触发信号生成各视觉传感器所需的同步信号，基于imu高频时间戳标记各同步信号；各视觉传感器响应相应的同步信号进行工作，采集数据；导航计算机接收各视觉传感器的数据、imu数据，依据imu数据包含的时间戳和各同步信号的时间戳，为各视觉传感器数据标注时间戳。2.如权利要求1所述的视觉多传感器高精度同步方法，其特征在于，所述同步信号属性包括极性、脉宽、触发频率、触发电平幅值。3.如权利要求2所述的视觉多传感器高精度同步方法，其特征在于，所述导航计算机为各视觉传感器数据标注时间戳的具体方法为读取导航计算机寄存器存储的同步信号，判断是否收到同步处理电路的同步信号；依据同步信号的时间戳、imu数据的时间戳，完成时间配对。4.如权利要求3所述的视觉多传感器高精度同步方法，其特征在于，初始阶段，所有视觉传感器采用低频触发模式，同步信号触发周期大于其对应的视觉传感器一次发送数据的处理时间和数据传输时间之和；逐步恢复视觉传感器的正常触发频率。5.如权利要求4所述的视觉多传感器高精度同步方法，其特征在于，还包括计算各视觉传感器数据接收时间与同步信号之间的时间间隔，判断同步信号与视觉传感器数据接收的匹配情况的步骤。6.如权利要求5所述的视觉多传感器高精度同步方法，其特征在于，所述视觉传感器中包括相机，导航计算机将相机数据按照曝光补偿量进行时间修正。7.一种视觉多传感器高精度同步装置，其特征在于，包括imu、导航计算机、同步处理电路、至少一个视觉传感器；所述imu用于输出包含时间戳的imu数据、触发信号；所述同步处理电路用于依据触发信号生成各视觉传感器所需的同步信号，依据imu数据标记各同步信号的时间戳；所述视觉传感器响应对应的同步信号，采集数据；所述导航计算机接收imu数据、同步信号及其时间戳、各传感器数据，为各视觉传感器数据标注时间戳。8.如权利要求7所述的视觉多传感器高精度同步装置，其特征在于，所述视觉传感器为可见光相机、红外相机、立体相机、激光雷达中的至少一种。9.如权利要求7所述的视觉多传感器高精度同步装置，其特征在于，同步处理电路包括gpio、分频和倍频电路、高低电平转换电路，所述gpio用于生成对外同步信号，所述分频和倍频电路用于调节同步信号的频率，所述高低电平转换电路用于调节同步信号的电平幅值。

技术总结

本发明提供了一种视觉多传感器高精度同步方法和装置，包括IMU输出包含时间戳的IMU数据，同步发送触发信号；同步处理电路依据触发信号生成各视觉传感器所需的同步信号，基于IMU高频时间戳标记各同步信号；各视觉传感器响应相应的同步信号进行工作，采集数据；导航计算机接收各视觉传感器的数据、IMU数据，依据IMU数据包含的时间戳和各同步信号的时间戳，为各视觉传感器数据标注时间戳。本发明通过同步处理电路设置各视觉传感器的同步信号，利用时间戳进行时间同步，通过提高传感器之间的时间同步性，能够显著提升惯性/环境感知组合导航系统的导航性能。航系统的导航性能。航系统的导航性能。