(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 201811004984.5
(22)申请日 2018.08.30
(71)申请人 沈阳航空航天大学
地址 110136 辽宁省沈阳市道义经济开发
区道义南大街37号
(72)发明人 关庆阳
(74)专利代理机构 沈阳东大知识产权代理有限
公司 21109
代理人 梁焱
(51)Int.Cl.
G01S 13/86(2006.01)
G01S 13/933(2020.01)
G05D 1/02(2020.01)
(54)发明名称
及方法
(57)摘要
本发明提供一种多源异构传感器特征深度
融合的装置及方法，涉及人工智能技术领域。其
感器阵列、ZYNQ -7000平台、FLASH大型存储芯片。
特征，在ZYNQ -7000平台，通过不同的多源异构传
感器的坐标特征变换，形成具有统一维度的特征
空间，通过建立深度学习网络，将多源异构传感
器进行融合，实现机器视觉与激光雷达目标捕
获、信息提取与特征分类及融合。本发明为无人
机器目标特征识别及决策控制提供准确、可靠、
具有鲁棒性的环境数据，对提高主动避撞识别系
统性能、
减少碰撞事故发生具有重要意义。权利要求书1页 说明书5页 附图2页CN 110873879 A 2020.03.10
C N 110873879
A
1.一种多源异构传感器特征深度融合的装置，其特征在于：包括N个激光雷达及机器视觉的多源异构传感器阵列、ZYNQ -7000平台、FLASH大型存储芯片；ZYNQ -7000平台包括ARM Cortex A9双核、FPGA逻辑计算单元；N个激光雷达及机器视觉的多元传感器阵列通过光口或者网口与ARM Cortex A9双核实现连接；FPGA逻辑计算单元外接FLASH大型存储芯片；
多源异构传感器阵列用于获取目标的多维数据特征；FPGA逻辑计算单元，用于实现机器视觉与激光雷达目标的捕获、以及信息提取与特征分类及融合，包括特征的目标识别及分类模块、空间坐标变换模块、信息融合模块、行为决策模块，目标识别及分类模块用于实现目标识别以及特征库匹配建立，空间坐标变换模块用于实现激光雷达通过坐标映射形成统一的信息平面，并实现机器视觉模块坐标系和像素坐标系之间的转换关系，信息融合模块用于建立深度神经网络，构建雷达捕获目标特征空间融合模型，同时多源传感器进行特征校正，构建多传感器数据时间融合模型，将多源异构传感器数据进行融合，并
且通过空间模型校正；行为决策模块用于利用时间及空间融合模型计算出探测目标在特征空间上的投影点，同时将投影点中建立包含机器视觉目标图像的感兴趣区域，利用深度神经网络在感兴趣区域内进行搜索完成目标识别对象的检测，并当确定前方障碍物的情况下，将该障碍物的运动状态信息提交给基于深度学习网络的中央控制系统进行避撞预警决策。
2.根据权利要求1所述的多源异构传感器特征深度融合的装置，其特征在于：所述多源异构传感器阵列中的激光雷达采用固态激光雷达Leddar Vu，实现8线光束数量，可实现的最大探测距离为185米；所述多源异构传感器阵列中的机器视觉采用红外高清网络摄像机海康威视DS -2CD3T25-I3。
3.一种多源异构传感器特征深度融合的方法，其特征在于：采用权利要求1述的多源异构传感器特征深度融合的装置实现，该方法具体如下：
通过多源异构多种传感器获取环境信息，即获取目标的多维数据特征，具体通过激光雷达获取目标距离、轮廓特征，这些数据特征位于雷达二维扫描平面坐标系中，通过雷达二维成像空间，给出目标障碍物相对空间位置；通过机器视觉获取目标像素特征；
根据激光雷达与机器视觉相对固定位置，通过距离建立的先验知识，通过贝叶斯网络的先验模型，形成训练深度学习网络，通过训练完成的深度学习网络，建立激光雷达坐标系和机器视觉坐标系间的转换关系，进而构建雷达捕获目标特征空间融合模型；将机器视觉的二维识别目标像素点，在雷达二维平面进
行映射，根据计算机机器视觉环境相关识别算法及机器视觉成像原理，通过深度融合网络，建立机器视觉坐标系与像素坐标系间的线性转换关系；同时考虑到机器视觉对目标成像的畸变现象，通过先验的机器视觉训练库进行非线性畸变校正；结合以上两种转换关系，实现激光雷达坐标系和机器视觉图像像素坐标之间的转换；
结合其他多源传感器，形成特定场景的目标特征获取，进行特征校正，构建多传感器数据时间融合模型，并且通过空间模型校正；其他多源传感器包括声学传感器、红外传感器、热成像传感器、GPS；
利用时间及空间融合模型计算出探测目标在特征空间上的投影点，同时将投影点中建立包含机器视觉目标图像的感兴趣区域，利用深度学习网络在感兴趣区域内进行搜索完成目标识别对象的检测；当确定前方障碍物的情况下，将该障碍物的运动状态信息提交给基于深度学习网络的中央控制系统进行避撞预警决策。
权 利 要 求 书1/1页CN 110873879 A
一种多源异构传感器特征深度融合的装置及方法
技术领域
[0001]本发明涉及人工智能技术领域，尤其涉及一种多源异构传感器特征深度融合的装置及方法。
背景技术
[0002]当前，无人机器数量的持续增加使得各种事故频繁发生，造成严重的生命财产损失。其原因是无人机器所采用的单一传感器，如雷达、视觉等，并不能完整获取目标信息。针对信息的运动状态、距离状态、位置状态等特征状态，无法进行全面感知。
发明内容
[0003]本发明要解决的技术问题是针对上述现有技术的不足，提供一种多源异构传感器特征深度融合的装置及方法，基于深度学习技术，通过深度学习模型完成空间、时间特征信息融合算法，为无人机器目标特征识别及决策控制提供准确、可靠、具有鲁棒性的环境数据，对提高主动避撞识别系统性能、减少碰撞事故发生具有重要意义。
[0004]为解决上述技术问题，本发明所采取的技术方案是：
[0005]一方面，本发明提供一种多源异构传感器特征深度融合的装置，包括N个激光雷达及机器视觉的多源异构传感器阵列、ZYNQ-7000平台、FLASH大型存储芯片；ZYNQ-7000平台包括ARM Cortex A9双核、FPGA逻辑计算单元；N个激光雷达及机器视觉的多元传感器阵列通过光口或者网口与ARM Cortex A9双核实现连接；FPGA逻辑计算单元外接FLASH大型存储芯片；
[0006]多源异构传感器阵列用于获取目标的多维数据特征；FPGA逻辑计算单元，用于实现机器视觉与激光雷达目标捕获、信息提取与特征分类及融合，包括目标识别及分类模块、空间坐标变换模块、信息融合模块、行为决策模块；目标识别及分类模块用于配合FLASH大型存储芯片实现目标识别以及特征库匹配建立及学习；空间坐标变换模块用于实现激光雷达通过坐标映射形成统一的信息平面，并实现机器视觉模块坐标系和像素坐标系之间的转换关系；信息融合模块用于建立深度神经网络，构建雷达捕获目标特征空间融合模型，同时多源传感器进行特征校正，构建多传感器数据时间融合模型，将多源异构传感器数据进行融合，并且通过空间模型校正；行为决策模块用于利用时间及空间融合模型计算出探测目标在特征空间上的投影点，同时将投影点中建立包含机器视觉目标图像的感兴趣区域，利用深度神经网络在感兴趣区域内进行搜索完成目标识别对象的检测，并当确定前方障碍物的情况下，将该障碍物的运动状态信息提交给基于深度学习网络的中央控制系统进行避撞预警决策。
[0007]进一步地，所述多源异构传感器阵列中的激光雷达采用固态激光雷达Leddar Vu，实现8线光束数量，可实现的最大探测距离为185米；所述多源异构传感器阵列中的机器视觉采用红外高清网络摄像机海康威视DS-2CD3T25-I3。
[0008]另一方面，本发明还提供一种多源异构传感器特征深度融合的方法，采用上述的
多源异构传感器特征深度融合的装置实现，该方法具体如下：
[0009]通过多源异构多种传感器获取环境信息，即获取目标的多维数据特征，具体通过激光雷达获取目标距离、轮廓特征，这些数据特征位于雷达二维扫描平面坐标系中，通过雷达二维成像空间，给出目标障碍物相对空间位置；通过机器视觉获取目标像素特征；[0010]根据激光雷达与机器视觉相对固定位置，通过距离建立的先验知识，通过贝叶斯网络的先验模型，形成训练深度学习网络，通过训练完成的深度学习网络，建立激光雷达坐标系和机器视觉坐标系间的转换关系，进而构建雷达捕获目标特征空间融合模型；将机器视觉的二维识别目标像素点，在雷达二维平面进行映射，根据计算机机器视觉环境相关识别算法及机器视觉成像原理，通过深度融合网络，建立机器视觉坐标系与像素坐标系间的线性转换关系；同时考虑到机器视觉对目标成像的畸变现象，通过先验的机器视觉训练库进行非线性畸变校正；结合以上两种转换关系，实现激光雷达坐标系和机器视觉图像像素坐标之间的转换；
[0011]结合其他多源传感器，形成特定场景的目标特征获取，进行特征校正，构建多传感器数据时间融合模型，并且通过空间模型校正；其他多源传感器包括声学传感器、红外传感器、热成像传感器、GPS；
[0012]利用时间及空间融合模型计算出探测目标在特征空间上的投影点，同时将投影点中建立包含机器视觉目标图像的感兴趣区域，利用深度学习网络在感兴趣区域内进行搜索完成目标识别对象的检测；当确定前方障碍物的情况下，将该障碍物的运动状态信息提交给基于深度学习网络的中央控制系统进行避撞预警决策。
[0013]采用上述技术方案所产生的有益效果在于：本发明提供的多源异构传感器特征深度融合的装置及方法，通过安装于无人机、汽车、飞艇、卫星等装备的多源异构多种传感器，获取环境信息，通过激光雷达获取目标距离、轮廓特征，以及机器视觉获取目标像素特征，通过不同的多源异构传感器的坐标特征变换，形成具有统一维度的特征空间，通过建立深度学习网络，将多源异构传感器进行融合，实现机器视觉与激光雷达目标捕获、信息提取与特征分类及融合，为装备的自主决策提供准确、可靠、具有鲁棒性的决策判决性能。本发明由于通过训练特征库加载校正，使得多传感器测量数据在时间上、空间上达到同步；利用深度学习网络在感兴趣区域内进行搜索完成目标识别对象的检测，能有效提高目标的识别速度，减小了图像检测、模式识别搜索范围，避免在整幅图像上进行遍历性搜索，提高检测系统的实时性；利用图像对障碍物进行存在性验证，增加了检测系统的准确性和鲁棒性。
附图说明
[0014]图1为本发明实施例提供的多源异构传感器特征深度融合的装置结构框图；[0015]图2为本发明实施例提供的多源异构传感器特征深度融合的方法的逻辑单元连接图；
[0016]图3为本发明实施例提供的基于深度学习算法的机器视觉与激光融合决策网络示意图。
具体实施方式
[0017]下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施
例用于说明本发明，但不用来限制本发明的范围。
[0018]一种多源异构传感器特征深度融合的装置，包括N个激光雷达及机器视觉的多源异构传感器阵列、ZYNQ-7000平台、FLASH大型存储芯片；ZYNQ-7000平台是一款全可编程片上系统(All Programmable SoC)，该芯片集成了ARM Cortex A9双核、FPGA逻辑计算单元；N 个激光雷达及机器视觉的多元传感器阵列通过光口或者网口与ARM Cortex A9双核实现连接；FPGA逻辑计算单元外接FLASH大型存储芯片。
[0019]多源异构传感器阵列用于获取目标的多维数据特征，包括激光雷达的点云数据，以及机器视觉的像素数据。
[0020]FPGA逻辑计算单元，用于实现机器视觉与激光雷达目标捕获、信息提取与特征分类及融合，包括目标识别及分类模块、空间坐标变换模块、信息融合模块、行为决策模块，目标识别及分类模块用于实现目标识别以及特征库匹配建立，空间坐标变换模块用于实现激光雷达通过坐标映射形成统一的信息平面，并实现机器视觉模块坐标系和像素坐标系之间的转换关系，信息融合模块用于建立深度神经网络，构建雷达捕获目标特征空间融合模型，同时多源传感器进行特征校正，构建多传感器数据时间融合模型，将多源异构传感器数据进行融合，并且通过空间模型校正；行为决策模块用于利用时间及空间融合模型计算出探测目标在特征空间上的投影点，同时将投影点中建立包含机器视觉目标图像的感兴趣区
域，利用深度神经网络在感兴趣区域内进行搜索完成目标识别对象的检测，并当确定前方障碍物的情况下，将该障碍物的运动状态信息提交给基于深度学习网络的中央控制系统进行避撞预警决策。
[0021]本实施例中，多源异构传感器阵列中的激光雷达采用固态激光雷达Leddar Vu，实现8线光束数量，可实现的最大探测距离为185米。多源异构传感器阵列中的机器视觉采用红外高清网络摄像机海康威视DS-2CD3T25-I3。
[0022]采用上述的多源异构传感器特征深度融合的装置实现多源异构传感器特征深度融合的方法，该方法具体如下：
[0023]通过多源异构多种传感器获取环境信息，即获取目标的多维数据特征，具体通过激光雷达获取目标距离、轮廓特征，这些数据特征位于雷达二维扫描平面坐标系中，通过雷达二维成像空间，给出目标障碍物相对空间位置；通过机器视觉获取目标像素特征；[0024]根据激光雷达与机器视觉相对固定位置，通过距离建立的先验知识，通过贝叶斯网络的先验模型，形成训练深度学习网络，通过训练完成的深度学习网络，建立激光雷达坐标系和机器视觉坐标系间的转换关系，进而构建雷达捕获目标特征空间融合模型；将机器视觉的二维识别目标像素点，在雷达二维平面进行映射，根据计算机机器视觉环境相关识别算法及机器视觉成像原理，通过深度融合网络，建立机器视觉坐标系与像素坐标系间的线性转换关系；同时考虑到机器视觉对目标成像的畸变现象，通过先验的机器视觉训练库进行非线性畸变校正；结合以上两种转换关系，实现激光雷达坐标系和机器视觉图像像素坐标之间的转换；
[0025]结合声学、红外、热成像、GPS等多源传感器，形成特定场景的目标特征获取，进行特征校正，构建多传感器数据时间融合模型，并且通过空间模型校正；
[0026]利用时间及空间融合模型计算出探测目标在特征空间上的投影点，同时将投影点中建立包含机器视觉目标图像的感兴趣区域，利用深度学习网络在感兴趣区域内进行搜索
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议