一种多传感器深度融合提高目标检测能力的方法

一种多传感器深度融合提高目标检测能力的方法

技术领域

本发明涉及一种多传感器深度融合的方法，有效利用不同的传感器在不同的维度 对环境与目标的感知，所采集的各种数据做多层面的数据融合，从而提高系统环境感知与 目标检测能力。

背景技术

目前常用于环境感知的传感器有：摄像头，微波雷达，红外传感器，超声波雷达以 及激光雷达等，它们被广泛地用于车辆驾驶辅助系统(ADAS)和自动驾驶系统、机器人、无人 搬运车(AGV)，以及各种需要有环境感知与目标检测能力的设备与系统中。但是目前基本的 使用场景是各个感知系统各自为政，独立地在自己的探测维度里对环境目标做检测。即使 做多传感器的融合，往往也是浅层的，各传感器系统只做浅层的数据交互，比如在目标检测 的最初阶段对候选检测目标做筛选时集合各系统探测的数据做一个权重判别(作为候选目 标或者直接放弃)；或者，各系统在输出各自目标检测的结果后再做一次综合判断，基于系 统各自的权重来投票表决(分类器方法)统计计算出最终判定结果。这些系统没有对所采集 的各种数据做多层面的数据融合与深度学习，信息与决策分散，没有充分利用来自不同维 度的信息组合产生的更多样有效的特征提取与数据挖掘来有效地提高系统环境感知与目 标检测能力。

本发明的任务是提供一种方法，使系统内不同种类的传感器形成互补有效的系统 组合，各传感器充分利用各自最有效的探测维度进行环境感知与目标检测，把多个维度的 目标探测数据用矩阵数组(类似一个立体矩阵)的形式组合在一起，取得的数据做多层面的 数据融合与深度学习，充分利用来自不同维度的信息组合产生的更多样有效的数据挖掘与 特征提取，从而更有效的提高系统环境感知与目标检测能力。

发明内容

这是一种新的多传感器融合方法，用于环境感知与目标检测；利用深度的数据融 合，充分利用来自不同传感器的信息在多维度和多层次架构上做高效准确的目标检测。

我们把多个维度的目标探测数据用矩阵数组(类似一个立体矩阵)的形式组合在 一起。在摄像头成像的二维像面空间基础上，我们把每个像素包含的信息做了扩展，除了其 原本包含的亮度与颜信息，我们还为每个像素增加了多个纵向维度，在增加的纵向维度 上输入该像素在摄像头探测空间(物方空间)映射的目标物体单元被其它传感器探测到的 多种对应维度的信息，如相对距离、相对运动速度、目标的雷达散射截面RCS数据以及目标 的热辐射温度分布等数据，把多维度信息以分层的方式装配到原本以图像像素为单元的目 标物体描述子之上，在数学上表现为统一结构的矩阵数组。在本文中我们把这种目标的“多 维度测量参数”的矩阵数组描述称之为“多维像素”结构。在摄像头成像的每个像素为基础 维度上增加了其它传感器如雷达和红外传感器带来的距离、相对速度、目标的雷达散射截 面RCS数据以及目标的热辐射温度分布等数据，增加系统感知深度，建立了以摄像头像素为 颗粒度的立体多维深度感知矩阵数组，原来的每一个像素变成了本发明中的每一个多维像 素。我们把不同维度的探测数据用矩阵数组的形式组合在一起，组成一个“多维度测量参 数”的矩阵数组，简称多维像素矩阵，是本发明的创新。

“多维度测量参数”的矩阵数组(既多维像素矩阵)描述示意图如图1所示。我们还 可以在此基础上增加更多的数据维度(带入更多传感器的数据封装)，组合方式相同。另外， 纵向的矩阵数组顺序可以改变(当然，顺序的改变可能意味着机器学习要重新再次训练)。

在有些特殊情况下，我们会只有单摄像头参与到多传感器的组合中，比如摄像 头只用于近红外成像场景，摄像头只输出单图像；在这种情况下，本发明的多维像素结构 仍然有效，只是RGB(或者YUV)三层输入数据更改为单层Y(像素亮度)数据结构，在单层像素 亮度的基础上用上述相同的多维像素结构方法来组合其它传感器的输入信息，产生“多维 度测量参数”的矩阵数组，既多维像素矩阵。

多维像素的横截面坐标对等于摄像头像平面的像素坐标，因为多维像素是基于摄 像头像平面的像素信息做了扩展，每个像素增加了多个纵向维度的信息组合而来；我们把 从摄像头像素平面坐标位置为(x，y)的像素(既“像素(x，y)”)扩展而来的多维像素的个体 称之为“多维像素(x，y)”。

对于雷达等其他传感器带来的目标相对距离、相对速度、目标的雷达散射截面RCS 数据，我们可直接把相对距离、相对速度、目标的雷达散射截面RCS数据值直接赋值到各多 维像素对应的矩阵层上，也可以把这些赋值先经过相应的公式计算后把计算结果再赋值到 各多维像素对应的矩阵层上，比如：我们希望在多维像素的R(RCS)层输入的是RCS映射到雷 达接收功率P的相应值，那我们可以先将对应多维像素横截面坐标位置为(x，y)上的“多维 像素(x，y)”之RCS值先做如下计算：P(x，y)＝RCS(x，y)/(L(x，y)⁴)，其中，RCS(x，y)是指“多 维像素(x，y)”的RCS值，L(x，y)是指“多维像素(x，y)”中雷达探测到目标的相对距离值。所 以，多维像素在每个像素为基础维度上增加了其他传感器如雷达和红外传感器带来的距 离、相对速度、目标的雷达散射截面RCS数据以及目标的热辐射温度分布图像等数据，既可 以是探测数据的直接赋值，也可以是这些数据经过函数换算后再赋值，如图2示意图所示。

系统数据处理的流程以及数据结构如下(多层结构的矩阵数组)：首先，我们要把 来自不同传感器的探测目标数据组合起来。在本发明里第一步我们先使用几何空间转换的 方式在标准的三维欧氏立体几何空间(空间坐标系标注为X/Y/Z轴)把各传感器的探测域 (数据探测采集的物理空间区域)关联起来，建立一一对应关系。由于各传感器安装的空间 位置可能不同，我们通过传感器安装的空间参数把各传感器各自的探测域(各自的探测空 间)的中心轴线(X′/Y′/Z′轴)计算出来，然后通过对各自坐标系的平移、旋转和缩放，把它 们统一到摄像头的3维探测空间(物方视场)坐标里，建立起系统的统一探测空间以及共同 的探测视角，然后根据雷达、红外热成像仪等其它传感器探测域在摄像头成像面对应之2维 物面上建立映射关系(2维物面在物方空间)，把它们探测到的目标根据此映射关系与摄像 头成像的各像素建立对接，将目标探测数据一一对应地赋值到多维像素矩阵中的相应位置 上。由于真实系统往往有产品公差以及安装误差，我们也会结合几何标定的方法把各传感 器各自的探测域(各自的探测空间)的中心轴线(X′/Y′/Z′轴)检测出来，再通过对各自坐标 系的平移、旋转和缩放，把它们统一到同一个坐标系里，建立起系统的统一探测域(三维的 几何空间)，把各传感器各自独立的探测区域在系统的统一区域里建立起一一对应关系。 (几何标定的方法是：我们在多个确定空间位置坐标的位置上放置标靶，再用传感器测量到 的这些标靶的位置读数，把标靶位置读数与它们在现实中的物理空间位置建立映射关系， 从而确立该传感器探测目标空间的坐标读数与实际几何空间位置的对应关系)。

我们也可以再进一步，利用算法细微调整几何空间映射关系来减小几何映射定位 误差。原理如下：在系统最终目标检测出来后，我们把探测域中的多个检出目标在各自的传 感器检测空间区域里做独立的定位计算，把最终的结果映射到“多维像素”的对应矩阵数组 (层)上，在这个维度(当前层)去比较(计算)与之前使用几何空间转换方式产生的相同目标 之定位位置的误差(我们称之为“几何映射定位误差”)，然后缩放和平移的对应矩阵数组 (层)与摄像头的像素图层的相对位置，减少“几何映射定位误差”，同时对“多维像素”的对 应数据矩阵数组(层)里的值按照新的像素位置映射关系做调整。这样我们可以进一步减小 不同轴的几何空间转换引入的映射误差，使得“多维像素”矩阵数组组合地更精确。

建立起系统的统一探测域后，多传感器组合的探测域空间映射关系如图3所示。由 于我们的多维像素的组合是“每个像素增加了多个纵向维度，在增加的纵向维度上输入该 像素在摄像头探测空间(物方空间)映射的目标物体单元被其它传感器探测到的多种对应 维度的信息”，所以把其它各种传感器的探测空间统一映射到摄像头探测空间上与其光轴 对齐一致，并且其它各种传感器探测域的顶点与摄像头的入瞳中心重合，如图3所示，非常 重要。在图3的示意图里，我们采用了摄像头+雷达+红外热成像仪的组合来做示意，这是一 种比较典型的组合，如果再加入其他传感器，多维像素数据映射的原理也是一样的。

在实际应用中，各个传感器应尽可能在空间结构上实现接近同轴安装，越靠近越 好，这样有利于减少因为不同轴的几何空间转换引入的映射误差(结果类似于虚像)。

由于初始输入时雷达和红外传感器的空间角度分辨率和摄像头可能不同(目前雷 达的空间角度分辨率还不高)，在数据装配的时候我们会采用插值的方法解决这个问题(详 见具体实施方法)。

当多维像素对应的矩阵数组生成后，后续我们可以采用各种传统的特征值+分类 器的方式对各层数据进行分析处理，来检测目标；也可以采用神经网络的方式做后续的检 测处理；或者两种方式混合处理。无论那种方式，由于我们把多维度的目标探测信息统一到 了一个矩阵数组中，以像素为单元做映射组合起来，这样的深度融合数据组合，对目标的检 出质量的提升有巨大的帮助。特别是针对神经网络，由于输入多维像素矩阵，网络会相应产 生更多层的feature map，有了更丰富的多层多维度的特性提取，我们可以更加高效高质量 地做目标的检测与定位。多维像素矩阵对算法的匹配性非常好，目前流行的神经网络算法， 比如R-CNN、Faster R-CNN、SSD等，对应我们的多维像素矩阵输入(多层输入)做相应的改动 即可适用。

我们对于目标的检测往往采用机器学习的方式，这就会涉及到目标样本的采集与 系统的训练。本发明之多维度测量参数的矩阵数组描述方式(多维像素)对于目标样本的采 集与训练带来便利；多维像素每层的信息相对是独立的，每层的结构可以增减，在后续处理 中可以动态地对其中的一层或者是多层激活(这些层的信息参与目标的测定与描述)或者 不激活(这些层的信息不参与目标的测定与描述)，但是总体上不妨碍以多维像素结构来对 目标的探测与标记。我们建议在目标样本采集时，激活多维像素的所有矩阵数组层，但是在 训练时可以根据特定的场景(白天、夜晚、传感器探测视野的重叠状态等不同情况)动态的 组合其中的特定矩阵数组层的激活来用于训练，以匹配相应的场景。对于多传感器探测区 域，无论是几种的组合，我们都可以利用“多维像素”矩阵数组把它们有机地结合在一起，用 相同的处理算法框架来检测目标；他们的训练方式(包含数据样本的采集)也可以融合在一 起，一次实现。这是本发明的另一个技术特点，也是使用“多维像素”结构来描述目标物体的 方法带来的好处。

附图说明

图1：“多维度测量参数”矩阵数组结构示意图

图2：“多维度测量参数”经过函数换算后的矩阵数组结构示意图

图3：多传感器组合的探测域空间映射关系示意图

图4：多传感器组合的探测视野示意图

具体实施方法

我们采用摄像头，微波雷达以及红外热成像仪组成多传感器融合系统。这是一种 常用的多传感器组合，摄像头输出彩图像(RGB或者YUV数据)，微波雷达输出探测目标的 距离、相对速度、方位角以及目标的雷达散射截面RCS(Radar Cross-Section)数据，红外热 成像仪输出目标的热辐射温度分布图像。这样的组合可以从多个维度感知与探测目标，可 以有效的工作在多种工况下(白天，黑夜，大雾雨天等恶劣环境)。在本发明里，多种传感器 可以灵活搭配组合，所以在这里可以一个系统里三者全用(摄像头+微波雷达+红外热成像 仪)，又可以采用两两组合的方式：摄像头加微波雷达，摄像头加红外热成像仪，甚至是微波 雷达加红外热成像仪的组合。由于把多个维度的目标探测数据用矩阵数组(类似一个立体 矩阵)的形式组合在一起，系统可以根据硬件配置或者场景(白天，夜晚等不同工况下)动态 地调整用于目标识别的传感器输入参数的维度(调整多维度目标探测数据矩阵数组的激活 层数)，使用多维像素的子集来检测，比如在夜晚行车中我们要检测车灯照射范围之外的目 标，我们可以只激活雷达的输入矩阵以及红外热成像仪的输入矩阵。甚至还可以采取硬件 动态配置的方式，动态地加入或者移除一种传感器，系统仍能工作。系统硬件的灵活组合能 力，除了提供系统硬件配置成本选择的灵活性之外，还能给用户带来的好处是：在某种场景 下系统的其中一种传感器失效(或者损坏)，系统通过软件配置的调整仍能保持有效运作， 增强了系统运行的鲁棒性。在一些应用领域，比如ADAS或者是自动驾驶应用，增加系统的鲁 棒性非常必要。

由于各传感器的探测视野可能不同，它们之间的映射关系可能会部分重叠。如图4 所示，外面的单实线框表示摄像头成像区域，里面的单实线框内是红外热成像仪成像区域， 虚线框内标识区域是雷达探测区域，它们部分重叠组成交错的探测区域：1)A类区域是三种 传感器共同探测的区域，2)B与C类区域是雷达与摄像头共同探测的区域，3)D与E类区域是 摄像头与红外热成像仪共同探测的区域，4)G类区域为只有摄像头探测的区域。我们最关心 的是三种传感器共同探索的区域(A类区域)，这个区域可以最充分地利用多传感器融合带 来的多数据维度的精确探测。第二个重要的区域是摄像头和毫米波雷达重叠的区域(B与C 类区域)，摄像头与毫米波雷达的探测维度互补性很强，这两种传感器的融合也非常有意 义。第三个重要的融合区域是摄像头与红外热成像仪重叠的区域，在这个区域里，红外热成 像仪可以弥补摄像头在夜晚、大雾天等工况下的不足；但是由于两者都是产生图像信息，他 们之间的信息融合，更多的技术挑战来自与分辨率上面的匹配，需要用图像插值的方式把 红外传感器的图像分辨率(像素数目)放大，或者把摄像头图像分辨率缩小，以达到相互的 匹配，然后，把红外传感器的图像(我们标记为H维度)附加到有摄像头的RGB(或者YUV)数据 结构的矩阵数组中。

在A区域(三种传感器共同探测到的区域)，我们把摄像头把采集到的数据，按照 RGB颜(顺序可以交换)三层排列，假设每层的像数尺寸(既分辨率)为X*Y(例如：1920* 1080-对应1080P分辨率的摄像头)，如果原始数据输入是YUV格式，也可以按照YUV三层排 列，但是我们建议最好转换为RGB数据结构(YUV转RGB)，因为这样可以减少各层数据的关 联，有利于后续独立的特征提取。我们把这三层立体的数据结构(大小为：X*Y*3)作为“摄像 头的原始数据输入层”，然后，在摄像头的原始数据输入层上按照多维像素的结构加入微波 雷达采集的数据。

雷达采集的数据如果和摄像头像素数据直接匹配的话，雷达数据过于稀疏，如果 要同摄像头影像数据按照像素关系来直接逐点匹配，需要先做处理，把雷达数据转换成具 备张量结构的密集的类图像数据。在本发明里我们设计了如下的方法把雷达的数据输入到 我们的系统“多维像素矩阵”：1)利用几何投影的方式，把雷达的探测空间投影到摄像头成 像面对应的2维物面之上，作为雷达目标的2维映射面(如图3示意图所示)；其2维空间分辨 率等于系统里与之匹配的摄像头的像素分辨率，建立雷达的数据与摄像头数据逐点的一一 对应映射关系；雷达探测到的目标(像)，映射到雷达目标的2维映射面上，生成“雷达感知矩 阵”；在矩阵层(深度)上雷达感知矩阵的数据(层)由以下“雷达原始数据输入”分门别类复 合组成：L(目标距离值)层，S(相对速度值)层，R(雷达散射截面值)层；同样，这些层的顺序 可以交互，也可以灵活组合(L、S、R全部激活)，或者只选其中的一种(L或者S或者R)或者其 中2种(L+S、S+R等)。目前毫米波雷达的空间分辨率比较低，目标的角分辨率不高导致其数 值投影在目标的2维映射面上会有比较大的“可能覆盖面积”，类似于雷达的原始像素颗粒 尺寸比摄像头的像素尺寸大，分辨率低，为了把每一个“多维像素”的每一层数据矩阵都对 应赋值，我们需要对“雷达二维映射面”插值，提高其分辨率使其与摄像头的像素匹配，然后 再对每一个“多维像素”都逐一赋值。常用的插值方法，比如：最近邻插值、双线性插值、三次 卷积法等都可以采用。2)由于雷达数据是稀疏的，在雷达的数据结构(矩阵数据层L、S、R等) 里，在雷达有探测到目标的区域，雷达的数据会一一对应地赋值过去。但是在没有探测到目 标的区域，我们把这些区域对应的雷达的原始数据赋值为“0”，或者按照事先设定的代表背 景的缺省数值，以保证雷达数据矩阵中的每一个矩阵单元都有赋值。

红外热成像仪采集的图像也是以像素为单位的。我们通过适当的插值方式放大图 像分辨率来匹配摄像头的分辨率，把红外热成像仪采集的图像(一般为黑白的亮度像素信 息)逐点对应赋值到“多维像素”数据结构里对应的矩阵，在这里我们把它称为“H”矩阵。一 般情况下红外热成像仪的分辨率低于普通摄像头分辨率，我们用插值放大分辨率的方式来 处理；当然也不排除特殊情况，红外热成像仪的图像分辨率高于系统安装的摄像头分辨率， 这样的话我们可以采用缩小热成像仪分辨率的方式来处理；总之基本原理就是通过图像的 合理缩放，使得两种传感器的分辨率相同然后对多维像素的对应数据层赋值。

针对多传感器的组合，目前我们选择最通用的摄像头+毫米波雷达+红外热成像 仪；这个组合是灵活多样的，可以三种传感器都选择组成一个系统，也可以选择其中的两样 传感器(摄像头+其他)组成一个系统，传感器的数量也是灵活配置，可以是多个摄像头加多 个雷达加多个热成像仪组成一套系统。但是各种组合不变的原则是：摄像头输出彩图像 (RGB或者YUV数据)，微波雷达输出探测目标的距离、相对速度、方位角以及目标的雷达散射 截面RCS数据，红外热成像仪输出目标的温度分布图像，我们把这些物理探测维度映射到探 测目标上，使得探测目标可以在超越单一传感器探测维度被检测、分类、识别，系统能有更 高的目标检出率和更好的识别能力与识别质量。

在我们的系统里，在选择“摄像头+毫米波雷达+红外热成像仪”组合之上，我们还 可以引入其他种类的传感器，比如激光雷达等，新的传感器带入的探测参数也可以附加在 我们的“摄像头+毫米波雷达+红外热成像仪”系统的数据结构组合中，成为我们“多维像素” 的一部分。

本发明中，我们使用多传感器从多个探测维度来识别目标，我们把多个维度的目 标探测数据用矩阵数组(类似一个立体矩阵)的形式组合在一起，这个数据的矩阵数组的每 一个“多维像素”都有机结合了多维度感知的探测信息，而且在一个单元里(一个“多维像 素”里)，这样的结构对后续的数据处理(无论采用传统的特征值加分类器的方法，还是神经 网络的方法，或者是两者的结合)，以及训练样本的采样都带来了巨大的便利。这样的数据 装配对与空间导航与定位(比如SLAM)也非常有效，因为在我们这种“多维像素”描述体系 里，目标物体的直接描述不仅具备特征数据(用于分类识别)，还具备三维的位置空间信息 (XY轴上的空间角度以及探测器到目标的距离)，目标识别的结果可以直接用来做空间定 位。

本发明适用于车辆驾驶辅助系统(ADAS)和自动驾驶系统、机器人、无人搬运车 (AGV)，以及各种需要有环境感知与目标检测能力的设备与系统中。