一种自动驾驶汽车环境感知方法、装置和存储介质与流程

1.本发明属于车辆辅助驾驶技术领域，具体涉及一种自动驾驶汽车环境感知方法、装置和存储介质。

背景技术：

2.近些年来，随着自动驾驶汽车技术的发展，用户对自动驾驶汽车的自动化等级要求也越来越高。当前，单一的传感器具有一定的局限性，难以适应所有的场景。而导致在某些工况下，易发生检测到不影响安全行驶的物体，如井盖、高架等而导致急刹车等情况，或存在目标漏检的情况，增加了追尾等事故的发生概率，严重影响用户的驾乘体验。另外，如何在保护驾乘人员隐私的情况下实时检测车内人员的数量、健康状态的需求也日益增多。所以，如何高效的检测有效的目标(影响自车行驶的目标)，显得格外的重要。

技术实现要素：

3.为提高自动驾驶过程中目标检测的有效性和感知效率的问题，在本发明的第一方面提供了一种自动驾驶汽车环境感知方法，包括：实时获取并同步多个视觉传感器和多个毫米波雷达的连续多帧数据，并根据其判断每个视觉传感器和每个毫米波雷达是否失效，其中所述多个视觉传感器和多个毫米波雷达分别安装在自身车辆的多个位置上；利用一个或多个未失效的视觉传感器，识别当前自身车辆所在场景；根据当前自身车辆所在场景，调整视觉传感器和毫米波雷达的置信度；将置信度最高的视觉传感器或毫米波雷达作为感知环境目标的主传感器，并利用其进行环境感知；根据当前时刻及其相邻时刻的自身车辆所在场景，判断当前场景是否发生改变，并切换感知环境目标的主传感器。
4.在本发明的一些实施例中，所述根据当前自身车辆所在场景，调整视觉传感器和毫米波雷达的置信度，并将置信度最高的视觉传感器或毫米波雷达作为感知环境目标的主传感器包括：若当前自身车辆所在场景被识别为第一类场景，则提升视觉传感器的置信度，并将置信度最高的视觉传感器作为感知环境目标的主传感器；若当前自身车辆所在场景被识别为第二类场景，则提升毫米波雷达的置信度，并将置信度最高的毫米波雷达作为感知环境目标的主传感器。
5.进一步的，所述根据当前时刻及其相邻时刻的自身车辆所在场景，判断当前场景是否发生改变，并切换感知环境目标的主传感器包括：根据当前时刻及其相邻的多个时刻的自身车辆所在场景，判断场景是否发生改变：若一个或多个视觉传感器在动态阈值时间内连续识别到第二类场景中的目标，则判断场景发生改变，并将主传感器切换为毫米波雷达；若一个或多个毫米波雷达在动态阈值时间内连续识别到第一类场景中的目标，则判断场景发生改变，并将主传感器切换为视觉传感器。
6.进一步的，所述第一类场景中的目标包括井盖或高架；第二类场景中的目标包括：雾、雨、雪、冰或雹。
7.在本发明的一些实施例中，还包括：当场景发生改变时，将视觉传感器识别的目标
与毫米波雷达检测到的目标进行匹配。
8.在上述的实施例中，所述同步多个视觉传感器和多个毫米波雷达的连续多帧数据包括：利用线性差值或b样条插值对所述多个视觉传感器和毫米波雷达进行时间同步。
9.本发明的第二方面，提供了一种自动驾驶汽车环境感知装置，包括：获取模块，用于实时获取并同步多个视觉传感器和多个毫米波雷达的连续多帧数据，并根据其判断每个视觉传感器和每个毫米波雷达是否失效，其中所述多个视觉传感器和多个毫米波雷达分别安装在自身车辆的多个位置上；调整模块，用于利用一个或多个未失效的视觉传感器，识别当前自身车辆所在场景；根据当前自身车辆所在场景，调整视觉传感器和毫米波雷达的置信度；感知模块，用于将置信度最高的视觉传感器或毫米波雷达作为感知环境目标的主传感器，并利用其进行环境感知；切换模块，用于根据当前时刻及其相邻时刻的自身车辆所在场景，判断当前场景是否发生改变，并切换感知环境目标的主传感器。
10.本发明的第三方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明在第一方面提供的自动驾驶汽车环境感知方法。
11.本发明的第四方面，提供了一种计算机可读介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现本发明在第一方面提供的自动驾驶汽车环境感知方法。
12.本发明的有益效果是：
13.本发明了采用yolov5、yolox或对其改进的网络等深度学习的算法对摄像头数据实现目标检测及场景理解，进而不同场景而动态调整不同传感器输出目标的置信度，进而能够充分利用不同传感器的优点，以实现实时检测有效目标，提高检测率并降低虚警率，输出车道线类型及可行驶区域等内容，为用户的规划控制等提供可靠的依据。同时，在保护用户隐私的情况下，能够实时检测车内驾乘人员的数量及健康状态；另一方面，本发明通过场景理解，针对摄像头、毫米波雷达的优缺点建立场景库，进而对摄像头、毫米波雷达进行感知场景分类。比如，在雾天、阴雨天气或光线不好的情况下，毫米波雷达比摄像头的检测效果较好，故在此类场景工况下，提升毫米波雷达检测的置信度。而在高架桥、井盖等场景情况下，摄像头的检测效果相对较好，故在此类场景工况下，提升摄像头的检测置信度。在不同场景工况下，采用相应的传感器处理，减少了多传感器目标融合的计算量，提升了自动驾驶汽车环境感知的有效性及计算效率。
附图说明
14.图1为本发明的一些实施例中的自动驾驶汽车环境感知方法的基本流程示意图；
15.图2为本发明的一些实施例中的视觉传感器和毫米波雷达安装布局示意图；
16.图3为本发明的一些实施例中的自动驾驶汽车环境感知方法的具体流程示意图；
17.图4为本发明的一些实施例中的自动驾驶汽车环境感知装置的结构示意图；
18.图5为本发明的一个实施例中的自动驾驶汽车环境感知装置的结构示意图；
19.图6为本发明的一些实施例中的电子设备的结构示意图。
具体实施方式
20.以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
21.参考图1与图2，在本发明的第一方面，提供了一种自动驾驶汽车环境感知方法，包括：s100.实时获取并同步多个视觉传感器和多个毫米波雷达的连续多帧数据，并根据其判断每个视觉传感器和每个毫米波雷达是否失效，其中所述多个视觉传感器和多个毫米波雷达分别安装在自身车辆的多个位置上；s200.利用一个或多个未失效的视觉传感器，识别当前自身车辆所在场景；根据当前自身车辆所在场景，调整视觉传感器和毫米波雷达的置信度；s300.将置信度最高的视觉传感器或毫米波雷达作为感知环境目标的主传感器，并利用其进行环境感知；s400.根据当前时刻及其相邻时刻的自身车辆所在场景，判断当前场景是否发生改变，并切换感知环境目标的主传感器。
22.可以理解，视觉传感器和毫米波雷达相对于激光雷达来说，价格较低，更易于在汽车领域推广应用。视觉传感器和毫米波雷达各有各自的优势和缺点，其中摄像头对光线等因素较为敏感，而雨、雪、雾及光线等对毫米波雷达影响较小。本公开中视觉传感器包括但不限于激光扫描器、线阵和面阵ccd摄像机或者tv摄像机、数字摄像机以及智能终端设备上的一个或多个摄像头模组。毫米波雷达包括但不限于工作在毫米波波段(millimeter wave)探测的雷达。通常毫米波是指30～300ghz频域(波长为1～10mm)的。由于毫米波的波长介于厘米波和光波之间，因此毫米波兼有微波制导和光电制导的优点，毫米波导引头穿透雾、烟、灰尘的能力强，具有全天候(大雨天除外)全天时的特点。本公开的摄像头原始数据(视觉传感器)是指摄像头输出的图像数据；毫米波雷达数据可以是毫米波雷达输出的中频信号，也可以是输出的目标；在实施过程中，需要先对一个或多个摄像头/毫米波雷达进行联合标定，待其标定后，应以后轴中心为原点。优选地，场景识别/理解的摄像头为前视摄像头c1。
23.参考图2，在本发明的一些实施例的步骤s100中，实时获取并同步多个视觉传感器和多个毫米波雷达的连续多帧数据，并根据其判断每个视觉传感器和每个毫米波雷达是否失效，其中所述多个视觉传感器和多个毫米波雷达分别安装在自身车辆的多个位置上。
24.具体地，以普通的乘用车为例，其包含8～10个毫米波雷达，6～8个摄像头。其中前视摄像头c1/毫米波雷达r1，主要是实现前向碰撞预警fcw(forward collision warning)、行人碰撞预警pcw(pedestrian collison warning)，摄像头c1还具有车道偏离预警ldw(lane departure warning)、车道保持辅助lka(lane keeping assist)，交通标志识别tsr(traffic sign recognition)等功能；毫米波雷达r2和r3主要是为了检测横向障碍物。
25.本公开通过帧间相关模块实现视觉传感器和毫米波雷达的数据获取和同步，其针对连续多帧图像/雷达数据做处理，以判断传感器的工作状态。例如，若连续5帧的图像数据有3帧及其以上的图像数据分辨率与设定的分辨率相差较大、图像数据变化大于预设的阈值，则摄像头工作状态较差；若摄像头无图像数据输出，则该摄像头已失效。对于毫米波雷达连续5帧数据，若有3帧及其以上的数据差别大于预设定的阈值，或者刷新率不一致等情况，则该传感器工作状态较差；若连续3帧无雷达数据，则该传感器已失效。若连续5帧的摄像头数据分辨率大小一致，图像数据质量相差在预设定阈值范围内，则摄像头工作正常；若连续5帧的毫米波雷达数据相差在预设定阈值范围内，且数据更新频率一致，则该传感器工
作正常。若摄像头或者毫米波雷达中的一种传感器失效，则以工作正常的传感器检测目标为准，此时自动驾驶等级需降低。
26.参考图3，在本发明的一些实施例的步骤s200中，所述根据当前自身车辆所在场景，调整视觉传感器和毫米波雷达的置信度，并将置信度最高的视觉传感器或毫米波雷达作为感知环境目标的主传感器包括：s201.若当前自身车辆所在场景被识别为第一类场景，则提升视觉传感器的置信度，并将置信度最高的视觉传感器作为感知环境目标的主传感器；s202.若当前自身车辆所在场景被识别为第二类场景，则提升毫米波雷达的置信度，并将置信度最高的毫米波雷达作为感知环境目标的主传感器。可以理解，当最高置信度的视觉传感器或毫米波雷达为多个时，则将置信度最高的多个毫米波雷达或视觉传感器共同作为感知环境目标的主传感器。
27.具体地，通过场景理解模块实现步骤s201和s202中的识别过程；场景理解模块是指在采用yolox、yolov5等经典的或改进的深度学习算法处理前视相机数据，其主要是输出当前场景的工况(高速场景、市区场景、郊区场景等)、天气(晴天、雨天、雾、雪、霾等)、井盖、高架、车辆、行人、摩托车、自行车、红绿灯及交通标示等等内容。场景理解中所用到的深度学习模型，可以基于pytorch、caffe、tensorflow，paddlepaddle等框架，其在对样本标注时对不同的天气、光线、井盖、高架等情况进行了标注。采用经典的深度学习算法对这些数据进行训练而得到的场景理解及目标检测模型。当摄像头检测到雾天、雨雪天、光线太暗或太强等摄像头难以处理的场景，该场景可称之为radarscene，提升毫米波雷达目标检测感知的置信度，则以毫米波雷达处理的结果为准。当摄像头检测到井盖、高架等场景时，该场景可称之为camerascene，提升摄像头目标检测感知的置信度，则以摄像头处理的结果为准；除了上述工况外，则以摄像头处理的结果为准。毫米波雷达与摄像头的工作频率不一致，可采用线性插值、b样条插值等方法进行多传感器的时间同步。本方案在实时过程中，实时保存多帧摄像头目标、毫米波雷达检测目标的id、时间戳time、距离(x，y)、速度(vx，vy)等信息。
28.在上述实施例记载的第一类场景和第二类场景的基础上，步骤s400中，所述根据当前时刻及其相邻时刻的自身车辆所在场景，判断当前场景是否发生改变，并切换感知环境目标的主传感器包括：s401.根据当前时刻及其相邻的多个时刻的自身车辆所在场景，判断场景是否发生改变：
29.s4011.若一个或多个视觉传感器在动态阈值时间内连续识别到第二类场景中的目标，则判断场景发生改变，并将主传感器切换为毫米波雷达；s4012.若一个或多个毫米波雷达在动态阈值时间内连续识别到第一类场景中的目标，则判断场景发生改变，并将主传感器切换为视觉传感器。
30.具体地，当k时刻的场景类型与k+1、k+2、k+3时刻的场景均不一致时，可判定为场景类型发生了改变。若当前场景为radarscene，当摄像头连续三帧或更多帧检测到高架、井盖等目标时，则判定为场景发生了改变，通过阈值动态调整模块进行处理，将提升摄像头目标输出的置信度，进而将radarscene切换至camerascene工作场景模式。在此切换过程中，雷达检测的目标与摄像头检测的目标采用最近邻等方法根据雷达和摄像头目标的距离、速度等信息进行匹配，并将匹配后的摄像头目标id赋值为相应的雷达目标id，进而使得目标id持续稳定不变。通过该方法可以场景切换的平稳过渡，避免目标id变化或目标轨迹不连
续的情况发生。
31.在所有摄像头及毫米波雷达工作状态良好时：(1)场景识别/理解的摄像头为前视摄像头c1；(2)当前视摄像头检测的场景为毫米波雷达适宜的场景时，提高毫米波雷达的置信度，输出毫米波雷达检测到的目标，若此时由摄像头输出的目标转换为毫米波雷达输出目标时，其可采用k最邻近等方法将摄像头检测的目标与毫米波雷达检测的目标进行匹配，以保证两种传感器共有的目标id、时间戳等信息沿用摄像头检测的目标信息，即保证目标id、时间戳等内容保持不变。该步骤可在流程图的目标及目标信息模块中实现。同理，若当前视摄像头检测到场景为摄像头适宜的场景或摄像头与毫米波雷达均适宜的场景，提高摄像头的置信度，此时输出的目标是由毫米波雷达输出转换为摄像头输出的目标，其可采用k最邻近等方法将毫米波雷达检测的目标与摄像头检测的目标进行匹配，以保证两种传感器共有的目标id、时间戳等信息沿用毫米波检测的目标信息，即保证目标id、时间戳等内容保持不变。该步骤可在流程图的目标及目标信息模块中实现。
32.另外，当前视摄像头检测到当前的场景为摄像头与毫米波雷达均不适宜的场景时，摄像头与毫米波雷达的置信度相等，雷达或摄像头能够检测到的目标均可能是真实目标，需减速慢行、或停车检查。综上，所有传感器工作状态良好时，不同场景对应不同的传感器输出的目标，其具体如下表所示：
[0033][0034]
在一些工况下，多个摄像头不限于是先进行图像拼接，然后再输出本车周围的信息，包括行人、车、摩托车等障碍物，车道线、可行驶区域及红绿灯等信息。也可以是先进行检测，然后再根据不同摄像头的置信度对重合区域进行处理，再输出本车的周围信息。其中，不管是哪种工作场景，输出车道线、可行驶区域及红绿灯等信息均由摄像头输出。
[0035]
在另一些工况下，仅当前视摄像头c1工作状态出现异常时，输出的目标以毫米波雷达的目标，用户需减速慢行、或停车检查。仅当毫米波雷达r1工作状态出现异常时，输出的目标以前视摄像头c1的目标，用户需减速慢行、或停车检查。当一个传感器或多个传感器
出现异常或故障时，用户需减速慢行、或停车检查。
[0036]
阈值动态调整(主要是针对当前的场景，选定相应的传感器并对动态调整相应的阈值/置信度，进而输出有效的目标及其目标信息。若是在高架、井盖等场景下，将摄像头输出目标的置信度提升至大于0.5，进而进入camerascene工作场景模式。若在雨、雪、雾灯天气、光线较差的场景下，可提升雷达输出目标的置信度，将雷达输出目标的置信度提升至大于0.5，进而进入radarscene工作模式。
[0037]
在本发明的一些实施例中，还包括：当场景发生改变时，将视觉传感器识别的目标与毫米波雷达检测到的目标进行匹配。具体地，目标及目标信息模块是将摄像头和雷达检测的目标进行处理，并可实现雷达目标列表rtarget＿list，摄像头目标列表ctarget＿list。其中，目标信息包括目标的id、时间戳time、位置(x，y)，速度(vx，vy)等信息。目标列表可以对目标的id时间戳、位置、速度等信息进行排序。另外，在camerascene工作模式与radarscene工作模式切换时，该模块还实现目标id赋值的操作。具体实现方式是当camerascene工作模式切换至radarscene模式时，摄像头检测的目标通过进行最近邻等方法与雷达检测的目标进行匹配，并将摄像头检测的目标id赋值匹配后的雷达目标id，以保证目标id的连续性和稳定性。
[0038]
在上述的实施例中，所述同步多个视觉传感器和多个毫米波雷达的连续多帧数据包括：利用线性差值、b样条插值对所述多个视觉传感器和毫米波雷达进行时间同步。
[0039]
实施例2
[0040]
参考图4，本发明的第二方面，提供了一种自动驾驶汽车环境感知装置1，包括：获取模块11，用于实时获取并同步多个视觉传感器和多个毫米波雷达的连续多帧数据，并根据其判断每个视觉传感器和每个毫米波雷达是否失效，其中所述多个视觉传感器和多个毫米波雷达分别安装在自身车辆的多个位置上；调整模块12，用于利用一个或多个未失效的视觉传感器，识别当前自身车辆所在场景；根据当前自身车辆所在场景，调整视觉传感器和毫米波雷达的置信度；感知模块13，用于将置信度最高的视觉传感器或毫米波雷达作为感知环境目标的主传感器，并利用其进行环境感知；切换模块14，用于根据当前时刻及其相邻时刻的自身车辆所在场景，判断当前场景是否发生改变，并切换感知环境目标的主传感器。
[0041]
进一步的，所述调整模块包括：第一调整单元，用于若当前自身车辆所在场景被识别为第一类场景，则提升视觉传感器的置信度，并将置信度最高的视觉传感器作为感知环境目标的主传感器；第二调整单元，用于若当前自身车辆所在场景被识别为第二类场景，则提升毫米波雷达的置信度，并将置信度最高的毫米波雷达作为感知环境目标的主传感器。
[0042]
参考图5，在本发明的一个实施例中，调整模块主要通过阈值动态调整模块、目标及目标信息模块、和数据后处理模块实现，其主要是针对当前的场景，选定相应的传感器并对动态调整相应的阈值/置信度，进而输出有效的目标及其目标信息。若是在高架、井盖等场景下，将摄像头输出目标的置信度提升至大于0.5，进而进入camerascene工作场景模式。若在雨、雪、雾灯天气、光线较差的场景下，可提升雷达输出目标的置信度，将雷达输出目标的置信度提升至大于0.5，进而进入radarscene工作模式。
[0043]
目标及目标信息模块是将摄像头和雷达检测的目标进行处理，并可实现雷达目标列表rtarget＿list，摄像头目标列表ctarget＿list。其中，目标信息包括目标的id、时间戳time、位置(x，y)，速度(vx，vy)等信息。目标列表可以对目标的id时间戳、位置、速度等信
息进行排序。另外，在camerascene工作模式与radarscene工作模式切换时，该模块还实现目标id赋值的操作。具体实现方式是当camerascene工作模式切换至radarscene模式时，摄像头检测的目标通过进行最近邻等方法与雷达检测的目标进行匹配，并将摄像头检测的目标id赋值匹配后的雷达目标id，以保证目标id的连续性和稳定性。
[0044]
数据后处理模块，该模块包含数据保存模块、报警模块、车道线及可行驶区域、预测模块等内容。其中，数据保存模块是保存雷达、摄像头的原始数据及检测目标的id、时间戳time、位置(x，y)、速度(vx，vy)等信息，以便用户回放及事故调查。报警模块是通过判断本车与周围目标的不同距离来划分危险等级，具体的可以是危险等级可划分为1－5，共5级。当目标距离本车小于等于0.1m时，为最危险等级5；当目标距本车小于等于3m大于0.1m时，为较危险等级4；当目标距离小于10m且大于等于3m时，为普通危险等级3；当目标距本车距离小于20m且大于等于10m时，为较为安全等级2；当目标距本车距离大于等于20m时，为安全等级1。其中，距离大小可根据不同场景模式及车速进行适当调整。预测模块是实现目标轨迹的预测，可采用长短期记忆网络lstm(long short－term memory)等神经网络方法实现目标轨迹的预测，为规划避障提供依据。
[0045]
车道线及可行驶区域是为定位及规划提供可靠的数据支撑，通过yolop、pspnet等一种或多种网络实现摄像头数据的车道线及可行驶区域检测。通过环视摄像头检测自车两侧的车道线，并将自车边缘与距两侧车道线的距离进行对比，并此信息传递给定位、规控模块实现车辆位姿微调，进而可实现自车始终按照车道中心线行驶。
[0046]
实施例3
[0047]
参考图6，本发明的第三方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明在第一方面的自动驾驶汽车环境感知方法。
[0048]
电子设备500可以包括处理装置(例如中央处理器、图形处理器等)501，其可以根据存储在只读存储器(rom)502中的程序或者从存储装置508加载到随机访问存储器(ram)503中的程序而执行各种适当的动作和处理。在ram503中，还存储有电子设备500操作所需的各种程序和数据。处理装置501、rom 502以及ram 503通过总线504彼此相连。输入/输出(i/o)接口505也连接至总线504。
[0049]
通常以下装置可以连接至i/o接口505：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置506；包括例如液晶显示器(lcd)、扬声器、振动器等的输出装置507；包括例如硬盘等的存储装置508；以及通信装置509。通信装置509可以允许电子设备500与其他设备进行无线或有线通信以交换数据。虽然图6示出了具有各种装置的电子设备500，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。图6中示出的每个方框可以代表一个装置，也可以根据需要代表多个装置。
[0050]
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置509从网络上被下载和安装，或者从存储装置508被安装，或者从rom502被安装。在该计算机程序被处理装置501执行时，执行本公开的实施
例的方法中限定的上述功能。需要说明的是，本公开的实施例所描述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd－rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开的实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开的实施例中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、rf(射频)等等，或者上述的任意合适的组合。
[0051]
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个计算机程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：
[0052]
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的实施例的操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++、python，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
[0053]
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。需要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0054]
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：

1.一种自动驾驶汽车环境感知方法，其特征在于，包括：实时获取并同步多个视觉传感器和多个毫米波雷达的连续多帧数据，并根据其判断每个视觉传感器和每个毫米波雷达是否失效，其中所述多个视觉传感器和多个毫米波雷达分别安装在自身车辆的多个位置上；利用一个或多个未失效的视觉传感器，识别当前自身车辆所在场景；根据当前自身车辆所在场景，调整视觉传感器和毫米波雷达的置信度；将置信度最高的视觉传感器或毫米波雷达作为感知环境目标的主传感器，并利用其进行环境感知；根据当前时刻及其相邻时刻的自身车辆所在场景，判断当前场景是否发生改变，并切换感知环境目标的主传感器。2.根据权利要求1所述的自动驾驶汽车环境感知方法，其特征在于，所述根据当前自身车辆所在场景，调整视觉传感器和毫米波雷达的置信度，并将置信度最高的视觉传感器或毫米波雷达作为感知环境目标的主传感器包括：若当前自身车辆所在场景被识别为第一类场景，则提升视觉传感器的置信度，并将置信度最高的视觉传感器作为感知环境目标的主传感器；若当前自身车辆所在场景被识别为第二类场景，则提升毫米波雷达的置信度，并将置信度最高的毫米波雷达作为感知环境目标的主传感器。3.根据权利要求2所述的自动驾驶汽车环境感知方法，其特征在于，所述根据当前时刻及其相邻时刻的自身车辆所在场景，判断当前场景是否发生改变，并切换感知环境目标的主传感器包括：根据当前时刻及其相邻的多个时刻的自身车辆所在场景，判断场景是否发生改变：若一个或多个视觉传感器在动态阈值时间内连续识别到第二类场景中的目标，则判断场景发生改变，并将主传感器切换为毫米波雷达；若一个或多个毫米波雷达在动态阈值时间内连续识别到第一类场景中的目标，则判断场景发生改变，并将主传感器切换为视觉传感器。4.根据权利要求2所述的自动驾驶汽车环境感知方法，其特征在于，所述第一类场景中的目标包括井盖或高架；第二类场景中的目标包括：雾、雨、雪、冰或雹。5.根据权利要求1所述的自动驾驶汽车环境感知方法，其特征在于，还包括：当场景发生改变时，将视觉传感器识别的目标与毫米波雷达检测到的目标进行匹配。6.根据权利要求1至5任一项所述的自动驾驶汽车环境感知方法，其特征在于，所述同步多个视觉传感器和多个毫米波雷达的连续多帧数据包括：利用线性差值或b样条插值对所述多个视觉传感器和毫米波雷达进行时间同步。7.一种自动驾驶汽车环境感知装置，其特征在于，包括：获取模块，用于实时获取并同步多个视觉传感器和多个毫米波雷达的连续多帧数据，并根据其判断每个视觉传感器和每个毫米波雷达是否失效，其中所述多个视觉传感器和多个毫米波雷达分别安装在自身车辆的多个位置上；调整模块，用于利用一个或多个未失效的视觉传感器，识别当前自身车辆所在场景；根据当前自身车辆所在场景，调整视觉传感器和毫米波雷达的置信度；感知模块，用于将置信度最高的视觉传感器或毫米波雷达作为感知环境目标的主传感
器，并利用其进行环境感知；切换模块，用于根据当前时刻及其相邻时刻的自身车辆所在场景，判断当前场景是否发生改变，并切换感知环境目标的主传感器。8.根据权利要求7所述的自动驾驶汽车环境感知装置，其特征在于，所述调整模块包括：第一调整单元，用于若当前自身车辆所在场景被识别为第一类场景，则提升视觉传感器的置信度，并将置信度最高的视觉传感器作为感知环境目标的主传感器；第二调整单元，用于若当前自身车辆所在场景被识别为第二类场景，则提升毫米波雷达的置信度，并将置信度最高的毫米波雷达作为感知环境目标的主传感器。9.一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1至6任一项所述的自动驾驶汽车环境感知方法。10.一种计算机可读介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的自动驾驶汽车环境感知方法。

技术总结

本发明涉及一种自动驾驶汽车环境感知方法、装置，其方法包括：实时获取并同步多个视觉传感器和多个毫米波雷达的连续多帧数据，并根据其判断每个视觉传感器和每个毫米波雷达是否失效；利用未失效的视觉传感器，识别当前自身车辆所在场景；根据当前自身车辆所在场景，调整视觉传感器和毫米波雷达的置信度；将置信度最高的视觉传感器或毫米波雷达作为感知环境目标的主传感器，进行环境感知；根据当前时刻及其相邻时刻的自身车辆所在场景，判断当前场景是否发生改变，并切换感知环境目标的主传感器。本发明根据视觉传感器和毫米波雷达各自的优势场景库进行感知场景分类，从而减少了多传感器目标融合的计算量，提升了自动驾驶的感知有效性及计算效率。知有效性及计算效率。知有效性及计算效率。