一种自动驾驶方法、装置及存储介质与流程

1.本发明涉及自动驾驶技术领域，尤其涉及一种自动驾驶方法、装置及存储介质。

背景技术：

2.可行驶区域(freespace)，属于自动驾驶领域高级驾驶辅助系统(adas)的一个功能；目前比较常见的环视可行驶区域都是获取多个感知装置的原始图像去畸变拼接成ipm图进行分割来实现，但ipm图的边界所能表示的距离要远远小于直接使用原始图像所能表示的距离(去畸变后拼接的操作会丢失部分图像信息)，且使用语义分割所带来的耗时较长；另外，现有技术中的可行驶区域结果准确性不足，而多个感知装置各自的可行驶区域结果存在重叠的部分，也容易带来分析异常。

技术实现要素：

3.针对上述现有技术中存在的问题，本发明提供了一种自动驾驶方法、装置及存储介质，能够大大提升可行驶区域的准确性与可靠性。所述技术方案如下：
4.一方面，本发明提供了一种自动驾驶方法，包括：
5.获取障碍感知信息与多个感知图像；所述感知图像通过所述感知图像对应的车载感知装置采集得到；
6.根据多个所述感知图像，得到多个所述感知图像对应的行驶边界信息；
7.根据所述障碍感知信息，对多个所述行驶边界信息分别进行优化处理，得到多个优化后行驶边界信息；
8.对多个所述优化后行驶边界信息进行融合处理，得到可行驶区域信息；所述可行驶区域信息表征车辆的可行驶区域。
9.进一步地，所述根据多个所述感知图像，得到多个所述感知图像对应的行驶边界信息包括：
10.对多个所述感知图像进行回归处理，得到多个所述行驶边界信息；或者
11.对多个所述感知图像进行回归处理，得到多个回归边界信息；
12.对多个所述回归边界信息进行第一插值处理，得到多个所述行驶边界信息。
13.进一步地，所述根据所述障碍感知信息，对多个所述行驶边界信息分别进行优化处理包括：
14.若所述障碍感知信息对应的至少部分障碍感知区域位于所述行驶边界信息对应的可行驶区域内，则根据所述障碍感知信息，更新所述行驶边界信息，得到所述优化后行驶边界信息。
15.进一步地，所述根据所述障碍感知信息，更新所述行驶边界信息包括：
16.根据所述障碍感知区域和所述行驶边界信息，得到待更新边界区域；
17.根据所述障碍感知信息，更新所述待更新边界区域对应的所述行驶边界信息。
18.进一步地，所述待更新边界区域包括所述障碍感知区域与跳变区域。
19.进一步地，所述更新所述待更新边界区域对应的所述行驶边界信息还包括：
20.在所述跳变区域中进行第二插值处理，以更新所述跳变区域对应的所述边界信息。
21.进一步地，所述对多个所述优化后行驶边界信息进行融合处理包括：
22.对多个所述优化行驶边界信息进行第一过滤处理，得到多个过滤后边界信息；
23.对多个所述过滤后边界信息进行所述融合处理。
24.进一步地，所述融合处理包括：
25.根据多个所述车载感知装置的位置，确定相邻的两个所述车载感知装置在车体坐标系中对应的预设区域；
26.对多个所述预设区域内的所述优化后行驶边界信息分别进行融合，得到多个第一融合信息；
27.根据多个所述第一融合信息，得到所述可行驶区域信息。
28.另一方面，本发明提供了一种自动驾驶装置，至少包括：
29.获取模块，用于获取障碍感知信息与多个感知图像；所述感知图像通过所述感知图像对应的车载感知装置采集得到；
30.图像处理模块，用于根据多个所述感知图像，得到多个所述感知图像对应的行驶边界信息；
31.优化模块，用于根据所述障碍感知信息，对多个所述行驶边界信息分别进行优化处理，得到多个优化后行驶边界信息；
32.融合模块，用于对多个所述优化后行驶边界信息进行融合处理，得到可行驶区域信息；所述可行驶区域信息表征车辆的可行驶区域。
33.另一方面，本发明提供了存储介质，所述存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如以上所述的自动驾驶方法。
34.实施本发明，具有如下有益效果：
35.1、本发明通过障碍感知信息对每个感知图像对应的行驶边界信息进行优化处理，以提升每个感知图像对应的行驶边界信息的准确性与可靠性；并且，通过融合处理，将多个优化后行驶边界信息进行融合，能够得到更远范围的可行驶区域，也能够避免多个感知图像之间的重叠，进而避免出现同样区域内多个优化后行驶边界信息不一致的情况，进一步提升可行驶区域的准确性与可靠性。
36.2、本发明通过回归处理对每个感知图像进行回归，相比于ipm图分割，能够提升行驶边界信息的准确度，还能够大大减少时间消耗，提升实时性。
37.3、本发明采用插值和采样的方式，对回归处理后的回归边界信息进行第一插值处理，对优化后行驶边界信息进行第一过滤处理，能够大大提升信息的连续性与准确性，并大大减少计算量，有利于提升自动驾驶的实时性。
38.4、在融合处理中，基于融合点分别进行第二过滤处理，得到预设区域内的第一融合信息，能够消除对应的两个感知图像之间的重叠，从而提升预设区域内可行驶区域信息的一致性，融合效果好，可行驶区域的准确性高。
附图说明
39.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
40.图1为本发明实施例提供的一种自动驾驶方法的逻辑结构图；
41.图2为本发明实施例提供的一种得到行驶边界信息的方法的逻辑结构图；
42.图3为本发明实施例提供的一种针对单个感知图像的处理方法的逻辑结构图；
43.图4为本发明中第一插值处理的插值方法示意图；
44.图5为本发明实施例提供的一种优化处理的示例图；
45.图6为本发明实施例提供的一种可能的实施方式中优化处理的逻辑结构图；
46.图7为本发明实施例提供的一种可能的实施方式中第一过滤处理的逻辑结构图；
47.图8为本发明实施例提供的一种可能的实施方式中多个预设区域的融合处理的逻辑结构图；
48.图9为本发明中车体坐标系下优化后行驶边界信息的示例图；
49.图10为本发明实施例提供的一种可能的实施方式中单个预设区域的融合处理的逻辑结构图；
50.图11为本发明实施例提供的一种可能的实施方式中单个预设区域的融合处理的示例图；
51.图12为本发明实施例提供的一种可行驶区域的优化过程示意图；
52.图13为本发明的一个可能的实施方式中自动驾驶装置的示意图。
具体实施方式
53.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例，因此不能理解为对本发明的限制。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
54.需要说明的是，本发明的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本发明的实施例能够以除了下述图示或下述描述以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
55.考虑到现有可行驶区域的准确性不足，且规划耗时过长，本实施例提供一种自动驾驶方法，该自动驾驶方法可以应用于本发明实施例提供的自动驾驶装置中，首先获取障碍感知信息与多个感知图像；其中感知图像通过该感知图像对应的车载感知装置采集得到；之后根据多个感知图像，得到多个感知图像对应的行驶边界信息；再根据障碍感知信息，对多个行驶边界信息分别进行优化处理，得到多个优化后行驶边界信息；对多个优化后行驶边界信息进行融合处理，得到可行驶区域信息，该可行驶区域信息表征车辆的可行驶
区域；该方法通过优化处理与融合处理，能够得到相比于ipm图分割模型更远范围的可行驶区域，提升最终可行驶区域信息的准确性、可靠性与实时性。
56.下面对本发明实施例的技术方案进行详细介绍，参考说明书附图1，该方法包括：
57.s101，获取障碍感知信息与多个感知图像。
58.其中，感知图像通过该感知图像对应的车载感知装置采集得到；车载感知装置是利用感知到的初始数据识别出车辆周围道路信息的装置；该车载感知装置包括但不限于激光雷达、相机和毫米波雷达中的任一种，该车载感知装置的初始数据包括但不限于点云数据、图像数据和毫米波雷达数据中的任一种，则相应地，感知图像由点云数据、图像数据和毫米波雷达数据中的任一种得到。
59.障碍感知信息通过障碍感知装置获得；障碍感知装置是利用感知到的数据识别出车辆周围障碍对象的信息的装置，该障碍感知装置包括但不限于激光雷达、相机和毫米波雷达中的任一种；例如，在一种可能的实施方式中，车载感知装置为相机，通过车辆上设置的四个相机分别拍摄四个鱼眼图像，作为四个感知图像，而障碍感知装置为激光雷达，通过点云数据得到障碍感知信息。
60.此外，在一个可能的实施方式中，同一个感知图像的区域内，该感知图像对应的障碍感知装置与该感知图像对应的车载感知装置可选为同一个，能够减少障碍感知装置的数量，节省成本，则s101步骤还可以具体包括：
61.获取多个感知图像；
62.根据多个感知图像，得到多个所述感知图像对应的障碍感知信息。
63.则在该过程中，障碍感知信息通过对对应的感知图像进行检测分析得到，更有利于对信息进行解析，减少耗时，提升实时性。
64.在一个可能的实施方式中，障碍感知信息通过障碍监测模型得到，通过对感知图像中存在的障碍对象的信息进行解析，得到不同的障碍对象在感知图像范围内的障碍感知信息，以使得后续s105步骤中，行驶边界信息能够根据该障碍感知信息进行优化，提升最终的可行驶区域信息的准确性与可靠性，提升自动驾驶的安全性。
65.s103，根据多个所述感知图像，得到多个所述感知图像对应的行驶边界信息。
66.其中，行驶边界信息为从感知图像中解析得到的、与该感知图像相对应的行驶区域的边界信息，该行驶边界信息包括行驶区域的边界点信息、行驶区域的边界线信息和行驶区域的边界矢量信息中的任一种。
67.s105，根据所述障碍感知信息，对多个所述行驶边界信息分别进行优化处理，得到多个优化后行驶边界信息。
68.障碍感知信息为感知图像对应的区域内障碍对象的信息，通过对对应的障碍对象的信息进行解析，得到不同的障碍对象在感知图像上的障碍感知区域；在本实施例中，该障碍感知区域为框形区域，即以该障碍对象任一角的坐标点与该障碍对象对应的宽度和高度来表示该障碍对象对应的障碍感知区域，一方面简化障碍对象的形状为规则形状，有利于减少耗时，另一方面，增加了感知图像中障碍对象的面积，从而有利于最终的可行驶区域对该障碍对象进行规避，减少碰撞风险，进一步提升优化后行驶边界信息及最终可行驶区域的可靠性，提升自动驾驶的可靠性与安全性。
69.优化处理是一种根据障碍感知区域的位置对行驶边界信息对应的可行驶区域进
行修正的规避处理，修改可行驶区域的边界的位置，以剔除障碍感知区域，使得优化后行驶边界信息对应的可行驶区域中不包含任何障碍对象，大大降低与障碍对象碰撞的风险，提升自动驾驶安全性。
70.s107，对多个所述优化后行驶边界信息进行融合处理，得到可行驶区域信息；所述可行驶区域信息表征车辆的可行驶区域。
71.在s103-s105步骤中，对每个感知图像均进行了处理，得到每个感知图像对应的行驶边界信息，再对每个感知图像对应的行驶边界信息分别进行优化处理，得到每个感知图像对应的优化后行驶边界信息，则在s107步骤中，将多个优化后行驶边界信息汇总后进行融合处理，以过滤多个优化后行驶边界信息中重叠的信息，得到整体的可行驶区域信息，可靠性高，安全性好。
72.具体地，在一种可能的实施方式中，如图2所示，s103步骤中，所述根据多个所述感知图像，得到多个所述感知图像对应的行驶边界信息包括：
73.s202，对所述多个感知图像进行回归处理，得到多个所述行驶边界信息。
74.或者
75.s204a，对多个所述感知图像进行回归处理，得到多个回归边界信息。
76.s204b，对多个所述回归边界信息进行第一插值处理，得到多个所述行驶边界信息。
77.其中，回归处理属于监督学习算法的一种，从连续的统计数据中得到数学模型，然后使用生成的回归模型进行预测和分类；在本说明书中，回归处理是对单个感知图像利用回归模型得到离散的边界点信息的处理方法，该回归处理为线性回归、最小二乘回归、逐步回归与多元自适应回归中的任一种，回归模型可选为线性回归模型、非线性回归模型与神经网络模型中的任一种。
78.在一种可能的实施方式中，s202步骤中，利用训练好的回归模型对每个感知图像进行回归，得到一系列离散的边界点，如图3中(a)图所示，则该离散的边界点组成该感知图像对应的行驶边界信息，继续进行后续s105步骤的优化处理。
79.在另一种可能的实施方式中，即s204a步骤中，利用训练好的回归模型对每个感知图像进行回归，得到一系列离散的边界点，如图3中(a)图所示，将离散的边界点组成回归边界信息；而回归边界信息中返回的边界点数量远远小于感知图像对应的宽度(或者尺寸)，则在经过s204a步骤之后，继续执行s204b步骤，对回归边界信息中的边界点进行第一插值处理，以在感知图像对应的区域内得到更多的边界点，保证行驶边界信息中边界点的连续性，特别是边界点与障碍感知区域的交界处，将插值后的一系列边界点组成该感知图像对应的行驶边界信息，继续进行后续s105步骤的优化处理，进一步保证优化后行驶边界信息中边界点的连续性。
80.具体地，在得到回归边界信息之后，即在s204步骤或者s204a步骤之后，所述方法还包括：
81.对回归边界信息进行初始化，得到每个边界点在图像坐标系下的信息与每个边界点在车体坐标系下的信息。
82.其中，回归处理是基于感知图像进行的，而后续的优化处理和第一插值处理都是基于坐标系进行的处理，则通过初始化，能够得到每个边界点在对应的感知图像的图像坐
标系下的信息和每个边界点在车体坐标系下的信息，以便于后续处理中，根据车载感知装置的位置进行坐标转换；而该边界点的信息包括边界点的位置信息，并且通过边界点的位置信息，还能够进一步得到该边界点在车体坐标系中的角度信息与距离信息。
83.具体地，在回归处理之后(初始化之后)，所述对多个所述回归边界信息进行第一插值处理，得到多个所述行驶边界信息包括：
84.对所述多个回归边界信息进行有效处理，得到多个有效边界信息；
85.对多个所述有效边界信息进行所述第一插值处理，得到多个所述行驶边界信息。
86.该有效处理包括：
87.获取所述回归边界信息中边界点的位置；
88.在所述边界点相对于消失点的相对位置满足第一预设条件的情况下，将所述边界点的位置调整为预设位置，得到所述有效边界信息；所述相对位置为所述边界点相对于消失点的位置。
89.其中，在进行第一插值处理之前，首先进行有效处理，以使得第一插值处理的插值对象都是有效的，保证后续插值后行驶边界信息的准确性与可靠性；则在获取到回归边界信息中边界点的位置时，对边界点进行消失点判断，而消失点指的是无穷远处的点在图像中的位置信息，在一个具体实施例中，消失点在图像坐标系中的位置可以通过相机外参计算得到，则当消失点判断的结果为该边界点相对于消失点的相对位置不满足第一预设条件的情况下，认为该边界点是有效可靠的，无需进行有效处理，能够直接作为行驶边界信息中的其中一个边界点的信息，进行后续s204b步骤；而当消失点判断的结果为该边界点相对于消失点的相对位置不满足第一预设条件的情况下，认为该边界点不可能存在，则将该边界点的位置调整至预设位置，作为有效边界信息中的其中一个边界点信息进行后续s204b步骤。
90.在一个可能的实施方式中，第一预设条件为边界点相对于消失点的相对位置为负值，代表该边界点位于消失点的下方，或者该边界点对应的值小于消失点对应的值；而不满足该第一预设条件代表该边界点位于消失点上方，或者该边界点对应的值大于消失点对应的值，认为该边界点处于无穷远处，这显然不实际；在另一个可能的实施方式中，预设位置可选为消失点下方至少5个像素点的位置；在一个具体实施例中，该预设位置可选为消失点下方10个像素。
91.第一插值处理为一种插值方法，通过已知的、离散的边界点，在感知图像对应的区域内推求新的边界点的方法；在一种可能的实施方式中，如图4所示，在初始化之后，第一插值处理采用线性插值，即利用两个边界点的位置信息，计算经过这两个边界点的一条直线方程y＝kx+b，求取中间指定x对应的y值，并将该点(x，y)作为插值后的一个边界点；例如，图4中边缘处的边界点信息采用该边缘首位(或末位)的两个边界点所在的直线方程进行外插，而图4中点p3可以通过点p1和点p2进行线性插值得到，点p1和点p2所在直线为
[0092][0093]
其中，y3表示为k(x
3-x1)+y1，而x3已知。
[0094]
线性插值能够减少计算量以及耗时，有利于提升自动驾驶的实时性，后续s105步
骤中利用障碍感知信息进行优化处理的优化对象即为包括该插值后的边界点的行驶边界信息。
[0095]
具体地，所述根据所述障碍感知信息，对多个所述行驶边界信息分别进行优化处理包括：
[0096]
若所述障碍感知信息对应的至少部分障碍感知区域位于所述行驶边界信息对应的可行驶区域内，则根据所述障碍感知信息，更新所述行驶边界信息，得到所述优化后行驶边界信息。
[0097]
其中，感知障碍区域表征感知障碍信息对应的障碍对象所在的区域，如图5所示，p表示消失点在感知图像中的位置，在图像坐标系中，通过行驶边界信息在x方向上逐像素进行与障碍对象所在区域的比较判断，该障碍感知区域与行驶边界信息对应的可行驶区域之间的位置包括以下三种情况：a)如图5中障碍感知区域a所示，部分障碍感知区域位于行驶边界信息对应的可行驶区域内；b)如图5中障碍感知区域b所示，全部障碍感知区域位于行驶边界信息对应的可行驶区域内；c)如图5中障碍感知区域c所示，全部障碍感知区域均位于行驶边界信息对应的可行驶区域之外，该障碍感知区域c与可行驶区域不存在任何交界。
[0098]
则优化处理的处理对象为情况a)与情况b)中的行驶边界信息，即在这两种情况下，障碍感知信息对应的至少部分障碍感知区域位于行驶边界信息对应的可行驶区域内，只需考虑与边界点有交集或者在边界点下方的障碍对象即可，从而对障碍感知区域a和b处的行驶边界信息进行更新，得到优化后行驶边界信息，而情况c)中的行驶边界信息无需更新，可以直接作为优化后行驶边界信息进行后续融合处理，减少计算量。
[0099]
具体地，如图6所示，所述根据所述障碍感知信息，更新所述行驶边界信息包括：
[0100]
s602，根据所述障碍感知区域和所述行驶边界信息，得到待更新边界区域。
[0101]
s604，根据所述障碍感知信息，更新所述待更新边界区域对应的所述行驶边界信息。
[0102]
如图5所示，待更新边界区域包括障碍感知区域和跳变区域；在图像坐标系的x方向上，当对障碍感知区域对应的边界点优化之后，在该障碍感知区域的边缘，会出现边界点跳变的情况，跳变区域即为在x方向位于障碍感知区域前和/或障碍感知区域后预设宽度的区域，对该跳变区域的边界点同步进行优化处理，更新该跳变区域对应的行驶边界信息，即在更新行驶边界信息时，不仅对障碍感知区域对应的x区间内的边界点进行更新，还对障碍感知区域外一段x区间内的边界点进行更新，以避免边界点跳变的情况发生，提升优化后行驶边界信息的连续性。
[0103]
在一个可能的实施方式中，跳变区域的预设宽度为5～15像素，计算量小，优化效率高；进一步地，跳变区域的预设宽度可选为8～12像素；在一个具体实施例中，跳变区域的预设宽度为10像素。
[0104]
在s604步骤中，障碍感知信息包括障碍感知区域和障碍感知边界中的至少一种，则该步骤具体还可以包括：
[0105]
根据所述障碍感知区域，更新所述待更新边界区域对应的所述行驶边界信息；或
[0106]
根据所述障碍感知信息对应的障碍感知边界，更新所述待更新边界区域对应的所述行驶边界信息。
[0107]
其中，根据障碍感知区域进行更新是根据障碍感知区域的位置和在图像坐标系中
占用的区域进行更新，进一步可以理解为根据障碍感知区域的面积对行驶边界信息进行更新优化；而根据障碍感知边界更新是根据障碍感知信息中感知对象的边界进行更新，只需要采用障碍感知区域对应的边界信息即可。
[0108]
在待更新边界区域中，对于障碍感知区域对应的区间，可以采用障碍感知区域的底部边界直接进行优化，将行驶边界信息中的边界点更新为预设优化位置处，得到优化后行驶边界信息，该预设优化位置位于障碍感知区域底部边界下方，与障碍感知区域底部边界的距离为预设优化距离；在一种可能的实施方式中，该预设优化距离大于等于零个像素点；在一个具体实施例中，该预设优化距离等于零，则优化处理后，边界点的位置更新为障碍感知区域底部边界对应的位置，即预设优化位置为障碍感知区域对应区间的底部边界处；在另一个具体实施例中，预设优化距离大于零，则边界点的位置更新为障碍感知区域底部边界向下预设距离处的位置；可选地，预设优化距离为1～10个像素，则优化后，行驶边界信息中边界点的位置更新为障碍感知区域底部边界向下1～10个像素处。
[0109]
而对于跳变区域内的边界点，所述更新所述待更新边界区域对应的所述行驶边界信息还包括：
[0110]
在所述跳变区域中进行第二插值处理，以更新所述跳变区域对应的所述边界信息。
[0111]
与第一插值处理相同，第二插值处理也可选为线性插值，以减少计算量，同时保证边界点的连续性；在该步骤中，如图5(仅用作分析，非实际应用场景)所示，跳变区域在x方向上具有两个区间边缘，其中一个区间边缘为障碍感知区域与跳变区域的边界，则第二插值处理能够选取当前障碍感知区域底部边界对应的像素点作为第一跳变点进行插值；而在另一个区间边缘处，选取远离该第一跳变点预设宽度的行驶边界信息中的边界点作为第二跳变点，即该第二跳变点为跳变区域区间边缘上对应的一个边界点，在第一跳变点对应的位置与第二跳变点对应的位置之间进行插值更新，如图5中障碍感知区域a右侧的跳变区域和障碍感知区域b两侧的跳变区域所示，得到跳变区域内优化后的边界点的信息，即优化后行驶边界信息。
[0112]
具体地，如图7所示，s107步骤中，所述对多个所述优化后行驶边界信息进行融合处理包括：
[0113]
s701，对多个所述优化行驶边界信息进行第一过滤处理，得到多个过滤后边界信息。
[0114]
在进行s107步骤之前，行驶边界信息中的边界点已经经过第一插值处理，边界点的数量大大增加，即优化后行驶边界信息中的边界点数量也大大增加，此时，对每个感知图像对应的优化后行驶边界信息进行第一过滤处理，即在优化后行驶边界信息包含的大量边界点中进行采样，以减少后续融合处理中边界点的数量，大大降低计算量，简化不必要的时间消耗。
[0115]
在一种可能的实施方式中，基于优化后行驶边界信息，进行了优化处理的待更新区域内的采样率大于无需优化处理的可行驶区域中的采样率，即在障碍感知区域和跳变区域内进行多采样，而在没有优化的区域少采样，得到最终的过滤后边界信息；例如，图5中障碍感知区域a及其跳变区域和障碍感知区域b及其跳变区域中的采样率大于障碍感知区域c对应区间的采样率。
[0116]
s703，对多个所述过滤后边界信息进行所述融合处理。
[0117]
具体地，s107(或者s703)步骤中，所述融合处理包括：
[0118]
s802，根据多个所述车载感知装置的位置，确定相邻的两个所述车载感知装置在车体坐标系中对应的预设区域。
[0119]
多个感知图像对应的优化后边界信息进行融合时，是两两进行融合，而相邻的两个车载感知装置获得的感知图像之间可能出现重叠，对应的两个优化后行驶边界信息之间也可能出现重叠，则该步骤首先根据感知图像对应的车载感知装置的位置，确定需要进行融合的对象，即只需要确定多个车载感知装置中的两个车载感知装置，减少相应的计算量，之后在对应的两个优化后行驶边界信息存在交叉的预设区域内，对两个优化后行驶边界信息先进行融合，以消除该预设区域内的重叠部分，提升融合处理的准确性。
[0120]
并且，融合处理的处理对象包括多个优化后行驶边界信息，而在前述步骤中，都是在各自感知图像对应的图像坐标系中进行的，则在融合之前，如图9所示，基于多个车载感知装置的位置，对多个感知图像各自对应的优化后行驶边界信息(或者过滤后边界信息)进行坐标转换处理，得到位于车体坐标系中的优化后行驶边界信息，以在车体坐标系下进行优化后行驶边界信息的融合处理。
[0121]
在一种可能的实施方式中，该预设区域的范围可选为车体坐标系中的预设象限，在该预设象限内仅包括至多两个车载感知装置对应的优化后行驶边界信息；以图9为例(仅用于示意，非实际坐标转换结果)，该车体坐标系中，首先得到车体坐标系中的优化后行驶边界信息，其中四条曲线分别表示前后左右四个相机的优化采样后的可行驶区域对应的过滤后边界信息，其中第一象限与第四象限的是前相机结果，第一象限与第二象限的是左相机结果，第二象限与第三象限的是后相机的结果，第三象限与第四象限的是右相机的结果；而在另一个可能的实施方式中，该预设区域还可选为仅包括两个优化后行驶边界信息存在边界点交叉的区域，进一步缩小融合处理的范围，针对性融合效果更好。
[0122]
s804，对多个所述预设区域内的所述优化后行驶边界信息分别进行融合，得到多个第一融合信息。
[0123]
s806，根据多个所述第一融合信息，得到所述可行驶区域信息。
[0124]
其中，每个预设区域内均对应两个优化后行驶边界信息，两个优化后行驶边界信息分别为第一优化信息与第二优化信息，则通过对第一优化信息与第二优化信息进行融合，得到对应预设区域内的第一融合信息；之后将多个预设区域各自对应的第一融合信息进一步融合，得到最终的可行驶区域信息，准确度高，可靠性好。
[0125]
具体地，在s804步骤中，所述对多个所述预设区域内的所述优化后行驶边界信息分别进行融合，得到多个第一融合信息包括：
[0126]
s1002，根据所述优化后行驶边界信息，得到所述第一优化信息中的边界点与所述第二优化信息中的边界点之间的距离信息。
[0127]
需要说明的是，s1002～s1008步骤以单个预设区域进行的说明，对每个预设区域中的优化后行驶边界信息均进行s1002～s1008步骤，以得到每个预设区域对应的第一融合信息。
[0128]
以图11作为示例，图中的虚线分别代表第一优化信息中的边界点与第二优化信息中的边界点，根据第一优化信息，可以得到第一优化信息中各个边界点的位置，根据第二优
化信息，可以得到第二优化信息中各个边界点的位置，则根据各个边界点的位置，对第一优化信息中的边界点与第二优化信息中的边界点两两计算距离，得到距离信息，该距离信息为一系列距离值的集合；在一种可能的实施方式中，对距离信息中的各个距离值进行排序，使得各个距离值按照从小到大的顺序排列，便于后续进行第一融合处理；在该距离信息中，能够得到各个距离值对应的索引信息，即对应的两个边界点在优化后行驶边界信息中的索引信息，通过该索引信息，能够获取该索引信息对应的距离值以及与该距离值对应的两个边界点的位置信息。
[0129]
s1004，根据所述距离信息和所述距离信息对应的所述边界点，确定多个待选边界点。
[0130]
根据距离信息中对应的索引信息，能够得到对应的边界点的组合，在多个边界点中，选取多个距离值小于第一预设距离的边界点作为待选边界点；其中，在距离信息中包括一个最小距离值，当距离信息排序后，该最小距离值即为距离信息中的第一个距离值；在一种可能的实施方式中，第一预设距离大于该最小距离值；进一步地，该第一预设距离大于该最小距离值，且第一预设距离与最小距离值的差值范围为5～15像素；在一个具体实施例中，第一预设距离等于最小距离值加10像素。
[0131]
在一种可能的实施方式中，确定多个待选边界点还包括：
[0132]
根据所述距离信息和所述距离信息对应的所述边界点，确定多个预选边界点；
[0133]
根据所述预选边界点的位置，在所述预选边界点中获取所述待选边界点。
[0134]
其中，在多个边界点中，选取距离值小于第二预设距离的边界点作为预选边界点，该第二预设距离大于最小距离值，且第二预设距离大于第一预设距离；进一步地，该第二预设距离与最小距离值的差值范围为10～30像素；在一个具体实施例中，第一预设距离等于最小距离值加20像素。
[0135]
可选地，在得到多个预选边界点之后，根据预选边界点对应的位置(坐标)信息进行拟合处理，得到一条拟合直线，如图11中边界点之间的直线，该拟合直线使得各个预选边界点到拟合直线的距离最短，可视化程度好。
[0136]
之后在多个预选边界点中，进一步确定距离值小于第一预设距离的边界点为待选边界点，通过两步筛选，能够提升待选边界点的可靠性。
[0137]
s1006，根据多个所述待选边界点的位置，在多个所述待选边界点中获取融合点；其中，所述融合点到坐标原点的距离为所述待选边界点到坐标原点的距离中的最大值。
[0138]
s1008，基于所述融合点，对所述第一优化信息与所述第二优化信息分别进行第二过滤处理，得到所述第一融合信息。
[0139]
即在得到的多个待选边界点中，选取距离坐标原点最远的一个待选边界点作为最终的融合点；以图11中的点为例，假设拟合直线左下侧的边界点为第一优化信息，拟合直线右上方的边界点为第二优化信息，则在该预设区域内，第二过滤处理为：针对第一优化信息，将第一优化信息中位于融合点上方的优化后行驶边界信息对应的边界点过滤，仅保留融合点下方的边界点，得到第一过滤后优化信息；而针对第二优化信息，将第二优化信息中位于融合点左侧的优化后行驶边界信息对应的边界点过滤，仅保留融合点右侧的边界点，得到第二过滤后优化信息。
[0140]
最后，将第一过滤后优化信息与第二过滤后优化信息融合，得到该预设区域内对
应的第一融合信息，将不同预设区域中的第一融合信息进一步进行融合，得到完整的在整个车体坐标系下的可行驶区域信息。
[0141]
在一个具体实施例中，本发明的自动驾驶方法指的是依靠前后左右四个相机所拍摄的感知图像进行目标检测、分割及后处理操作，得到障碍感知信息和可行驶区域信息，从而达到辅助自动驾驶的效果；其中，每个感知图像对应的回归边界信息中包括224个边界点，而感知图像的尺寸为1920*1080，实际结果如图3中(a)图所示，首先对返回的224个边界点进行消失点判断，若存在边界点高于消失点，则将对应的边界点的值修改为消失点下方10个像素点，之后进行第一插值处理，则每个感知图像能够得到1920个边界点，实际结果如图3中(b)图所示，能够大大提升优化后行驶边界信息中边界点的连续性；之后将该边界点的信息组成行驶边界信息进行后续优化处理，实际优化处理后的结果如图3中(c)图所示，可见经过优化处理之后，优化后行驶边界信息对应的可行驶区域与障碍感知区域之间不存在交界，障碍感知区域位于可行驶区域外，能够有效规避障碍对象，避免碰撞，进一步提升最终可行驶区域信息的可靠性，提升自动驾驶的安全性；之后对优化后边界信息进行第一过滤处理，得到如图3中(d)图所示的过滤后边界信息，减少后续跨相机融合处理的边界点数量，减少计算量与不必要的时间消耗。
[0142]
在融合处理时，首先通过相机的内外参系数将过滤后边界信息从图像坐标系中转换到车体坐标系中，在车体坐标系下对多个感知图像对应的优化后行驶边界信息进行融合处理，如图12所示，图12中(a)图为四个相机对应的优化后行驶边界信息在车体坐标系下的结果，图12中(b)图为经过融合处理之后的可行驶区域信息，不同预设区域中的信息融合效果好，没有重叠，可行驶区域信息的准确度与可靠性好；此外，图12中(c)图为将图12中(b)图中相邻的边界点连接之后的结果，能够得到更加完整的可行驶区域，可视化效果更好。
[0143]
通过上述实施例可知，本发明实施例中的自动驾驶方法具有以下有益效果：
[0144]
1、本发明通过障碍感知信息对每个感知图像对应的行驶边界信息进行优化处理，以提升每个感知图像对应的行驶边界信息的准确性与可靠性；并且，通过融合处理，将多个优化后行驶边界信息进行融合，能够得到更远范围的可行驶区域，也能够避免多个感知图像之间的重叠，进而避免出现同样区域内多个优化后行驶边界信息不一致的情况，进一步提升可行驶区域的准确性与可靠性。
[0145]
2、本发明通过回归处理对每个感知图像进行回归，相比于ipm图分割，能够提升行驶边界信息的准确度，还能够大大减少时间消耗，提升实时性。
[0146]
3、本发明采用插值和采样的方式，对回归处理后的回归边界信息进行第一插值处理，对优化后行驶边界信息进行第一过滤处理，能够大大提升信息的连续性与准确性，并大大减少计算量，有利于提升自动驾驶的实时性。
[0147]
4、在融合处理中，基于融合点分别进行第二过滤处理，得到预设区域内的第一融合信息，能够消除对应的两个感知图像之间的重叠，从而提升预设区域内可行驶区域信息的一致性，融合效果好，可行驶区域的准确性高。
[0148]
与上述本实施例提供的自动驾驶方法相对应，本发明实施例还提供一种自动驾驶装置，由于本发明实施例提供的自动驾驶装置与上述几种实施方式提供的自动驾驶方法相对应，因此前述自动驾驶方法的实施方式也适用于本实施例提供的自动驾驶装置，在本实施例中不再详细描述。
memory)、只读存储器(rom，read-only memory)、非易失存储器(nvm)、u盘、移动硬盘、磁盘存储器件、闪存器件、其他易失性固态存储器件等各种可以存储程序代码的存储介质。
[0163]
需要说明的是，上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
[0164]
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0165]
以上所描述的仅为本发明的一些实施例而已，并不用于限制本发明，本行业的技术人员应当了解，本发明还会有各种变化和改进，任何依照本发明所做的修改、等同替换和改进都落入本发明所要求的保护的范围内。

技术特征：

1.一种自动驾驶方法，其特征在于，包括：获取障碍感知信息与多个感知图像；所述感知图像通过所述感知图像对应的车载感知装置采集得到；根据多个所述感知图像，得到多个所述感知图像对应的行驶边界信息；根据所述障碍感知信息，对多个所述行驶边界信息分别进行优化处理，得到多个优化后行驶边界信息；对多个所述优化后行驶边界信息进行融合处理，得到可行驶区域信息；所述可行驶区域信息表征车辆的可行驶区域。2.根据权利要求1所述的自动驾驶方法，其特征在于，所述根据多个所述感知图像，得到多个所述感知图像对应的行驶边界信息包括：对多个所述感知图像进行回归处理，得到多个所述行驶边界信息；或者对多个所述感知图像进行回归处理，得到多个回归边界信息；对多个所述回归边界信息进行第一插值处理，得到多个所述行驶边界信息。3.根据权利要求1所述的自动驾驶方法，其特征在于，所述根据多个所述障碍感知信息，对所述行驶边界信息分别进行优化处理包括：若所述障碍感知信息对应的至少部分障碍感知区域位于所述行驶边界信息对应的可行驶区域内，则根据所述障碍感知信息，更新所述行驶边界信息，得到所述优化后行驶边界信息。4.根据权利要求3所述的自动驾驶方法，其特征在于，所述根据所述障碍感知信息，更新所述行驶边界信息包括：根据所述障碍感知区域和所述行驶边界信息，得到待更新边界区域；根据所述障碍感知信息，更新所述待更新边界区域对应的所述行驶边界信息。5.根据权利要求4所述的自动驾驶方法，其特征在于，所述待更新边界区域包括所述障碍感知区域与跳变区域。6.根据权利要求5所述的自动驾驶方法，其特征在于，所述更新所述待更新边界区域对应的所述行驶边界信息还包括：在所述跳变区域中进行第二插值处理，以更新所述跳变区域对应的所述边界信息。7.根据权利要求1所述的自动驾驶方法，其特征在于，所述对多个所述优化后行驶边界信息进行融合处理包括：对多个所述优化行驶边界信息进行第一过滤处理，得到多个过滤后边界信息；对多个所述过滤后边界信息进行所述融合处理。8.根据权利要求1所述的自动驾驶方法，其特征在于，所述融合处理包括：根据多个所述车载感知装置的位置，确定相邻的两个所述车载感知装置在车体坐标系中对应的预设区域；对多个所述预设区域内的所述优化后行驶边界信息分别进行融合，得到多个第一融合信息；根据多个所述第一融合信息，得到所述可行驶区域信息。9.一种自动驾驶装置，其特征在于，至少包括：获取模块，用于获取障碍感知信息与多个感知图像；所述感知图像通过所述感知图像
对应的车载感知装置采集得到；图像处理模块，用于根据多个所述感知图像，得到多个所述感知图像对应的行驶边界信息；优化模块，用于根据所述障碍感知信息，对多个所述行驶边界信息分别进行优化处理，得到多个优化后行驶边界信息；融合模块，用于对多个所述优化后行驶边界信息进行融合处理，得到可行驶区域信息；所述可行驶区域信息表征车辆的可行驶区域。10.一种存储介质，其特征在于，所述存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如权利要求1-8任一项所述的自动驾驶方法。

技术总结

本发明公开了一种自动驾驶方法、装置及存储介质，包括获取障碍感知信息与多个感知图像；根据多个所述感知图像，得到多个所述感知图像对应的行驶边界信息；根据所述障碍感知信息，对多个所述行驶边界信息分别进行优化处理，得到多个优化后行驶边界信息；对多个所述优化后行驶边界信息进行融合处理，得到可行驶区域信息。本发明通过障碍感知信息对每个行驶边界信息进行优化处理，并对多个优化后行驶边界信息进行融合处理，能够大大提升可行驶区域的准确性与可靠性，避免分析异常，还能够提升可行驶区域的范围。可行驶区域的范围。可行驶区域的范围。