考虑障碍物预警的车辆远程驾驶辅助方法及远程驾驶系统与流程

1.本发明涉及车辆远程驾驶技术领域，尤其涉及一种考虑障碍物预警的车辆远程驾驶辅助方法及远程驾驶系统。

背景技术：

2.自动驾驶自从20世纪出现到现如今已有数十年的历史，目前已有接近实用化的趋势。随着计算机软硬件的发展，以及5g网络技术的兴起，自动驾驶技术的发展速度越来越快。但是目前绝大多数自动驾驶技术都处于l3阶段，l4级别的自动驾驶尚且处于试验阶段，l5级别的自动驾驶更是遥遥无期。因此，作为自动驾驶技术的一种补充和辅助，远程驾驶技术应用而生。
3.远程驾驶系统通常包含车辆端和远程驾驶舱端两部分：车辆端搭载摄像头采集车辆周围的环境图像，并将实时的视频画面传输到远程驾驶舱端；接收远程驾驶舱端上传的车辆控制信号，控制车辆的运行；远程驾驶舱端包括一个驾驶舱和若干显示设备，通过网络接收和显示车辆端传输的实时视频画面，发送驾驶控制信号到车辆端对其进行远程操控。传统的远程驾驶技术通常只是实时回传摄像头的视频画面，对远程驾驶安全员对于车辆的周边环境的感知帮助有限，不能很好地建立空间感和驾驶感；并且不能针对车辆行进路线附近的障碍物做出有效的辅助预警提示，减轻安全员的负担。

技术实现要素：

4.针对现有技术的不足，实现更安全和人性化的车辆远程驾驶辅助，本发明提供一种考虑障碍物预警的车辆远程驾驶辅助方法及远程驾驶系统，具体技术方案如下：一种考虑障碍物预警的车辆远程驾驶辅助方法，包括以下步骤：s1，获取固定在车辆上的摄像头拍摄的车辆行驶过程中的实时视频画面，使用障碍物识别算法识别出实时视频画面中的障碍物；s2，获取车辆的实时运动状态，使用车辆运动学模型生成车辆预测轨迹；s3，判断识别出来的障碍物与车辆预测轨迹的位置关系，发出安全预警；所述s3具体包括：s3.1，获取障碍物二维包围盒的顶点，投影到车辆坐标系；s3.2，根据车辆坐标系下的二维包围盒的顶点与车辆预测轨迹的位置关系，确定障碍物所属的安全预警等级；s3.3，根据障碍物所属的安全预警等级、障碍物的类别信息以及车辆当前的运动状态触发不同类型的预警机制。
5.进一步地，所述障碍物识别算法为基于卷积神经网络的道路障碍物识别方法，所述障碍物识别算法首先对输入的摄像头视频画面预处理，生成障碍物候选区域，再将候选区域作为输入传递给全连接的卷积神经网络中，至少得到最终的障碍物的类别信息和障碍物在摄像头图像坐标系下的二维包围盒信息。
6.进一步地，所述s1中，使用障碍物识别算法识别出图像中的障碍物包括静态障碍物和动态障碍物两类。
7.进一步地，所述s2中获取的车辆的实时运动状态包括车辆的速度和方向盘转角信息。
8.进一步地，采用基于自行车模型的车辆运动学模型生成车辆的预测轨迹，所述车辆预测轨迹位于车辆坐标系下，定义未来一段时间内车身两侧在路面的行驶范围；并将车辆的预测轨迹转换到前向摄像头的图像坐标系下，投影并绘制在前向摄像头画面上。
9.进一步地，所述车辆预测轨迹使用折线段、曲线或者填充面的形式在视频画面中进行可视化显示。
10.进一步地，所述根据车辆坐标系下的二维包围盒的顶点与车辆预测轨迹的位置关系，确定障碍物所属的安全预警等级，具体为：将车辆坐标系下二维包围盒的底部中心点投影到临近的车辆预测轨迹线上，得到投影点，计算所述投影点沿着车辆预测轨迹线与车身最前侧的距离d，判断距离d的大小，确定其预警等级为极危、危险、警戒、预防、安全中的任意一种。
11.进一步地，所述s3.3中的预警机制包括在摄像头画面上显示可视化元素、发出警报声、自动接管和紧急刹车中的任意一种或多种的组合。
12.一种实现考虑障碍物预警的车辆远程驾驶辅助方法的远程驾驶系统，包括车辆端和远程驾驶舱端；所述车辆端包括远程驾驶车辆、安装在所述远程驾驶车辆上的前置摄像头和若干车辆计算设备；所述前置摄像头采集所述远程驾驶车辆周围的环境实时环境图像；所述车辆计算设备根据内置的障碍物识别算法，识别出障碍物；所述车辆端将所述摄像头的参数、实时环境图像、识别出的障碍物信息、远程驾驶车辆的实时运动状态通过网络传输到所述远程驾驶舱端；所述车辆端还接收所述远程驾驶舱端上传的车辆控制信号，控制远程驾驶车辆的运行；所述远程驾驶舱端包括驾驶舱、驾驶舱计算设备、显示设备；所述远程驾驶舱端通过网络接收所述车辆端传输的所述摄像头的参数、实时环境图像、识别出的障碍物信息、远程驾驶车辆的实时运动状态，通过内置的障碍物识别算法识别障碍物，使用车辆运动学模型生成车辆预测轨迹，并根据障碍物与车辆预测轨迹的位置关系，发出障碍物预警信息；同时，获取远程驾驶安全员的车辆控制信号，发送到所述车辆端对远程驾驶车辆进行远程操控。
13.本发明的有益效果如下：本发明的方法和系统通过判断识别出来的障碍物与车辆预测轨迹的位置关系，进行分等级安全预警，能够帮助远程驾驶安全员准确判断车辆在短时间内的运动轨迹范围，降低远程驾驶的难度，并且能结合障碍物安全预警信息进一步提升安全性。
附图说明
14.图1为一个实施例中一种考虑障碍物预警的车辆远程驾驶的辅助方法的步骤图。
15.图2为一个实施例中车辆端和远程驾驶舱端的通信示意图。
16.图3为一个实施例中基于自行车模型的车辆运动学模型示意图；
图4为一个实施例中车辆预测轨迹线和障碍物的位置关系示意图；图5为一个实施例中考虑障碍物预警的车辆远程驾驶的辅助方法的效果示意图。
具体实施方式
17.下面根据附图和优选实施例详细描述本发明，本发明的目的和效果将变得更加明白，应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
18.在一个实施例中，如图1所示，提出了一种考虑障碍物预警的车辆远程驾驶的辅助方法，该方法首先获取摄像头的实时视频画面，并使用障碍物识别算法识别出实时视频画面中的障碍物；然后获取车辆的实时运动状态，使用车辆运动学模型生成车辆预测轨迹；最后判断识别出来的障碍物与车辆预测轨迹的位置关系，发出安全预警。该方法能够提高远程驾驶安全员对车辆周围空间信息的感知能力，准确判断车辆在短时间内的运动轨迹和方向，降低远程驾驶的难度，并且能结合障碍物安全预警信息实现进一步提升安全性。
19.该方法具体包括以下步骤：步骤1，获取摄像头的实时视频画面，使用障碍物识别算法识别出实时视频画面中的障碍物；本实施例中无人车车型为易成s2公共接驳车，上面固定安装了4个工业级车载摄像头，摄像头的视场角为100度，分别覆盖前方、后方、左方、右方四个区域，向下的倾角均为15度。摄像头的安装使用标准的安装支架，尽量保证摄像头在无人车运行过程中不会出现抖动和位置姿态的变化；如果摄像头的位置发生明显变化，摄像头的外参要重新进行标定；通过安装的摄像头获取的实时视频画面为车辆行驶过程中拍摄的实时环境图像。
20.如图2所示，整个远程驾驶系统分为车辆端和远程驾驶舱端，其中车辆端包括一台远程驾驶的车辆、4个摄像头和若干个车辆计算设备，其中计算设备包括一台车规级的工业控制计算机和一台nvidia jetson米文动力嵌入式设备；远程驾驶舱端包括一个驾驶舱、计算设备和一台显示设备，其中驾驶舱为sony的驾驶模拟器，计算设备为普通台式机，显示设备为普通1080p显示器。车辆端搭载的摄像头采集车辆周围的环境图像，车辆计算设备根据内置的障碍物识别算法，识别出障碍物；车辆端将摄像头的参数、实时环境图像、识别出的障碍物信息、远程驾驶车辆的实时运动状态通过网络传输到远程驾驶舱端；车辆端还接收所述远程驾驶舱端上传的车辆控制信号，控制远程驾驶车辆的运行。远程驾驶舱端通过网络接收车辆端传输的摄像头的参数、实时环境图像、识别出的障碍物信息、远程驾驶车辆的实时运动状态，通过内置的障碍物识别算法识别障碍物，使用车辆运动学模型生成车辆预测轨迹，并根据障碍物与车辆预测轨迹的位置关系，发出障碍物预警信息；同时，获取远程驾驶安全员的车辆控制信号，发送到车辆端对远程驾驶车辆进行远程操控。
21.本实施例中，障碍物识别算法采用一种基于卷积神经网络（cnn）的道路障碍物识别方法，该方法相对于传统的障碍物检测算法，例如边缘特征识别法、浅层机器学习法、帧间差分法、光流运动识别法等，有者更佳的准确性和稳定性，算法的运行效率也相对较高。该方法首先对输入的摄像头视频画面预处理生成障碍物候选区域，再将候选区域作为输入传递给全连接的卷积神经网络中，得到最终的障碍物包围盒和类型信息。该卷积神经网络的卷积核的大小和个数、池化层的尺寸和深度能够根据实际场景动态调节，进一步提高障碍物识别的召回率。
22.障碍物识别算法返回一个障碍物列表，每个障碍物包含一个障碍物类别信息和障碍物在摄像头图像坐标系下的二维包围盒信息。其中障碍物类别包括交通参与者、交通设施、交通杂物三大类，交通参与者包括行人（未成年/青年/中年/老年）、车辆（自行车/电瓶车/三轮车/小汽车/客车/卡车/公交车/吊车等），交通设施包括交通锥、石墩、施工牌等，交通杂物包括石块、土堆、纸箱等其他阻碍车辆运行的物体。
23.障碍物识别算法运行在车辆端，或者运行在远程驾驶舱端都可以。但由于障碍物识别算法要求的算力高、实时性强，且障碍物识别算法本身也属于车辆端感知算法的重要模块，因此障碍物识别算法优选被放在车辆端运行，算法识别的结果通过网络传输到远程驾驶舱端。
24.，获取车辆的实时运动状态，使用车辆运动学模型生成车辆预测轨迹；本实施例中，车辆的实时运动状态包括车辆的速度和方向盘转角信息，使用车辆运动学模型生成车辆的预测轨迹，该预测轨迹位于车辆坐标系下，定义了未来一段时间内车身两侧在路面的行驶范围；由于车辆预测轨迹的计算量不大，并且车辆实时运动状态的参数比车辆预测轨迹的参数要小很多，因此车辆端首先将车辆的实时运动状态发送到远程驾驶舱端，在远程驾驶舱端计算车辆的预测轨迹。
25.本实施例中，采用基于自行车模型的车辆运动学模型生成车辆的预测轨迹。自行车模型是对四轮车辆模型的近似简化，该模型应用十分广泛。由于车辆端规划控制算法是运行在车辆坐标系下的，所以该车辆运动学模型也定义在车辆坐标系下。基于自行车模型的车辆动力学模型的具体计算公式如下：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)如图3所示，其中(x, y)为当前车辆后轴中心坐标，δx和δy为车辆后轴中心坐标的微分量，(x’, y’)为更新后的车辆后轴中心坐标；θ为车辆在全局坐标系下的朝向，δθ车辆在全局坐标系下的朝向的微分量，θ
′
为更新后的车辆在全局坐标系下的朝向；l为车辆轴距，v为当前车辆的线速度，δ为车身坐标系下的前轮转向角；车辆预测轨迹的具体计算过程中，首先确定需要预测的轨迹长度，并且确定计算的时间步长，然后不断通过上面的六个公式迭代更新x/y/θ这三个变量，更新车辆的预测轨迹，直到预测轨迹的长度大于预设的最大长度停止迭代。每次接受到车辆端发送过来的车辆运行状态（v，δ）都会进行上述预测轨迹计算，迭代过程中默认车辆运行状态（v，δ）保持不变。其中预测轨迹包括车辆左右两侧两条轨迹，定义了未来一段时间内车身两侧在路面的行驶范围，每条轨迹由一组坐标顶点构成，这些坐标顶点都位于车辆坐标系下。
26.车辆坐标系下的车辆预测轨迹线需要被转换到摄像头的图像坐标系下，才能投影
并绘制在摄像头画面上。本实施例中车辆预测轨迹线只会被投影到主摄像头画面中，主摄像头为前向摄像头。前向摄像头的内参、外参，包括相对车辆坐标系的相对位置和姿态、相机参数矩阵、畸变参数通过网络和车辆实时运动状态一起发送到远程驾驶舱端。使用opencv的projectpoints函数将车辆坐标系下的车辆预测轨迹线转换到主摄像头的图像坐标系中。
27.如图4所示，主摄像头图像坐标系下车辆预测轨迹线，在远程驾驶舱端以折线段的形式在视频画面中进行可视化显示，并且可以根据预设的安全距离等级设置不同的颜：例如，0米到3米预测轨迹线可以显示为红，3米到5米预测轨迹线显示为橘红，5米到8米预测轨迹线显示为黄，8米到12米预测轨迹线显示为黄绿，12米到15米预测轨迹线显示绿。其中红表示极危区域，橘红表示危险区域，黄表示警戒区域，黄绿表示预防区域，绿表示安全区域；其中预测轨迹线的距离指的是预测轨迹线上的点沿着轨迹线与车身最前侧的距离。
28.，判断识别出来的障碍物与车辆预测轨迹的位置关系，发出安全预警；如图4所示，本实施例根据障碍物的包围盒与车辆预测轨迹的位置关系，预设了5种不同危险程度的安全预警等级：极危、危险、警戒、预防和安全。不同的安全预警等级代表不同的警示含义：1.极危：障碍物已经非常靠近车辆，需要启动自动避障或紧急制动程序；2. 危险：障碍物相当靠近车辆，需要提醒安全员尽快进行避障操作；3. 警戒：障碍物位于车辆的预测轨迹线上，有可能在短期内与车辆进行碰撞，需要提醒安全员及时作出反应；4. 预防：障碍物位于车辆的预测轨迹线上，但是与车辆距离较远，有较小概率在未来和车辆发生碰撞，需要提示安全员注意；5. 安全：障碍物距离车辆的预测轨迹线大于安全距离，认为不会影响车辆的行驶，不予预警。
29.遍历所有障碍物，对于每个障碍物，发出安全预警的具体步骤如下：1. 获取障碍物二维包围盒的所有顶点，计算包围盒的底部中心点，该底部中心点位于摄像头图像坐标系下；使用opencv的undistort函数计算对应的去畸变后的图像坐标，再根据摄像头的外参矩阵和内参矩阵投影到车辆坐标系中；设车辆坐标系下包围盒的底部中心点为c，c可以近似替代该障碍物在车辆坐标系下的实际三维包围盒靠近车辆一侧的底边中心点，一定程度上能够代表车辆的实际位置；2. 判断车辆坐标系下的包围盒底部中心点c与两条车辆预测轨迹的关系，如果位于两条车辆预测轨迹的内部，或者与临近的车辆预测轨迹线的距离小于设定的阈值d=0.5m，则说明该障碍物需要被预警，继续执行下面的步骤；否则说明该障碍物不需要被预警，忽略该障碍物；3. 将底部中心点c投影到临近的车辆预测轨迹线上，得到投影点p，计算投影点p沿着轨迹线与车身最前侧的距离d，判断距离d的大小，确定其预警等级：（1）如果d 《= 3m，设定该障碍物的预警等级为极危；（2）如果3m 《 d 《= 5m，设定该障碍物的预警等级为危险；（3）如果5m 《d《=8m，设定该障碍物的预警等级为警戒；
（4）如果8m 《d 《=12m，设定该障碍物的预警等级为预防；（5）如果d》12m，设定该障碍物的预警等级为安全；4. 根据障碍物所属的安全预警等级、障碍物的类别信息以及车辆当前的运动状态触发对应的预警机制。预警机制包括在摄像头画面上显示可视化元素、发出警报声、自动接管和紧急刹车等。具体的预警机制对应关系如下：（1）如果预警等级为极危，在摄像头画面中用闪烁的半透明红方块叠加在障碍物上；如果车速大于3m/s，启动紧急刹车程序进行紧急制动，避免碰撞；否则根据障碍物类别发出不同的语音提示：“距离oc过近，请注意安全！”其中oc为障碍物类别，例如行人、车辆、交通锥、交通牌等；（2）如果预警等级为危险，在摄像头画面中用红方框叠加在障碍物上，并间歇发出滴滴的提示音；（3）如果预警等级为警戒，在摄像头画面中用透明度为0.6的橙方框叠加在障碍物上；（4）如果预警等级为预防，在摄像头画面中用透明度为0.3的黄方框叠加在障碍物上；（5）如果预警等级为安全，不进行任何安全预警提示；本实施例中，语音提示会有超时逻辑，即语音提示之后2s内不再进行重复提示，避免对安全员造成干扰；如果启动紧急刹车程序并完成紧急制动后，安全员需要根据当时的交通状况判断是否要手动解除紧急制动状态。
30.最终远程驾驶舱端显示的可视化效果如图5所示，中央最大的区域显示了主摄像头视频画面，其上叠加了车辆的预测轨迹线。可以看出，障碍物识别算法成功识别到前方两位行人，并根据前方行人和轨迹线的位置关系，确定了这两位行人位于警戒区域，因此将其设置为警戒预警等级。另外，图中显示了行人的包围框，其中黑的线框即为行人在图像坐标系下的二维包围框，提醒远程驾驶安全员要注意及时避让，体现了本发明的有益效果。
31.本领域普通技术人员可以理解，以上所述仅为发明的优选实例而已，并不用于限制发明，尽管参照前述实例对发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在发明的精神和原则之内，所做的修改、等同替换等均应包含在发明的保护范围之内。

技术特征：

1.一种考虑障碍物预警的车辆远程驾驶辅助方法，其特征在于，包括以下步骤：s1，获取固定在车辆上的摄像头拍摄的车辆行驶过程中的实时视频画面，使用障碍物识别算法识别出实时视频画面中的障碍物；s2，获取车辆的实时运动状态，使用车辆运动学模型生成车辆预测轨迹；s3，判断识别出来的障碍物与车辆预测轨迹的位置关系，发出安全预警；所述s3具体包括：s3.1，获取障碍物二维包围盒的顶点，投影到车辆坐标系；s3.2，根据车辆坐标系下的二维包围盒的顶点与车辆预测轨迹的位置关系，确定障碍物所属的安全预警等级；s3.3，根据障碍物所属的安全预警等级、障碍物的类别信息以及车辆当前的运动状态触发不同类型的预警机制。2.根据权利要求1所述的考虑障碍物预警的车辆远程驾驶辅助方法，其特征在于，所述障碍物识别算法为基于卷积神经网络的道路障碍物识别方法，所述障碍物识别算法首先对输入的摄像头视频画面预处理，生成障碍物候选区域，再将候选区域作为输入传递给全连接的卷积神经网络中，至少得到最终的障碍物的类别信息和障碍物在摄像头图像坐标系下的二维包围盒信息。3.根据权利要求1所述的考虑障碍物预警的车辆远程驾驶辅助方法，其特征在于，所述s1中，使用障碍物识别算法识别出图像中的障碍物包括静态障碍物和动态障碍物两类。4.根据权利要求1所述的考虑障碍物预警的车辆远程驾驶辅助方法，其特征在于，所述s2中获取的车辆的实时运动状态包括车辆的速度和方向盘转角信息。5.根据权利要求4所述的考虑障碍物预警的车辆远程驾驶辅助方法，其特征在于，采用基于自行车模型的车辆运动学模型生成车辆的预测轨迹，所述车辆预测轨迹位于车辆坐标系下，定义未来一段时间内车身两侧在路面的行驶范围；并将车辆的预测轨迹转换到前向摄像头的图像坐标系下，投影并绘制在前向摄像头画面上。6.根据权利要求1所述的考虑障碍物预警的车辆远程驾驶辅助方法，其特征在于，所述车辆预测轨迹使用折线段、曲线或者填充面的形式在视频画面中进行可视化显示。7.根据权利要求1所述的考虑障碍物预警的车辆远程驾驶辅助方法，其特征在于，所述根据车辆坐标系下的二维包围盒的顶点与车辆预测轨迹的位置关系，确定障碍物所属的安全预警等级，具体为：将车辆坐标系下二维包围盒的底部中心点投影到临近的车辆预测轨迹线上，得到投影点，计算所述投影点沿着车辆预测轨迹线与车身最前侧的距离d，判断距离d的大小，确定其预警等级为极危、危险、警戒、预防、安全中的任意一种。8.根据权利要求1所述的考虑障碍物预警的车辆远程驾驶辅助方法，其特征在于，所述s3.3中的预警机制包括在摄像头画面上显示可视化元素、发出警报声、自动接管和紧急刹车中的任意一种或多种的组合。9.一种实现权利要求1~8中任意一项的考虑障碍物预警的车辆远程驾驶辅助方法的远程驾驶系统，其特征在于，包括车辆端和远程驾驶舱端；所述车辆端包括远程驾驶车辆、安装在所述远程驾驶车辆上的前置摄像头和若干车辆计算设备；所述前置摄像头采集所述远程驾驶车辆周围的环境实时环境图像；所述车辆计
算设备根据内置的障碍物识别算法，识别出障碍物；所述车辆端将所述摄像头的参数、实时环境图像、识别出的障碍物信息、远程驾驶车辆的实时运动状态通过网络传输到所述远程驾驶舱端；所述车辆端还接收所述远程驾驶舱端上传的车辆控制信号，控制远程驾驶车辆的运行；所述远程驾驶舱端包括驾驶舱、驾驶舱计算设备、显示设备；所述远程驾驶舱端通过网络接收所述车辆端传输的所述摄像头的参数、实时环境图像、识别出的障碍物信息、远程驾驶车辆的实时运动状态，通过内置的障碍物识别算法识别障碍物，使用车辆运动学模型生成车辆预测轨迹，并根据障碍物与车辆预测轨迹的位置关系，发出障碍物预警信息；同时，获取远程驾驶安全员的车辆控制信号，发送到所述车辆端对远程驾驶车辆进行远程操控。

技术总结

本发明公开一种考虑障碍物预警的车辆远程驾驶辅助方法及远程驾驶系统，该方法首先获取固定在车辆上的摄像头拍摄的车辆行驶过程中的实时视频画面，使用障碍物识别算法识别出实时视频画面中的障碍物；获取车辆的实时运动状态，使用车辆运动学模型生成车辆预测轨迹；最后判断识别出来的障碍物与车辆预测轨迹的位置关系，发出安全预警。该方法能帮助远程驾驶安全员准确判断车辆在短时间内的运动轨迹范围，降低远程驾驶的难度，并且能结合障碍物安全预警信息进一步提升安全性。安全预警信息进一步提升安全性。安全预警信息进一步提升安全性。