基于机器视觉的路侧盲区预警方法及装置与流程

1.本发明涉及交通预警技术领域，尤其涉及一种基于机器视觉的路侧盲区预警方法及装置。

背景技术：

2.在城市交通道路上，除了会存在小型非机动车、机动车以外，还会存在很多大型车辆，例如公交、货车、大型渣土车等，该类大型车辆由于体积巨大，导致后方的小型车辆从侧面同向经过该类大型车辆时，很容易视线被遮挡，而此时一旦有行人或者小型非机动车、机动车从前方内驶出，即可能会造成同向车辆之间或者车辆与行人之间发生碰撞，也即为交通事故中常见的“鬼探头”现象。大型车辆在交通道路上是周围车辆、人员产生危险的一个重要因素。虽然部分车辆已具备主动安全的控制功能，可以在预测会发生碰撞时控制制动，但是上述现象往往会造成需要短距离内的制动，而依靠主动安全控制难以短距离内制动让车辆减速停止。
3.针对于上述问题，有从业者提出通过设置摄像头进行监测的方式实现提醒，但是该类方式通常都是简单的在路侧设置摄像头进行行人与车辆的检测，当检测到有行人过马路时以及有来车时即进行提醒，但是该类方式仅是简单的依据是否有行人过马路以及是否有来车来进行提醒，很容易产生误报的情况，同时对于大型车辆对小型车辆造成视线遮挡行为无法进行检测，因而实际上仍然无法解决当大型车辆对小型车辆造成视线遮挡使得会造成与行人碰撞风险的问题。

技术实现要素：

4.本发明要解决的技术问题就在于：针对现有技术存在的技术问题，本发明提供一种实现方法简单、效率以及精度高且安全可靠的基于机器视觉的路侧盲区预警方法及装置，能够有效实现路侧盲区预警，及时预判需要过马路的行人的碰撞风险，避免大型车辆对其他车辆视线遮挡而造成的安全隐患。
5.为解决上述技术问题，本发明提出的技术方案为：
6.一种基于机器视觉的路侧盲区预警方法，步骤包括：
7.s01.获取路侧布置的摄像头采集到的目标监测范围内的图像并进行目标检测；
8.s02.当步骤s01检测到行人目标时，根据行人的运动轨迹判断行人是否有过马路的意图；
9.s03.如果步骤s02监测到有行人存在过马路的意图，获取当前道路指定范围内车流量的状态，判断当前是否存在超过预设尺寸的第一类型车辆位于其他行驶的第二类型车辆的前方，如果是根据第一类型车辆与第二类型车辆之间的间距以及夹角判断第二类型车辆的视线是否会被所述第一类型车辆遮挡；
10.s04.当步骤s03判断到存在所述第一类型车辆位于所述第二类型车辆的前方，且所述第二类型车辆的视线会被所述第一类型车辆遮挡时，预测行人是否会存在碰撞风险；
11.s05.当步骤s04预测行人会存在碰撞风险时，向行人以及各车辆发出告警信息。
12.进一步的，所述步骤s01中，通过yolo机器视觉识别算法进行目标类别的识别。
13.进一步的，所述步骤s02中，通过获取连续帧的行人运动数据并提取行人的运动轨迹，根据所述行人的运动轨迹预测行人是否有过马路的意图。
14.进一步的，采用bytetrack跟踪算法提取所述行人的运动轨迹，将所述行人的运动轨迹输入至卡尔曼滤波器中进行预测。
15.进一步的，所述步骤s03中，根据第一类型车辆与第二类型车辆之间的间距以及夹角将第一类型车辆与第二类型车辆的位置关系投射至二维空间进行判断，以确定第二类型车辆的视线是否会被所述第一类型车辆遮挡。
16.进一步的，所述步骤s04中，根据行人的运动速度以及所需过马路的距离、第一类型车辆与第二类型车辆的速度以及第一类型车辆与第二类型车辆距离行人所需穿越的马路之间的距离，判断在指定时间内行人的行驶轨迹与所述第一类型车辆或所述第二类型车辆会形成交叉，如果是则判定行人会存在碰撞风险。
17.进一步的，所述步骤s05中，还包括预测出可能发生碰撞的空间位置，并通过控制投射设备投射预设图案和/或灯光至预测的所述可能发生碰撞的空间位置以提醒各车辆。
18.进一步的，所述通过投射设备投射预设图案和/或灯光至可能发生碰撞的空间位置时，通过空间解算计算出投射设备上舵机转向角，根据计算出的舵机转向角控制投射设备的转向。
19.一种基于机器视觉的路侧盲区预警装置，包括：
20.目标检测模块，获取路侧布置的摄像头采集到的目标监测范围内的图像并进行目标检测；
21.行人意图识别模块，用于当目标检测模块检测到行人目标时，根据行人的运动轨迹判断行人是否有过马路的意图；
22.车辆遮挡状态检测模块，用于如果所述行人意图识别模块监测到有行人存在过马路的意图，获取当前道路指定范围内车流量的状态，判断当前是否存在超过预设尺寸的第一类型车辆位于其他行驶的第二类型车辆的前方，如果是根据第一类型车辆与第二类型车辆之间的间距以及夹角判断第二类型车辆的视线是否会被所述第一类型车辆遮挡；
23.风险预测模块，用于当所述车辆遮挡状态检测模块判断到存在所述第一类型车辆位于所述第二类型车辆的前方，且所述第二类型车辆的视线会被所述第一类型车辆遮挡时，预测行人是否会存在碰撞风险；
24.告警模块，用于当所述风险预测模块预测行人会存在碰撞风险时，向行人以及各车辆发出告警信息。
25.进一步的，所述告警模块包括可旋转投射设备，以用于投射预设图案和/或灯光至可能发生碰撞的空间位置。
26.与现有技术相比，本发明的优点在于：本发明通过对目标监测范围内基于机器视觉进行目标检测以及识别，当检测到行人时依据运行轨迹判断行人是否有过马路的意图，如果有则进一步判断是否存在大型车辆位于第二类型车辆的前方，并依据车辆之间的间距以及夹角判断车辆是否会存在视线遮挡，如果存在视线遮挡则进一步预测行人是否会存在碰撞风险，如果有碰撞风险则发出告警信息以进行提醒，能够快速、精准监测出大型车辆对
小型车辆造成视线遮挡而可能造成与过马路行人的碰撞情况，及时的进行告警，可以拓展大型车辆周边车辆的视觉范围，使得周边车辆能够提前预判碰撞的可能性，降低因大型车辆遮挡而导致周围车辆交汇时碰撞事故，保证行人与车辆的安全。
附图说明
27.图1是本实施例基于机器视觉的路侧盲区预警方法的实现流程示意图。
28.图2是本发明在具体应用实施例中实现路侧盲区预警的系统的结构示意图。
29.图3是本发明具体应用实施例中采用的可旋转投射设备的结构示意图。
30.图4是本发明具体应用实施例中显示的提醒信息效果示意图。
31.图5是本发明具体应用实施例中实现路侧盲区预警的第一效果示意图。
32.图6是本发明具体应用实施例中实现路侧盲区预警的第二效果示意图。
具体实施方式
33.以下结合说明书附图和具体优选的实施例对本发明作进一步描述，但并不因此而限制本发明的保护范围。
34.如本发明公开所示，除非上下文明确提示例外情形，本发明公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。同样，“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。
35.如图1所示，本实施例基于机器视觉的路侧盲区预警方法的步骤包括：
36.s01.获取路侧布置的摄像头采集到的目标监测范围内的图像并进行目标检测；
37.s02.当步骤s01检测到行人目标时，根据行人的运动轨迹判断行人是否有过马路的意图；
38.s03.如果步骤s02监测到有行人存在过马路的意图，获取当前道路指定范围内车流量的状态，判断当前是否存在超过预设尺寸的第一类型车辆位于其他行驶的第二类型车辆的前方，如果是根据第一类型车辆与第二类型车辆之间的间距以及夹角判断第二类型车辆的视线是否会被第一类型车辆遮挡；
39.s04.当步骤s03判断到存在第一类型车辆位于第二类型车辆的前方，且第二类型车辆的视线会被第一类型车辆遮挡时，预测行人是否会存在碰撞风险；
40.s05.当步骤s04预测行人会存在碰撞风险时，向行人以及各车辆发出告警信息。
41.本实施例通过对目标监测范围内基于机器视觉进行目标检测以及识别，当检测到行人时依据运行轨迹判断行人是否有过马路的意图，如果有则进一步判断是否存在第一类型车辆(大型车辆)位于第二类型车辆(小型车辆)的前方，并依据车辆之间的间距以及夹角判断车辆是否会存在视线遮挡，如果存在视线遮挡则进一步预测行人是否会存在碰撞风险，如果有碰撞风险则发出告警信息以进行提醒，能够快速、精准监测出大型车辆对小型车辆造成视线遮挡而可能造成与过马路行人的碰撞情况，及时的进行告警，可以在很大程度上拓展大型车辆周边车辆的视觉范围，使得周边车辆提前预判碰撞的可能性，可以在很大程度上降低因大型车辆遮挡而导致周围车辆交汇时碰撞事故，保证行人与车辆的安全，降低大型车辆在交通道路上的危险系数。
42.在具体应用实施例中，通过路侧架设的摄像头获取意图过马路的移动行人的视频，并通过机器视觉识别算法分析物体的运动方向，识别出具有穿过马路意图的行人的事件；如果有过马路意图的行人，则进一步通过雷达检测探测出大型车辆位置，并探测出周边是否有同向车辆且会存在视线遮挡，如果是则进一步预测行人是否会存在碰撞风险，如果是则通过在led屏幕输出文字和闪动以及投射预设图案(如标识危险的图案等)或灯光等，以提醒后方来车，同时还可以发出语音提醒行人，以及基于v2x方式通知需要提醒的车辆等等。
43.本实施例步骤s01中，通过yolo机器视觉识别算法进行目标类别的识别。通过边缘机器视觉服务器获取路侧安装的摄像头所采用的图像数据后，使用机器视觉识别算法yolo识别出行人、大型车辆、普通车辆以及小型机动车等各类目标类型。
44.本实施例步骤s02中，通过获取连续帧的行人运动数据并提取行人的运动轨迹，根据行人的运动轨迹预测行人是否有过马路的意图。上述具体可以采用bytetrack跟踪算法提取行人的运动轨迹，将行人的运动轨迹输入至卡尔曼滤波器，预测行人后续行驶意图。
45.本实施例步骤s03中，根据第一类型车辆与第二类型车辆之间的间距以及夹角将第一类型车辆与第二类型车辆的位置关系投射至二维空间进行判断，以确定第二类型车辆的视线是否会被第一类型车辆遮挡。如果大型车辆与后方小型车辆按照相互之间的间距以及夹角投射至二维空间后，前方车辆会形成对后方车辆造成视线遮挡，依据该二维空间遮挡关系即可以判断出是否有大型车辆造成快速车辆的盲区而使得与过马路行人存在碰撞风险。
46.本实施例步骤s04中，根据行人的运动速度以及所需过马路的距离、第一类型车辆与第二类型车辆的速度以及第一类型车辆与第二类型车辆距离行人所需穿越的马路之间的距离，判断在指定时间内行人的行驶轨迹与第一类型车辆或第二类型车辆会形成交叉，如果是则判定行人会存在碰撞风险。如有过马路的行人与来车发生碰撞，则行人的行驶轨迹与车辆的行驶轨迹在指定时长内会形成交叉，依据该特性可以准确预测出行人是否会存在碰撞风险。
47.本实施例步骤s05中，还包括预测出可能发生碰撞的空间位置，并通过控制投射设备投射预设图案或灯光等至预测的可能发生碰撞的空间位置以提醒各车辆。
48.在具体应用实施例中，如图2所示，在路侧斑马线附近存在车辆视觉盲区、过马路区域附近或者易于发生“鬼探头”事件的区域分别安装摄像头，实时获取摄像头采集的数据通过机器视觉识别与跟踪算法分析可能闯入车辆视觉盲区的行人，其中对于盲区、过马路区域附近可采用简单的行人识别与跟踪，在易于发生“鬼探头”事件的区域则通过识别行人以及过马路意图后发送给边缘处理设备，边缘处理设备通过边缘视觉处理单元分别与各摄像头连接，由边缘处理设备对接收到的数据进行边缘计算(mec)处理，断是否存在与车辆的碰撞风险，如果存在则通过可控预警投射设备投射预设图案或者灯光，上述投射设备具体可以是可旋转设备，如图3所示，通过投射设备投射预设图案至指定位置时，通过空间解算计算出投射设备上舵机转向角，根据计算出的舵机转向角控制转向，以将预设图案投影至预测的可能发生碰撞的空间位置。同时还通过led预警设备显示预警信息，如图4所示。
49.在具体应用实施例中，如图5、6所示，在路侧斑马线附近存在车辆视觉盲区的区域安装摄像头，通过路侧led屏幕闪动加文字提醒的方式并预测可能发生碰撞的危险位置，边
缘设备通过控制灯光投射设备把危险预警文字投射到行人出现的位置，同时路侧的音箱会语音广播告知行人注意，并可通过rsu通过v2x协议预警其他装有obu的车辆，同向的后方车辆能够接近大型车辆的时候提前警惕到行驶前方盲区可能有危险物体出现，从而使得各车辆提前减速，从而达到降低鬼探头事故的可能性，提高行人与车辆的安全。
50.本实施例基于机器视觉的路侧盲区预警装置包括：
51.目标检测模块，获取路侧布置的摄像头采集到的目标监测范围内的图像并进行目标检测；
52.行人意图识别模块，用于当目标检测模块检测到行人目标时，根据行人的运动方向判断行人是否有过马路的意图；
53.车辆遮挡状态检测模块，用于如果行人意图识别模块监测到有行人存在过马路的意图，获取当前道路指定范围内车流量的状态，判断当前是否存在超过预设尺寸的第一类型车辆位于其他行驶的第二类型车辆的前方，如果是根据第一类型车辆与第二类型车辆之间的间距以及夹角判断第二类型车辆的视线是否会被第一类型车辆遮挡；
54.风险预测模块，用于当车辆遮挡状态检测模块判断到存在第一类型车辆位于第二类型车辆的前方，且第二类型车辆的视线会被第一类型车辆遮挡时，预测行人是否会存在碰撞风险；
55.告警模块，用于当风险预测模块预测行人会存在碰撞风险时，向行人以及各车辆发出告警信息。
56.上述告警模块包括可旋转投射设备，以用于投射预设图案和/或灯光至可能发生碰撞的空间位置。告警模块还包括led显示模块以及通过v2x协议向车辆发送预警信息的发送设备等等，具体可以根据实际需求配置。
57.本实施例基于机器视觉的路侧盲区预警装置与上述基于机器视觉的路侧盲区预警方法为一一对应，在此不再一一赘述。
58.上述只是本发明的较佳实施例，并非对本发明作任何形式上的限制。虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明。因此，凡是未脱离本发明技术方案的内容，依据本发明技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均应落在本发明技术方案保护的范围内。

技术特征：

1.一种基于机器视觉的路侧盲区预警方法，其特征在于，步骤包括：s01.获取路侧布置的摄像头采集到的目标监测范围内的图像并进行目标检测；s02.当步骤s01检测到行人目标时，根据行人的运动轨迹判断行人是否有过马路的意图；s03.如果步骤s02监测到有行人存在过马路的意图，获取当前道路指定范围内车流量的状态，判断当前是否存在超过预设尺寸的第一类型车辆位于其他行驶的第二类型车辆的前方，如果是根据第一类型车辆与第二类型车辆之间的间距以及夹角判断第二类型车辆的视线是否会被所述第一类型车辆遮挡；s04.当步骤s03判断到存在所述第一类型车辆位于所述第二类型车辆的前方，且所述第二类型车辆的视线会被所述第一类型车辆遮挡时，预测行人是否会存在碰撞风险；s05.当步骤s04预测行人会存在碰撞风险时，向行人以及各车辆发出告警信息。2.根据权利要求1所述的基于机器视觉的路侧盲区预警方法，其特征在于，所述步骤s01中，通过yolo机器视觉识别算法进行目标类别的识别。3.根据权利要求1所述的基于机器视觉的路侧盲区预警方法，其特征在于，所述步骤s02中，通过获取连续帧的行人运动数据并提取行人的运动轨迹，根据所述行人的运动轨迹预测行人是否有过马路的意图。4.根据权利要求3所述的基于机器视觉的路侧盲区预警方法，其特征在于，采用bytetrack跟踪算法提取所述行人的运动轨迹，将所述行人的运动轨迹输入至卡尔曼滤波器中进行预测。5.根据权利要求1所述的基于机器视觉的路侧盲区预警方法，其特征在于，所述步骤s03中，根据第一类型车辆与第二类型车辆之间的间距以及夹角将第一类型车辆与第二类型车辆的位置关系投射至二维空间进行判断，以确定第二类型车辆的视线是否会被所述第一类型车辆遮挡。6.根据权利要求1所述的基于机器视觉的路侧盲区预警方法，其特征在于，所述步骤s04中，根据行人的运动速度以及所需过马路的距离、第一类型车辆与第二类型车辆的速度以及第一类型车辆与第二类型车辆距离行人所需穿越的马路之间的距离，判断在指定时间内行人的行驶轨迹与所述第一类型车辆或所述第二类型车辆会形成交叉，如果是则判定行人会存在碰撞风险。7.根据权利要求1～6中任意一项所述的基于机器视觉的路侧盲区预警方法，其特征在于，所述步骤s05中，还包括预测出可能发生碰撞的空间位置，并通过控制投射设备投射预设图案和/或灯光至预测的所述可能发生碰撞的空间位置以提醒各车辆。8.根据权利要求7所述的基于机器视觉的路侧盲区预警方法，其特征在于，所述通过投射设备投射预设图案和/或灯光至可能发生碰撞的空间位置时，通过空间解算计算出投射设备上舵机转向角，根据计算出的舵机转向角控制投射设备的转向。9.一种基于机器视觉的路侧盲区预警装置，其特征在于，包括：目标检测模块，获取路侧布置的摄像头采集到的目标监测范围内的图像并进行目标检测；行人意图识别模块，用于当目标检测模块检测到行人目标时，根据行人的运动轨迹判断行人是否有过马路的意图；
车辆遮挡状态检测模块，用于如果所述行人意图识别模块监测到有行人存在过马路的意图，获取当前道路指定范围内车流量的状态，判断当前是否存在超过预设尺寸的第一类型车辆位于其他行驶的第二类型车辆的前方，如果是根据第一类型车辆与第二类型车辆之间的间距以及夹角判断第二类型车辆的视线是否会被所述第一类型车辆遮挡；风险预测模块，用于当所述车辆遮挡状态检测模块判断到存在所述第一类型车辆位于所述第二类型车辆的前方，且所述第二类型车辆的视线会被所述第一类型车辆遮挡时，预测行人是否会存在碰撞风险；告警模块，用于当所述风险预测模块预测行人会存在碰撞风险时，向行人以及各车辆发出告警信息。10.根据权利要求9所述的基于机器视觉的路侧盲区预警装置，其特征在于，所述告警模块包括可旋转投射设备，以用于投射预设图案和/或灯光至可能发生碰撞的空间位置。

技术总结

本发明公开一种基于机器视觉的路侧盲区预警方法及装置，该方法步骤包括：S01.采集目标监测范围内的图像并进行目标检测；S02.根据行人的运动方向判断行人是否有过马路的意图；S03.检测当前道路指定范围内车流量的状态，判断当前是否存在第一类型车辆位于第二类型车辆的前方，如果是根据车辆之间的间距以及夹角判断第二类型车辆的视线是否会被遮挡；S04.预测行人是否会存在碰撞风险；S05.当预测行人会存在碰撞风险时，向行人以及各车辆发出告警信息。本发明能够有效实现路侧盲区预警，及时预判需要过马路的行人的碰撞风险，避免大型车辆对其他车辆视线遮挡而造成的安全隐患。对其他车辆视线遮挡而造成的安全隐患。对其他车辆视线遮挡而造成的安全隐患。