(19)国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 202210708301.4
(22)申请日 2022.06.22
(71)申请人 南京佑驾科技有限公司
地址 210038 江苏省南京市南京经济技术
开发区兴智路6号兴智科技园A座18层
(72)发明人 朱晓东 刘国清 郑伟 季思文
氢氧化钙生产(74)专利代理机构 南京纵横知识产权代理有限
公司 32224
专利代理师 邓东旭
(51)Int.Cl.
G06V 20/58(2022.01)
G06V 20/62(2022.01)
G06V 10/764(2022.01)
G06V 10/82(2022.01)
(54)发明名称一种基于神经网络的道路交通灯识别系统及方法(57)摘要本发明公开了智能辅助驾驶技术领域的一种基于神经网络的道路交通灯识别系统及方法，包括：获取车辆前方的道路图像数据；将道路图像数据送入已经训练好的红绿灯检测神经网络框架，进行交通灯目标位置检测及类型识别，得到交通灯目标位置信息和类型识别信息；结合交通灯目标位置信息和分类图像预处理方法，在道路图 像数据中获得相应的交通灯图像块；根据类型识别信息将交通灯图像块送入红绿灯识别多头网络模型，得到相应的红绿灯的状态以及倒计时信息。本发明对交通灯倒计时数字的识别提供较为精准的判定，以供智能汽车从容应对路口复
杂环境。权利要求书1页 说明书5页 附图4页CN 115116035 A 2022.09.27
C N 115116035
A
1.一种基于神经网络的道路交通灯识别方法，其特征是，包括：
获取车辆前方的道路图像数据；老婆饼机
将道路图像数据送入已经训练好的红绿灯检测神经网络框架，进行交通灯目标位置检测及类型识别，得到交通灯目标位置信息和类型识别信息；
结合交通灯目标位置信息和分类图像预处理方法，在道路图像数据中获得相应的交通灯图像块；
根据类型识别信息将交通灯图像块送入红绿灯识别多头网络模型，得到相应的红绿灯的状态以及倒计时信息。
2.根据权利要求1所述的基于神经网络的道路交通灯识别方法，其特征是，所述道路图像数据由安装在车辆上的车载单目摄像头在车辆行驶过程中采集得到。
3.根据权利要求1所述的基于神经网络的道路交通灯识别方法，其特征是，所述红绿灯检测神经网络框架使用yolov5的检测框架，且其网络输出为一层特征图，所述交通灯目标位置信息由所述特征图中解码得到交通灯目标位置信息和类型识别信息。
4.根据权利要求1所述的基于神经网络的道路交通灯识别方法，其特征是，结合交通灯目标位置信息和分类图像预处理方法，在道路图像数据中获得相应的交通灯图像块，包括：在道路图像数据中，根据交通灯目标位置信息设置中心点及目标框，获得相应的交通灯图像块，其中，所述交通灯目标位置信息的左上点、右下点坐标分别为(x 1,y 1)、(x 2,y 2)，所述中心点为所述目标框的宽高均为T＝1.1*(max(W，H))，W＝(x 2‑x 1)且H ＝(y 2‑y 1)，将交通灯图像块归一化缩放到分类网络所需要的大小。
5.根据权利要求1所述的基于神经网络的道路交通灯识别方法，其特征是，所述红绿灯识别多头网络模型包含圆形灯体识别任务、箭头灯体识别任务和倒计时时间识别任务，且各个任务分别设置训练集及验证集，作为不同的数据层分别送入网络中进行前传计算，每次前传获得相应任务的loss，将三个任务的loss进行加权求和后再进行反传迭代网络参数，最终获得所述红绿灯识别多头网络模型。
6.一种基于神经网络的道路交通灯识别系统，其特征是，包括：
数据获取模块：用于获取车辆前方的道路图像数据；
红绿灯识别模块：用于将道路图像数据送入已经训练好的红绿灯检测神经网络框架，进行交通灯目标位置检测及类型识别，得到交通灯目标位置信息和类型识别信息；
图像块获取模块：用于结合交通灯目标位置信息和分类图像预处理方法，在道路图像数据中获得相应的交通灯图像块；
信息状态识别模块：用于根据类型识别信息将交通灯图像块送入红绿灯识别多头网络模型，得到相应的红绿灯的状态以及倒计时信息。
7.一种基于神经网络的道路交通灯识别装置，其特征是，包括处理器及存储介质；所述存储介质用于存储指令；
所述处理器用于根据所述指令进行操作以执行根据权利要求1～5任一项所述方法的步骤。
8.计算机可读存储介质，其上存储有计算机程序，其特征是，该程序被处理器执行时实现权利要求1～5任一项所述方法的步骤。
权 利 要 求 书1/1页CN 115116035 A
一种基于神经网络的道路交通灯识别系统及方法技术领域
[0001]本发明涉及一种基于神经网络的道路交通灯识别系统及方法，属于智能辅助驾驶技术领域。
背景技术
[0002]随着城市交通的发展以及科技水平的进步，汽车的智能化已然成为近几年各大车企的重点发展方向。各车企都尽可能采取各种智能化的设备和技术来提高汽车的主动安全性能，增加乘客的舒适性。其中交通灯识别系统有着重要应用价值。然而实现一个真正实用的交通灯识别系统难度很高，原因如下：一是交通灯识别方法面临的是一个开放的复杂环境，需要考虑多变光照和路口距离造成的大小变化等因素；二是交通灯识别方法由于应用场景必须要做到实时运行才有意义。
发明内容
[0003]本发明的目的在于克服现有技术中的不足，提供一种基于神经网络的道路交通灯识别系统及方法，对交通灯倒计时数字的识别提供较为精准的判定，以供智能汽车从容应对路口复杂环境。
四楞筋骨草
[0004]为达到上述目的，本发明是采用下述技术方案实现的：
[0005]第一方面，本发明提供了一种基于神经网络的道路交通灯识别方法，包括：
[0006]获取车辆前方的道路图像数据；
[0007]将道路图像数据送入已经训练好的红绿灯检测神经网络框架，进行交通灯目标位置检测及类型识别，得到交通灯目标位置信息和类型识别信息；
[0008]结合交通灯目标位置信息和分类图像预处理方法，在道路图像数据中获得相应的交通灯图像块；
[0009]根据类型识别信息将交通灯图像块送入红绿灯识别多头网络模型，得到相应的红绿灯的状态以及倒计时信息。
[0010]进一步的，所述道路图像数据由安装在车辆上的车载单目摄像头在车辆行驶过程中采集得到。
[0011]进一步的，所述红绿灯检测神经网络框架使用yolov5的检测框架，且其网络输出为一层特征图，所述交通灯目标位置信息由所述特征图中解码得到交通灯目标位置信息和类型识别信息。
[0012]进一步的，结合交通灯目标位置信息和分类图像预处理方法，在道路图像数据中获得相应的交通灯图像块，包括：在道路图像数据中，根据交通灯目标位置信息设置中心点及目标框，获得相应的交通灯图像块，其中，所述交通灯目标位置信息的左上点、右下点坐
标分别为(x 1,y 1)、(x 2,y 2)，所述中心点为所述目标框的宽高均为T＝
1.1*(max(W，H))，W＝(x 2‑x 1)且H＝(y 2‑y 1)，将交通灯图像块归一化缩放到分类网络所需要
的大小。
[0013]进一步的，所述红绿灯识别多头网络模型包含圆形灯体识别任务、箭头灯体识别任务和倒计时时间识别任务，且各个任务分别设置训练集及验证集，作为不同的数据层分别送入网络中进行前传计算，每次前传获得相应任务的loss，将三个任务的loss进行加权求和后再进行反传迭代网络参数，最终获得所述红绿灯识别多头网络模型。
[0014]第二方面，本发明提供了一种基于神经网络的道路交通灯识别系统，包括：[0015]数据获取模块：用于获取车辆前方的道路图像数据；
[0016]红绿灯识别模块：用于将道路图像数据送入已经训练好的红绿灯检测神经网络框架，进行交通灯目标位置检测及类型识别，得到交通灯目标位置信息和类型识别信息；[0017]图像块获取模块：用于结合交通灯目标位置信息和分类图像预处理方法，在道路图像数据中获得相应的交通灯图像块；
[0018]信息状态识别模块：用于根据类型识别信息将交通灯图像块送入红绿灯识别多头网络模型，得到相应的红绿灯的状态以及倒计时信息。
[0019]第三方面，本发明提供了一种基于神经网络的道路交通灯识别装置，包括处理器及存储介质；
[0020]所述存储介质用于存储指令；
[0021]所述处理器用于根据所述指令进行操作以执行根据上述任一项所述方法的步骤。[0022]第四方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一项所述方法的步骤。
[0023]与现有技术相比，本发明所达到的有益效果：
[0024]本发明旨在通过神经网络技术融合目标检测及目标分类方法，首先通过检测的方法对交通灯进行较为细致的划分，再利用分类的方法来识别具体的灯光同时过滤出一些错误的检测结果，最后利用OCR的识别方式来进行交通灯倒计时数字的识别来做到精准判定，以提升整个系统的鲁棒性，以供智能汽车从容应对路口复杂环境，更精准的完成加减速，启停等操作，此外通过红绿灯的判定的路口场景，也可以辅助车辆对相应的ADAS算法进行特殊的场景微调，细化安全等级调优。提供先验场景知识，帮助车辆针对特殊场景进行不同安全等级的调优，进而给出更精准的报警预测。
附图说明
[0025]图1是本发明实施例一提供的基于神经网络的道路交通灯识别方法流程图；[0026]图2是本发明实施例一提供的摄像头安装位置示意图；
[0027]图3是本发明实施例一提供的场景演示中采集图像示例示意图；
自动埋钉机[0028]图4是本发明实施例一提供的交通灯主体类型示意图；
[0029]图5是本发明实施例一提供的网络输出更改示意图；
[0030]图6是本发明实施例一提供的灯体分类示意图；
[0031]图7是本发明实施例一提供的识别模块网络结构示意图。
具体实施方式
[0032]下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明
的技术方案，而不能以此来限制本发明的保护范围。
[0033]实施例一：
胶囊模具
[0034]一种基于神经网络的道路交通灯识别方法，请参阅图1，该方法主要分为三个部分：道路图像获取，道路红绿灯检测，红绿灯识别。第一步，我们通过车载摄像头实时获取本车正前方的不同道路图像数据，第二步，将获取的图像送入已经训练好的红绿灯检测神经网络框架中获取道路中红绿灯的位置信息及类别信息，第三步，根据车辆位置信息及分类图像预处理方法获取相应的Patch，第四步，根据类别信息将Patch送入红绿灯识别网络便可以得到相应的红绿灯的状态以及部分倒计时信息。
[0035](1)图像获取
[0036]把车载单目摄像头安装在车窗玻璃上，采集车辆行驶过程中本车正前方的车况信息。采集图片的输入尺寸为1920*1080P，摄像头装置位置如图2所示，场景演示中采集图像示例如图3所示。
[0037](2)交通灯检测
[0038]请参阅图4，根据路面上常见的各种交通灯主体，首先在检测阶段就进行类别的细化，尽可能同时检测出灯框及灯体，以方便后续进行相对关系的判定，进一步的明确其是否为本车所需关注的信号。交通灯检测使用yolov5的检测框架，采用MobileNetV2做为Backbone，保证轻量化网络参数的同时获得不错的检测性能。
[0039]请参阅图5，由于交通灯的距离均较远，成像尺寸较小，我们通过对Yolov5head网络输出进行修
改，从三层不同大小的特征图精简为一层较大的特征图，减少了网络的深度同时单层的较大尺寸特征图更聚焦于各种小尺寸的目标，最后从特征图中解码出对应的目标位置及其类别，保证了交通灯的检测维持在较高的召回率。
[0040](3)交通灯识别
[0041]由于交通灯检测中已经将交通灯进行了不同类别的区分，需要对不同类别的主体和灯体分别进行分类及识别。
[0042](a)灯体分类
[0043]请参阅图6，本方案针对检测的交通灯结果进行如下的类别区分：
[0044]1、圆形灯体：主要进行颜的区分，
红、黄、绿；[0045]2、箭头灯体：根据颜以及不同的箭头方向进行细致化类别划分。
[0046](b)数字识别
[0047]由于不同交通灯倒计时数字会有不同的位数问题，造成识别工作并不能简单的直接进行分类，
我们使用了CTC的解码方式，将样本的输出对齐，对其中的每一位数字进行单独的分类，最后组合成最终的倒计时时间。
[0048]预处理：
[0049]由于图像中各灯体的尺寸不一，必须进行归一化处理后才能送入分类网络中前传获得结果。
[0050]该方法从交通灯检测部分获得某灯体的位置信息，其中(x 1,y1)、(x 2,y2)代表其左
上点、右下点坐标，中心点的计算方式为检测框宽度W＝(x 2‑x 1)，检测框高度H＝(y 2‑y1)。然后采用宽高中的最大值外扩1.1倍做为新的目标框的宽高T＝1.1*
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议