基于深度学习图像识别的车牌识别方法及系统与流程

1.本发明涉及车牌识别技术领域，具体为基于深度学习图像识别的车牌识别方法及系统。

背景技术：

2.深度学习是机器学习领域中一个新的研究方向，它被引入机器学习使其更接近于最初的目标——人工智能。深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。
3.车牌识别主要是对行车出入口的车辆进行图像拍摄和图像识别，并且其要求识别的车牌尺寸大小必须在一定的范围内，随着计算机和人工智能领域核心技术日新月异地发展，对于监控视频中运动目标的检测、识别和定位等技术水平也是突飞猛进，其中低分辨率图像识别一直是图像处理技术研究中最活跃的话题之一，也是长久以来的难点之一。一个完善的车牌识别系统包括视频图像采集、车辆检测、车牌定位、字符分割、字符识别等一系列的步骤。
4.当在不同的识别环境下，拍摄下的车牌图像可能会存在模糊和不可识别的现象，且行车出入口的车流量一般较大，若因为车牌图像模糊或不可识别导致车牌识别设备不能及时准确的识别出车辆的信息，会造成行车出入口堵塞，影响后续车辆的出入。

技术实现要素：

5.本发明的目的在于提供基于深度学习图像识别的车牌识别方法及系统，以解决上述背景技术中提出的问题。
6.为实现上述目的，本发明提供如下技术方案：基于深度学习图像识别的车牌识别系统，包括图像采集器、图像处理器、图像存储器、图像处理中心、临时数据库、新数据库和车辆检测器，所述图像采集器分别与图像处理器和图像存储器电性连接，所述图像存储器的输出端与临时数据库的输入端连接，所述临时数据库的输出端与新数据库的输入端连接，所述图像处理中心的输入端与新数据库的输出端连接。
7.所述图像处理器通过随机替换字符的方式对模糊车牌图像进行处理，所述图像存储器通过清晰度分析检测对识别图像进行清晰化处理，所述图像处理器通过3d卷积中的低秩近似模型对图像进行建模。
8.优选的，所述图像处理器通过随机替换字符的方式对模糊车牌图像进行处理，并对生成的车牌数据进行图像增强处理。
9.优选的，所述图像存储器内置用于删除不可识别图像的过滤器，所述车辆检测器分别与图像处理器、图像存储器、图像处理中心、临时数据库、新数据库和云数据库信号连接。
10.优选的，所述新数据库的数据通过eds加密服务器进行传输，且图像处理中心的输
出端与云数据库通过无线信号连接。
11.基于深度学习图像识别的车牌识别方法，包括以下步骤：
12.s1：图像采集器对车辆的车牌进行拍摄后，将拍摄的画面传输到图像处理器，图像处理器对图像数据进行vlad融合后获取向量，获得的向量通过3d卷积中的低秩近似模型对图像进行建模，得到特征结果。
13.s2：图像处理器将建模后的特征结果进行图像分析，清晰的图像直接传输到新数据库中，部分模糊的图像则随机替换字符的方式对模糊车牌图像进行处理，并对生成的车牌数据进行图像增强处理，加强图像的清晰度后，再传输到新数据库中，对于完全模糊的图像则不进行处理。
14.s3：所有清晰的图像和加强后清晰的图像会传输给车辆检测器进行识别，识别后的车辆信息会录入到云数据库中。
15.s4：图像采集器将所有图像传输到图像存储器中，图像存储器对输入的图像进行分为可识别图像和不可识别图像，不可识别图像直接传输到过滤器中进行删除，可识别图像确定其拍摄时间点后，从图像处理器中导入临近时间点的图像，采用清晰度分析检测，把最清晰的图像画面被传输到临时数据库中。
16.s5：临时数据库对车牌的底进行对比，排除车牌底的干扰后，截取车牌的画面进行窗口更迭，更迭后的画面传输到新数据库中，车辆检测器对新数据库中的车牌画面信息进行识别，得到车辆的信息。
17.s6：新数据库中的信息通过eds加密服务器传输到图像处理中心，图像处理中心将图像等帧率放大后，与云数据库中的数据进行对比，即可确定车辆，并确定车辆过往的信息。
18.s7：在云数据库中再次对图像数据进行增强处理，采用四种随机组合的方式，随机使用一种或者多种方法对图像数据进行增强，得到增强后的图像数据用于对车牌进行识别。
19.与现有技术相比，本发明的有益效果是：
20.1.该基于深度学习图像识别的车牌识别方法及系统，通过图像存储器对输入的图像进行分为可识别图像和不可识别图像，可识别图像确定其拍摄时间点后，从图像处理器中导入临近时间点的图像，采用清晰度分析检测，把最清晰的图像画面被传输到临时数据库中，并在云数据库中进行储存，避免拍摄的画面清晰度不足，不能及时准确的识别出车辆的信息，造成行车出入口堵塞，影响后续车辆的出入。
21.2.该基于深度学习图像识别的车牌识别方法及系统，图像处理器通过随机替换字符所在区域的方式生成不同内容的车牌数据，加强图像的清晰度后，再传输到新数据库中，清晰的图像和加强后清晰的图像会传输给车辆检测器进行识别，识别后的车辆信息会录入到云数据库中，并结合长短期记忆搭建形成卷积神经网络模型，得到相应的车牌号码信息，能够对拍摄车牌号不可识别的情况下对车牌进行准确的识别，从而提高对不同场景环境中车辆进行车牌识别的快速性、精确性和可靠性。
附图说明
22.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使
用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
23.图1为本发明的车牌帧信息处理流程图；
24.图2为本发明的由图像生产特征流程图；
25.图3为本发明的车牌图像存储流程图；
26.图4为本发明的临时数据库图像处理流程图；
27.图5为本发明的新数据库图像处理流程图。
具体实施方式
28.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
29.请参阅图1-图5，本发明提供一种技术方案：基于深度学习图像识别的车牌识别系统，包括图像采集器、图像处理器、图像存储器、图像处理中心、临时数据库、新数据库和车辆检测器，图像采集器分别与图像处理器和图像存储器电性连接，图像存储器的输出端与临时数据库的输入端连接，临时数据库的输出端与新数据库的输入端连接，图像处理中心的输入端与新数据库的输出端连接。
30.图像处理器通过随机替换字符的方式对模糊车牌图像进行处理，并对生成的车牌数据进行图像增强处理。图像存储器通过清晰度分析检测对识别图像进行清晰化处理，图像处理器对图像数据进行vlad融合后获取向量，所获得的向量通过3d卷积中的低秩近似模型对图像进行建模。
31.利用3d卷积的低秩近似实现参数量的减少，对于2d卷积7
×
7的核，可以用1
×
7与7
×
1近似替代，同样3d卷积，3
×3×
3的核可以用1
×3×
3与3
×1×
1近似替代。
32.图像存储器内置用于删除不可识别图像的过滤器，车辆检测器分别与图像处理器、图像存储器、图像处理中心、临时数据库、新数据库和云数据库信号连接。新数据库的数据通过eds加密服务器进行传输，且图像处理中心的输出端与云数据库通过无线信号连接。
33.基于深度学习图像识别的车牌识别方法，包括以下步骤：
34.s1：图像采集器对车辆的车牌进行拍摄后，将拍摄的画面传输到图像处理器，图像处理器对图像数据进行vlad融合后获取向量，首先对一个视频的各个帧特征进行聚类得到多个聚类中心，将所有的特征分配到指定的聚类中心中，对于每个聚类区域中的特征向量取平均，最终合并所有的聚类区域的特征向量作为整个视频的特征向量。把所有帧的特征向量聚类到一个中心点，而vlad将所有帧的特征向量聚类到多个中心点，通过所有特征向量的堆叠，能够获得更加丰富的特征，丢失更少的信息。获得的向量通过3d卷积中的低秩近似模型对图像进行建模，得到特征结果。
35.在所有图像都采用3
×3×
3的卷积核，卷积层步长被设置为1。vgg的输入被设置为224
×
244大小的rgb图像，在训练集图像上对所有图像计算rgb均值，然后把图像作为输入传入vgg卷积网络。
36.假设在一个图像中提取到n个识别点，那么这个图像的视觉特征可以表示为χ＝{x1，
…
，xj，
…
xn}，相应的位置特征可以表示为p＝p＝{p1，
…
，pj，
…
，pn}，其中xj和pj分布表示第j个识别点的视觉特征和位置特征。为了获取更高效的识别表示，需要对底层的图像特征进行编码得到图像的向量级表示。
37.首先利用k均值聚类对视觉特征进行聚类，生成视觉词典，假设聚类得到的视觉词典vd1大小为k1则vd1表示为vd1＝{c1，
…
，ci，
…
，c
k1
}，其中ci表示视觉词典中第i个聚类中心，原始的vlad编码是计算每个聚类中心与其所述元素的差值和，即第i个聚类中心的编码向量表示为：其中xj表示聚类中心ci所包含的第j个视觉特征，ni表示聚类中心ci所包含的视觉特征个数。为了增强视觉特征中聚类中心的作用，增加对聚类中心与其最相似元素的残差的计算，第i个聚类中心的vlad计算公式为：其中x
t
表示聚类中心ci所包含的视觉特征中与其最相似的视觉特征。综上所述，当视觉字典的大小为k1时，图像的图像编码向量可以表示为：
38.s2：图像处理器将建模后的特征结果进行图像分析，清晰的图像直接传输到新数据库中，部分模糊的图像则随机替换字符的方式对模糊车牌图像进行处理，并对生成的车牌数据进行图像增强处理，加强图像的清晰度后，再传输到新数据库中，对于完全模糊的图像则不进行处理。
39.s3：所有清晰的图像和加强后清晰的图像会传输给车辆检测器进行识别，识别后的车辆信息会录入到云数据库中。
40.s4：图像采集器将所有图像传输到图像存储器中，图像存储器对输入的图像进行分为可识别图像和不可识别图像，不可识别图像直接传输到过滤器中进行删除，可识别图像确定其拍摄时间点后，从图像处理器中导入临近时间点的图像，采用清晰度分析检测，选取单个车牌图像从左至右等间距分布的五个位置，单个车牌图像可以为单个时间点拍摄的车牌图像或其临近时间点的车牌图像，通过对这五个位置的清晰度进行分析，出清晰度最高的拍摄时间点图像进行存储，避免拍摄的画面清晰度不足，对车牌检测器的检测造成干扰，把最清晰的图像画面被传输到临时数据库中。
41.s5：临时数据库对车牌的底进行对比，排除车牌底的干扰后，截取车牌的画面进行窗口更迭，更迭后的画面传输到新数据库中，车辆检测器对新数据库中的车牌画面信息进行识别，得到车辆的信息。
42.s6：新数据库中的信息通过eds加密服务器传输到图像处理中心，图像处理中心将图像等帧率放大后，与云数据库中的数据进行对比，即可确定车辆，并确定车辆过往的信息。
43.s7：在云数据库中再次对图像数据进行增强处理，采用四种随机组合的方式，随机使用一种或者多种方法对图像数据进行增强，得到增强后的图像数据。
44.临时数据库将接收到的清晰画面进行处理，首先图像更迭设备识别车牌图像的颜，对比车牌画面的颜和其余画面的颜后，图像更迭设备截取车牌的图像画面，将截取
的画面进行更迭，更迭后的画面通过图像更迭设备传输到新数据库中，避免了图像中存在不同的颜可能会对车牌识别系统会造成干扰，影响识别结果。
45.新数据库中的图像数据通过eds加密服务器进行加密，且在传输和接收的过程中均进行加密处理，新数据库将更迭后的画面加密传输到图像处理中心，根据图像倍率分别获得原始图像的放大图像、低频图像和高频图像，将放大图像划分为多个预定大小的像素块，针对多个预定大小的像素块中的每一个像素块执行放大操作。
46.在云数据库中可以再次对图像数据进行增强处理，使用车辆检测器的检测效果更好。
47.(1).对云数据库中的图像数据进行增强处理，幅值随机增强，在完成有效图像数据提取之后得到数据x
valid
，其采样点数为n
valid
，以n
clip
(例如22050)为每个图像的采样点数，对x
valid
进行切片得到多个切片数据x
clip
(λc)，其中λc为切片序号。
48.(2).对每一个切片数据x
clip
(λc)进行随机的幅度增强或者衰减。首先从[rn_l,rn_h](例如[-10,10])中随机选取一个增益值rn_s，然后在[rn_s-rn_o,rn_h+rn_o]中选取第二个随机值，用作一个切片的增益，与切片数据直接相乘得到增益处理后的切片数据。所有切片的增益值均在范围在[rn_s-rn_o,rn_h+rn_o]中随机获取，并按照同样的方式进行增益处理。其中rn_l和rn_h分别是第一级随机增益的下限和上限，而rn_o则是第二级增益的偏移量。经过随机增益处理后的数据切片重新合成为完整的图像数据。
[0049]
(3).指向性衰减增强，完成有效图像数据提取得到x
valid
之后，从范围[200,1000]中随机取值得到f
cut
hz作为截止图像，对x
valid
进行一阶或者二阶巴特沃斯低通滤波。滤波后的数据x
flitered
作为增强数据的一部分用于后续训练。
[0050]
(4).数据频域随机增强，完成有效图像数据提取得到x
valid
之后，对其重新分帧加窗，帧长为wlen(一般设置为1024)，帧移为inc(一般设置为256)，窗函数采用汉明窗，将所有帧经过公式：
[0051]
的计算后，得到幅度谱xa(k,λ)和相位谱θ(k,λ)。设频域切分带宽为band_width hz，对幅度谱xa(k,λ)进行频域分段。其中fre_resolution为图纸分辨率，band_bins为切分后每个图纸所占的频点数，bands为切分后的频带数，xs(s,λ)表示切分后的每个频带，s为频带索引。
[0052][0053][0054][0055]
xs(s,λ)＝xa(k,λ),i*band_bins≤k≤(i+1)*band_bins,0≤i＜bands
[0056]
通过二级随机的方式分别选取出bands个随机增益值，与xs(s,λ)相乘得到增益后的频段幅度谱。将所有增益处理后的图像幅度谱重新按频率维度拼接后，与相位谱θ(k,λ)
一并通过逆傅里叶变换转换回时域信号，得到最终的增强信号。
[0057]
事件随机乱序合并，完成有效数据提取得到x
valid
之后，其采样点数为n
valid
。设事件长度为n
event
(例如22050)个采样点，则可将x
valid
切分为个声音事件。每个事件的切分的起止位置按照“数据增强方法1-基于连续帧最大能量的数据筛选”确定。具体地说，对于数据x
valid
，迭代进行event__nums次基于“基于连续帧最大能量的数据筛选”的信号提取，得到event__nums个车辆图像event1，event2，...,event
event_nums
，将所有车辆图像的顺序随机打乱得到重排后的车辆图像列表，最后将其重新拼接，得到增强后的音频数据。
[0058]
通过以上四点随机组合的方式，随机使用一种或者多种方法对图像数据进行增强，得到增强后的图像数据用于对车牌进行识别，从而使得车辆检测器可以更好的根据车牌图像识别出车牌信息。
[0059]
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个......”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0060]
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

技术特征：

1.基于深度学习图像识别的车牌识别系统，包括图像采集器、图像处理器、图像存储器、图像处理中心、临时数据库、新数据库和车辆检测器，其特征在于：所述图像采集器分别与图像处理器和图像存储器电性连接，所述图像存储器的输出端与临时数据库的输入端连接，所述临时数据库的输出端与新数据库的输入端连接，所述图像处理中心的输入端与新数据库的输出端连接，所述新数据库的输出端连接有云数据库；所述图像处理器通过随机替换字符的方式对模糊车牌图像进行处理，所述图像存储器通过清晰度分析检测对识别图像进行清晰化处理，所述图像处理器对图像数据进行vlad融合后获取向量，所获得的向量通过3d卷积中的低秩近似模型对图像进行建模，所述云数据库采用四种随机组合的方式，随机使用一种或者多种方法对图像数据进行增强。2.根据权利要求1所述的基于深度学习图像识别的车牌识别系统，其特征在于：所述图像处理器通过随机替换字符的方式对模糊车牌图像进行处理，并对生成的车牌数据进行图像增强处理。3.根据权利要求1所述的基于深度学习图像识别的车牌识别系统，其特征在于：所述图像存储器内置用于删除不可识别图像的过滤器，所述车辆检测器分别与图像处理器、图像存储器、图像处理中心、临时数据库、新数据库和云数据库信号连接。4.根据权利要求1所述的基于深度学习图像识别的车牌识别系统，其特征在于：所述新数据库的数据通过eds加密服务器进行传输，且图像处理中心的输出端与云数据库通过无线信号连接。5.基于深度学习图像识别的车牌识别方法，其特征在于，包括以下步骤：s1：图像采集器对车辆的车牌进行拍摄后，将拍摄的画面传输到图像处理器，图像处理器对图像数据进行vlad融合后获取向量，获得的向量通过3d卷积中的低秩近似模型对图像进行建模，得到特征结果；s2：图像处理器将建模后的特征结果进行图像分析，清晰的图像直接传输到新数据库中，部分模糊的图像则随机替换字符的方式对模糊车牌图像进行处理，并对生成的车牌数据进行图像增强处理，加强图像的清晰度后，再传输到新数据库中，对于完全模糊的图像则不进行处理；s3：所有清晰的图像和加强后清晰的图像会传输给车辆检测器进行识别，识别后的车辆信息会录入到云数据库中；s4：图像采集器将所有图像传输到图像存储器中，图像存储器对输入的图像进行分为可识别图像和不可识别图像，不可识别图像直接传输到过滤器中进行删除，可识别图像确定其拍摄时间点后，从图像处理器中导入临近时间点的图像，采用清晰度分析检测，把最清晰的图像画面被传输到临时数据库中；s5：临时数据库对车牌的底进行对比，排除车牌底的干扰后，截取车牌的画面进行窗口更迭，更迭后的画面传输到新数据库中，车辆检测器对新数据库中的车牌画面信息进行识别，得到车辆的信息；s6：新数据库中的信息通过eds加密服务器传输到图像处理中心，图像处理中心将图像等帧率放大后，与云数据库中的数据进行对比，即可确定车辆，并确定车辆过往的信息；s7：在云数据库中再次对图像数据进行增强处理，采用四种随机组合的方式，随机使用一种或者多种方法对图像数据进行增强，得到增强后的图像数据用于对车牌进行识别。

技术总结

本发明涉及车牌识别技术领域，尤其涉及了基于深度学习图像识别的车牌识别方法及系统，包括图像采集器、图像处理器、图像存储器、图像处理中心、临时数据库、新数据库和车辆检测器，图像处理器通过随机替换字符的方式对模糊车牌图像进行处理，图像存储器通过清晰度分析检测对识别图像进行清晰化处理，图像处理器通过3D卷积中的低秩近似模型对图像进行建模。该基于深度学习图像识别的车牌识别方法及系统，采用清晰度分析检测，把最清晰的图像画面被传输到临时数据库中，图像处理器通过随机替换字符所在区域的方式生成不同内容的车牌数据，可以及时准确的识别出车辆的信息，造成行车出入口堵塞，影响后续车辆的出入。影响后续车辆的出入。影响后续车辆的出入。