浓雾天气下基于大气散射模型和深度学习的车牌识别系统

本发明涉及的是浓雾天气下基于大气散射模型和深度学习的车牌识别系统。车辆检测模块，通过高斯混合模型和车灯检测进行白天和夜间的动态车辆检测。浓雾天气下的车牌定位模块，先构建去雾模型，使用分层算法剥离图像的闪耀层得到背景层，通过均值降采样和双三次差值法实现背景层大气光的估计，通过闪耀层取反取反估计透射率，并进行强反射光和噪声的抑制，接着根据大气散射模型实现图像复原，得到复原后的车辆图像，接着通过一系列形态学操作和连通域分析定位车牌，根据车牌的帧间位置信息实现车牌追踪，得到视频序列中同一张车牌的多个样本。字符分割模块，通过顶帽变换和导向滤波实现车牌图像增强，接着利用投影法实现字符分割。字符识别模块，整合了卷积神经网络和支持向量机进行字符识别，最后将多个样本的识别结果根据概率筛选出最终的识别结果。实验结果表明，在浓雾天气下白天和夜间，本专利算法都可以有效地实现车牌定位和识别。

车牌识别是智能交通领域的一个重要的研究课题，并在许多应用领域中扮演着愈加重要的角。由于计算机视觉技术的发展，基于视觉的车牌识别技术应用愈加广泛，例如电子收费系统，交通监督和智能收费系统等。因而车牌作为车辆的唯一身份特征显得尤为重要。

近年来，车牌识别技术在相对理想的环境下已经相当成熟，然而由于雾霾天气不断加重，悬浮在大气中微小颗粒对光线的散射作用导致视频图像退化，雾霾浓度一旦超过某个阈值，目前的车牌识别系统识别率将大幅度降低，浓雾天气复杂背景下的车牌识别仍是一个具有挑战的课题。根据我们了解，目前从事浓雾天气下车牌识别系统的研究者还在少数，开发一个在复杂背景下能有效地去除雾霾并实现车牌识别的系统势在必行。总的来说，该系统包含四个模块：图像复原、车牌定位、字符分割以及字符识别。

图像复原模块对整个车牌识别系统至关重要，直接影响浓雾天气下车牌识别的成败。目前图像去雾算法主要分为两大类：基于图像增强的去雾算法和基于图像复原的算法。基于图像增强的去雾算法，如直方图均衡，Retinex算法等，能有效地增强图像对比度，但没有考虑雾霾颗粒对图像腐蚀的本质原因，造成了原始图像部分信息特征的丢失，并不是真正意义上的去雾。基于图像复原的算法，根据McCartney提出的大气散射模型，通过对光成像原理的物理分析，能够比较真实地复原雾霾图像。He等提出了暗通道先验法则，并借助软扣图算法，进而得到复原图，但对于某些暗通道不接近于0的区域会出现偏差，单一的大气光值导致某些近景区域偏暗，影响车牌区域的复原效果。Y Li等认为雾霾图像中人造光源存在着高光闪 耀、光照不均等现象，于是通过分层剥离闪耀层，重新分块估计大气光，通过暗通道先验法则估计透射率，进而得到复原图，对大多数雾霾图像有着较好的复原效果，但复原后的图像整体偏暗，纹理细节不够清楚。

车牌定位是车牌识别系统第一步。车牌定位算法主要分为两大类：基于颜信息的车牌定位算法和基于边缘信息的车牌定位算法。X.Shi等将图像转到HSI空间，通过车牌和字符特殊的颜特征进行定位，但由于复杂背景下的车道图像，同一场景中可能出现相同的颜和形状，或者车身颜相近可能出现粘连，使得车牌定位失败。K.Deb等使用滑动同心窗口遍历整幅图像通过统计标准差的不同寻车牌的垂直边缘和水平边缘，在简单背景下，可以很容易地检测出车牌所在位置，但在复杂背景下产生的大量噪声将对车牌定位造成严重干扰。

字符分割是第二个重要的步骤。字符分割算法主要分三类：基于投影法的字符分割、基于连通域分析的字符分割和基于模版的字符分割。投影法对车牌进行水平方向和竖直方向的像素统计，利用其峰谷位置，再根据字符的高、宽特征，可以进行快速、准确的字符分割，故本专利中我们使用投影法进行字符分割。

字符分割后，便要对每个字符进行识别。在交通视频中，车牌字符相对较小，且可能存在噪声，模糊等现象，字符之间又存在相似性，导致字符识别存在困难。目前字符识别大致分为以下几类：传统的基于模版匹配的字符识别，基于支持向量机(SVM)的字符识别，基于深度信念网络(DBN)的车牌识别，基于卷积神经网络(CNN)的字符识别等。模板匹配的方法具有简单、快速的特点，但对字符的噪声、倾斜程度以及粗细大小极为敏感。SVM是一种线性分类器，速度快，但对于高达30多类的车牌字符来说，分类能力有所欠缺。DBN将输入图像降维成一维作为输入，损失了部分判别信息。CNN可以在没有任何预处理的情况下，将原始图像直接作为输入，对字符中倾斜、尺度不一、噪声和扭曲等现象都有很好的识别效果，目前已被广泛应用于视觉对象识别。

针对上述问题，本专利发明了一种有效的浓雾天气下基于大气散射模型和深度学习的车牌识别系统，算法流程如图1。本专利算法包含4个步骤：第一步，通过高斯混合模型和车灯检测实现白天和夜间的运动车辆检测。第二步，将图像分层后，对背景层图像使用均值降采样和双三次插值算法进行局部大气光估计，闪耀层灰度化后取反作为透射率，根据大气散射模型实现图像复原，再对复原图像灰度化后进行顶帽变换抑制背景噪声，使用sobel垂直边缘检测可以发现车牌字符独特的密集垂直边缘，闭合运算后利用连通域分析法即可定位车牌，最后根据帧间车牌位置相关性实现车牌追踪。第三步，将车牌图像转到HSV空间，引入顶帽 变换和导向滤波增强亮度通道字符纹理，接着使用投影法实现字符分割。第四步，我们整合了卷积神经网络(CNN)和支持向量机(SVM)进行字符识别，并将车牌追踪的多个识别结果通过概率筛选最终结果。

1、感兴趣区域(ROI)检测

利用高斯混合模型，将视频序列中的每个像素值由K个高斯成分组合的混合分布来表示，每个像素点在时刻t取值为X的概率为(1)

其中，K表示分布数量，表示t时刻的高斯混合模型中第i个高斯分量的权重，μ和ε分别表示第i个高斯成分的均值和协方差，η表示高斯概率密度函数。

随着场景的不断变化，对于每个新的像素值，检验该像素与高斯混合模型的K个高斯分布是否匹配，本专利中设置为标准差2.5以内的像素值，匹配失败的像素点构成动态区域。在视频中，车辆占有面积较大，通过连通域分析法，以面积从而实现运动车辆检测如图2。

夜间，我们通过车灯寻车牌区域，由于我们的视频都是近景的车牌，车灯为椭圆形车灯，根据文献提出的车灯检测算法，根据车灯的面积，长宽比和圆度检测出车灯，再根据车灯的坐标、顺序进行车牌区域判定，假设两个车灯的坐标分别为(x，y)，(x，y)，宽度分别为w和w，则包含车牌的区域(ROI区域)估计通过下式计算：

其中，(x，y)为ROI区域的左上角坐标，w为ROI区域的宽，h为ROI区域的高，分离结果如图3。

2、雾霾图像复原

本专利中，我们通过大气散射模型结合分层思想实现雾霾图像复原。大气散射模型表达式为：

I(x)＝J(x)t(x)+L(x)(1-t(x)) (3)

t(x)＝e (4)

其中I(x)为雾霾图像，J(x)是场景反射光图，即去除雾霾成分后的图像，L(x)是大气光，一般为固定值，t(x)是场景透射率，d(x)是图像景深。

浓雾天气下，白天和夜间视频中都含有高光成分，高光成分不仅降低了图像局部区域的 对比度，还对大气光估计造成影响，故先对原图像进行处理，剥离闪耀层。

I′(x)＝I(x)-G(x) (5)

其中I′(x)是去除高光成分的雾霾图像，I(x)是原雾霾图像，G(x)为原图像中的高光成分，即闪耀层。使用半二次分裂最小化法通过对目标函数(6)求解进行分层。

其中L<·>为二阶拉普拉斯滤波器，F<·>为双向一阶导数滤波器，I(x)-I′(x)为平滑的闪耀层，G(x)包含图像的高光成分。

通过式(3)(4)可以推出去雾模型(7)。

其中，ε取值保证分母不为0，本专利中取0.01。为了得到清晰图像J(x)，需要对大气光L(x)和透射率t(x)进行估计。

本专利提出了局部大气光估计，输入图像I′(x)，将I′(x)到HSV空间，记V通道图像为I′(x)；构建一个R×R的窗口(R根据车牌尺寸进行取值，一般情况需要大于车牌宽度)对I′(x)进行均值降采样得到图像L″(x)；将L″(x)通过双三次插值得到I′(x)；通过式(8)对I′(x)进行标准化，得到最终的大气光图L(x)。

其中ω为标准化参数，L′(x)为图L′(x)的最小值，L′(x)为图L′(x)的最大值。

根据公式(4)可知，图像透射率应是结构层次分明且局部平滑的，随着景深的增加，透射率呈指数下降，我们经过测试发现闪耀层G(x)满足此类特征，故将1-G(x)灰度化后作为最终的透射率t(x)。

最后，将大气光L(x)和透射率t(x)代入式(7)即可复原雾霾图像如图4。

3、车牌定位

将车辆图像使用上文的雾霾图像复原后灰度化，接着使用顶帽变换，顶帽变换可以抑制噪声，移除小目标单位，平滑图像边缘；通过sobel垂直边缘检测后进行二值化；再使用闭合运算，利用连通域分析法，判断图像是否可能含有车牌，流程示例如图5。

这里通过以下特征进行约束：

a.车牌高宽比(height/width)：车牌的高度与宽度的比值；

b.车牌区域面积S：车牌的高与宽的乘积；

c.水平穿越点h：描述区域中第i行的像素属于和不属于该区域的变化次数特征；

d.白字符像素占比p：白像素占整个车牌区域像素的比例。

在实验中，我们设置高宽比width/height为3-7，面积S为400-1500，白像素点占比为0.25-0.6，水平穿越数为10-25。

4、车牌追踪

在视频中，相同车牌在相邻帧的位置是非常接近的，因此，我们可以通过帧间车牌位置的相关性实现车牌追踪。首先，根据上文车牌定位中的连通域分析，记录图像车牌的坐标和高、宽，通过(9)计算出下一帧图像车牌可能存在的位置：

其中x，y表示当前帧的车牌的左上角坐标w，h表示当前帧的车牌的宽和高，x，y表示下一帧包含有车牌区域的左上角坐标w，h表示下一帧包含有车牌区域的宽和高，α，β，γ为估计参数，根据相机码率，视频分辨率以及车道限速进行调整。本专利中分别设置α，β，γ为0.5，2.5，5。

5、车牌图像增强

将车牌图像J(x)转到HSV空间(其中J(x)为H通道图像，J(x)为S通道图像，J(x)为V通道图像)对V通道图像J(x)进行增强处理。首先，对图像J(x)使用顶帽变换，顶帽变换是一种数学形态学方法也是一种非线性滤波器，它可以抑制噪声，提取细节特征，分割图像，公式如下：

其中B为结构元素，表示对H(x)执行以B为结构元素的开运算，结构元素B的大小根据车牌尺寸选定，为了保证车牌字符的细节，本专利使用5×5的结构元素进行顶帽变换并通过导向滤波得到图像T(x)。为了增强图像J(x)的纹理信息，我们设计了以下公式：

E(x)＝ω×J(x)+(1-ω)T(x) (11)

其中，E(x)为增强纹理后的V通道图像，ω为增益权值，值越大纹理越明显。再使用公式(12)对E(x)进行归一化得到E(x)。

其中，E为E(x)中的最小值，E为E(x)中的最大值。最后，将HSV空间图像(J(x)，J(x)，J(x))转回RGB空间得到增强字符纹理的RGB图像EJ，再使用动态直方图双向均衡化，在保留字符纹理的情况下可以很好的拉伸图像对比度，增强结果如图6。

6、基于投影法的字符分割

车牌图像增强后，我们使用投影法进行字符分割。具体步骤为：通过局部最大类间方差法进行二值化，但二值图像中仍含有孤立噪声和铆钉，我们采用中值滤波和连通域小目标移除进行去噪，接着进行水平方向投影，从水平中线分别向上下扫描分割字符的上下边缘，然后使用竖直投影，从竖直中线位置分别向左右扫描并利用字符的高宽比分割出每个字符如图7。

7、基于深度学习的车牌字符识别

本专利整合CNN和SVM，对字符进行提取和分类，在进行CNN特征提取时，先将这些字符集归一化为34×18的大小，由于这个尺寸大于了字符库中最大字符的分辨率，有利于防止纹理和角点特征的丢失。CNN特征提取模型如图(8)，其中包含了1个输入层，2个卷积层，2个池化层。具体步骤为：首先，通过6不同的7×7卷积核作用于输入图像，得到6含有28×12个神经元的特征层，即卷积层C1，为了降低特征层的数据量，使用2×2的均值池化核对C1层进行降采样，步长为2，得到8个含有14×6个神经元的特征层，即池化层S2；其次，使用16用的5×5卷积核对池化层S2中的8个特征图进行卷积，其中，将使用同一个卷积核得到的8个特征图进行均值合并，一共得到16有10×2个神经元的卷积层C3，同样地进行降采样，得到16有5×1神经元的池化层S4，池化层S4含了16个特征图，每个特征图有5×1个经元，全连接层A5包含90经元，将其作为DRBM的输入层。了使SVM能完成多目标分类任务，对汉字字符分类器构造了31个SVM，对英文、数字分类器构造了34个SVM，在训练过程中，对每个类别构建一个正集，其余类别构成负集进行训练，由于字符的特征维数特别低，字符样本数量远远超过它的特征维数，所以我们选用非线性的高斯核函数。

本专利CNN的训练方法与传统方法类似，通过反向传播进行学习，其误差函数为：

其中，N表示总样本数，x表示第k个样本输入值，y表示第k个样本的输出值。在CNN训练过程中，第k个样本第l层的输出可以表示为：

其中，W为权重矩阵，b为偏置，σ为激活函数，本专利采用非线性激活函数ReLU，即f(x)＝max(0，x)，相比于sigm激活函数，ReLU对单侧进行完全抑制，扩大了兴奋边界并具有稀疏性的特征，ReLU在大于0的区域导数为其本身，加速了网络的收敛，从而加速了训练过程。

训练的目的是寻最佳的权重矩阵W最小化误差函数E。本专利中采用梯度下降法进行权重更新，数学表达式为：

其中η为学习率。

由于视频中，同一车牌可能在某一帧受到物体重叠，光照不均以及运动模糊的影响，故我们通过车牌追踪，对相同车牌的多个样本进行识别，生成多个识别结果，筛选每个字符的识别结果，通过概率筛选出最终识别结果如图9。

图1本专利算法结构框架示意图

图2白天车辆检测(a)白天雾霾图像(b)连通域筛选(c)检测结果

图3夜间车灯检测(a)夜间雾霾图像(b)车灯筛选(c)检测结果

图4(a)白天雾霾车辆图像(b)白天去雾后车辆图像(c)夜间雾霾车辆图像(d)夜间去雾后车辆图像

图5车牌定位流程范例(a)雾霾车辆图像(b)去雾后车辆图像(c)顶帽变换(d)sobel垂直边缘检测(e)闭合运算(f)定位结果

图6车牌图像增强效果(a)复原后车牌图像(b)纹理增强后车牌图像

图7投影法流程结果(a)纹理增强后车牌图像(b)二值化(c)水平投影(d)竖直投影(e)分割结果

图8本专利卷积神经网络结构图

图9识别结果筛选示意

图10视频Day1车牌与定位结果示例(a)原图像(b)车辆检测和车牌定位(c)字符分割和识别结果

图11视频Night4车牌与定位结果示例(a)原图像(b)车灯检测和车牌定位(c)字符分割和识别结果

我们使用一号防线YH-GQ210A8型号道路监控专用摄像机，带有多个LED灯具有强光抑制的功能，帧率为每秒25帧，分辨率为1920×1080，架设在天津市区的过街天桥上，分别拍摄了两个不同地点白天和夜间的4段视频，包含车牌数量如表1。视频均是在浓雾天气下拍摄，去雾之前直接使用车牌识别系统，车牌定位和字符识别均受到极大干扰如图10，红边框区域为未检测到的车牌区域，故该数据集颇具挑战性和实际意义。

表1视频数据集

图11图12分别展示了视频中一些白天和夜间车牌定位、字符分割和字符识别结果的示例，其中红线下方为检测区域(即只检测字符高度大于16个像素的车牌)，黄框表示正确检测到的含有车牌的车辆或者车灯区域，绿框表示正确定位的车牌。可以看出，对于这些视频图像，通过本专利的算法进行雾霾图像复原和增强后，图像质量达到了车牌定位、字符分割和识别的要求。

为了检测本专利中车牌定位算法的有效性，本专利使用召回率R＝TP/(TP+FN)和精确率P＝TP/(TP+FP)进行评估，其中TP为正确检测数，FN表示漏检数，FP表示错误检测数。我们分别对数据集中的4个视频都进行了测试，结果如表2所示。可以看出，在白天浓雾场景下，本专利车牌定位算法拥有较高的召回率，分别为99.2％和98.1％，然而对图像纹理的增强也导致了车牌误检数量的提高，夜间浓雾场景下，图像相对较暗，可视度下降，车牌受到浓雾影响对比度较低，但本专利车牌定位算法也达到了不错的效果，召回率分别达到95.2％和93.8％。由此，证明了本专利的车牌定位算法对浓雾天气下的车牌定位具有一定的鲁棒性。

表2车牌定位结果

在字符分割模块中，我们通过车牌纹理增强后，使用投影法进行识别，如图10图11中(c)所示，车牌正确定位后，字符分割准确率达到100％。

为了检测本专利中字符识别算法对汉字字符和英文、数字字符识别的有效性，我们从数 据集视频中随机截取了1000个中文字符和1200个英文、数字字符(其中包含每类字符25-50个)对本专利字符识别算法进行检测，我们还训练了SIFT特征[30]+SVM分类器、HOG特征[31]+SVM分类器进行对比，结果如表3。本专利的字符算法对汉字和英文数字的识别分别达到了98.1％和99.2％，比CNN+SVM汉字字符识别率提高了0.8％，英文数字识别率提高了0.6％。实验结果证明本本专利符识别算法优于HOG+SVM算法。

表3字符识别结果对比

为了检测本专利的整体性能，我们使用以下三个指标分别对车牌定位准确率(LLR)、字符识别准确率(VRR)和整体性能(GPR)进行评估，即：

对于4个视频的实验结果如表4，LLR、CRR和GPR平均值分别达到了96.6％、96.5％和93.2％。实验结果表明本专利算法可以对浓雾天气下的车牌进行定位和识别，特别是在白天有着较好的效果GPR分别达到了94.3％和96.8％，对于夜间场景GPR分别为88.6％和91.1％，由于图像本身质量较差，复原后图像仍存在噪声和模糊等问题，尤其是汉字字符笔画复杂，图像复原后仍存在模糊和噪声现象造成识别率降低，但我们已将此类字符加入训练集进行训练，以提高夜间车牌识别效果。

表4实验结果