(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 201811398849.3
(22)申请日 2018.11.22
(71)申请人 北京市首都公路发展集团有限公司
地址 100161 北京市丰台区六里桥南里甲9
号
申请人 北京云星宇交通科技股份有限公司
(72)发明人 徐志斌 林柯 程峰 樊迪
郎晓礼 王晗
(74)专利代理机构 北京工信联合知识产权代理
有限公司 11266
代理人 商琛
(51)Int.Cl.
G06K 9/00(2006.01)
G06K 9/46(2006.01)
G08G 1/017(2006.01)
(54)发明名称
(57)摘要
本发明公开了一种以图搜图的车辆识别方
法及系统，所述方法包括：获得待检索图片；对所
及大小；根据车辆宏观特征信息缩小所述待检索
图片中的识别范围，对所述待检索图片进行分
析，获得多维特征信息，所述多维特征信息包括
视觉词袋特征以及车辆深度特征；对所述多维特
征信息进行深度特征融合，获得全局特征；根据
像，并以图像相似度进行排序，获得检索结果。所
述方法及系统使用多种特征融合和深度神经网
络方法方法，有效的提高了车辆搜索的精度；通过分布式的车辆检索，有效提高了对于海量数据
的搜索性能。权利要求书3页 说明书11页 附图4页CN 109558823 A 2019.04.02
C N 109558823
A
1.一种以图搜图的车辆识别方法，所述方法包括：
获得待检索图片；
对所述待检索图片中车辆进行识别，获得车辆宏观特征信息，所述宏观特征信息包括车辆位置、形状及大小；
根据车辆宏观特征信息缩小所述待检索图片中的识别范围，对所述待检索图片进行分析，获得多维特征信息，所述多维特征信息包括视觉词袋特征以及车辆深度特征；
对所述多维特征信息进行深度特征融合，获得全局特征；
根据全局特征在图像库中通过特征索引获得相似图像，并以图像相似度进行排序，获得检索结果。
2.根据权利要求1所述的方法，其特征在于：所述图像库中包括由交通网络中的多个高速摄像头拍摄的实时交通序列图像；所述交通序列图像包括拍摄时间以及所摄摄像头的空间位置信息。
3.根据权利要求1所述的方法，其特征在于，所述对所述待检索图片中车辆进行识别，包括：
对所述待检索图片进行预处理以去除噪声干扰，所述预处理包括按预设规则进行尺寸变换、裁剪、像素值抖动以及归一化；
使用由卷积神经网络构成的特征提取器对预处理后的待检索图片进行特征提取，获得特征图；
将所述特征图输入到区域生成网络中，获得多个矩形框以及对应的坐标；并提取所述多个矩形框中每一个的特征；
将所述多个矩形框中每一个的特征分别输入至区域分类网络中，选取获得分类类别为车辆的矩形框；
根据所述分类类别为车辆的矩形框的特征，获得车辆宏观特征信息。
4.根据权利要求1所述的方法，其特征在于，所述根据车辆宏观特征信息缩小所述待检索图片中的识别范围，继续对所述待检索图片进行分析，包括：
根据所述车辆的宏观特征信息提取待检索图片中的车辆特征；
提取所述车辆特征中局部特征描述子，根据预先训练好的视觉词典，将每个局部特征描述子投影到距离最近的视觉词典向量上，并在该词典向量对应的维度上加1；所述词典向量的高维维度设置为M维；获得视觉词袋特征；
将所述车辆特征输送到GoogleNet网络，提取最后一个全连接层的输出的N维值向量，该向量用作为车辆深度特征向量。
5.根据权利要求1所述的方法，其特征在于，所述多维特征信息还包括车牌特征，所述方法还包括：
通过对车辆进一步定位分割得到车牌图像；
基于三元组损失卷积网络提取车牌图像的SNN特征作为车牌特征。
6.根据权利要求1所述的方法，其特征在于，所述多维特征信息还包括零空间特征，所述方法还包括：
根据预设规则采集图像库中每张图中车辆的特征信息；
根据同一车辆的特征信息生成对应该车辆的零空间矩阵；所述零空间矩阵的每一行为
该车辆的特征信息，所述零空间矩阵的维度为图像库中该车辆的样本数；
计算Ax＝0的解，获得零空间特征；其中A为零空间特征对应车辆的零空间矩阵。
7.根据权利要求1所述的方法，其特征在于，所述对所述多维特征信息进行深度特征融合，包括：
将所述视觉词袋特征以及车辆深度特征进行首尾拼接；
通过深度神经网络进行降维处理，获得融合后的全局特征。
8.根据权利要求5所述的方法，其特征在于，根据全局特征在图像库中通过特征索引获得相似图像，包括：
采用hdidx方法建立分布式索引，根据全局特征在图像库中进行索引，获得初始索引结果；
将全局特征与车牌特征进行深度特征融合，并根据融合后的全局特征对初始索引结果中的图像重新进行索引，获得二次索引结果；
根据图像采集时的时空信息对所述二次索引结果按预设规则进行优化，获得检索结果。
9.根据权利要求1所述的方法，其特征在于：根据所述搜索结果中相似车辆图像对应的拍摄位置信息以及时间信息，按预设规则判断车辆是否存在异常，并对所述存在异常的车辆信息进行预警。
10.一种以图搜图的车辆识别系统，所述系统包括：
图片获取单元，所述图片获取单元用于在图像库中获得待检索图片；
宏观特征识别单元，所述宏观特征识别单元用于对所述待检索图片中车辆进行识别，获得车辆宏观特征信息，所述特征信息包括车辆位置、形状及大小；
多维特征获取单元，所述多维特征获取单元用于根据车辆宏观特征信息缩小所述待检索图片中的识别范围，继续对所述待检索图片进行分析，获得多维特征信息，所述多维特征信息包括视觉词袋特征以及车辆深度特征；
特征融合单元，所述特征融合单元用于对所述多为特征获取单元获取的多维特征信息进行深度特征融合，获得全局特征；
索引单元，所述索引单元用于根据特征融合单元输出的全局特征在图像库中通过特征索引获得相似图像，并以图像相似度进行排序，获得检索结果。
11.根据权利要求10所述的系统，其特征在于：所述图像库中包括由交通网络中的多个高速摄像头拍摄的实时交通序列图像；所述交通序列图像包括拍摄时间以及所摄摄像头的空间位置信息。
12.根据权利要求10所述的系统，其特征在于：
所述宏观特征识别单元用于对所述待检索图片进行预处理以去除噪声干扰，所述预处理包括按预设规则进行尺寸变换、裁剪、像素值抖动以及归一化；
使用由卷积神经网络构成的特征提取器对预处理后的待检索图片进行特征提取，获得特征图；
所述宏观特征识别单元将所述特征图输入到区域生成网络中，获得多个矩形框以及对应的坐标；并提取所述多个矩形框中每一个的特征；
将所述多个矩形框中每一个的特征分别输入至区域分类网络中，选取获得分类类别为
车辆的矩形框；
并根据所述分类类别为车辆的矩形框的特征，获得车辆宏观特征信息。
13.根据权利要求10所述的系统，其特征在于：
所述多维特征获取单元根据所述车辆的宏观特征信息提取待检索图片中的车辆特征；
提取所述车辆特征中局部特征描述子，根据预先训练好的视觉词典，将每个局部特征描述子投影到距离最近的视觉词典向量上，并在该词典向量对应的维度上加1；所述词典向量的高维维度设置为M维；获得视觉词袋特征；
所述多维特征获取单元将所述车辆特征输送到GoogleNet网络，提取最后一个全连接层的输出的N维值向量，该向量用作为车辆深度特征向量。
14.根据权利要求10所述的系统，其特征在于：所述多维特征信息还包括车牌特征；
所述多维特征获取单元通过对车辆进一步定位分割得到车牌图像；所述多维特征获取单元基于三元组损失卷积网络提取车牌图像的SNN特征作为车牌特征。
15.根据权利要求10所述的系统，其特征在于：所述多维特征信息还包括零空间特征，所述多维特征信息获取单元根据预设规则采集图像库中每张图中车辆的特征信息；
所述多维特征信息获取单元根据同一车辆的特征信息生成对应该车辆的零空间矩阵；所述零空间矩阵的每一行为该车辆的特征信息，所述零空间矩阵的维度为图像库中该车辆的样本数；
所述多维特征信息获取单元用于计算Ax＝0的解，获得零空间特征，其中A为零空间特征对应车辆的零空间矩阵。
16.根据权利要求10所述的系统，其特征在于：所述特征融合单元用于将所述视觉词袋特征以及车辆深度特征进行首尾拼接；通过深度神经网络进行降维处理，获得融合后的全局特征。
17.根据权利要求14所述的系统，其特征在于：所述索引单元采用hdidx方法建立分布式索引，根据全局特征在图像库中进行索引，获得初始索引结果；
所述索引单元将全局特征与车牌特征进行深度特征融合，并根据融合后的全局特征对初始索引结果中的图像重新进行索引，获得二次索引结果；根据图像采集时的时空信息对所述二次索引结果按预设规则进行优化，获得检索结果。
18.根据权利要求10所述的系统，其特征在于：所述系统还包括预警单元；所述预警单元用于根据所述搜索结果中相似车辆图像对应的拍摄位置信息以及时间信息，按预设规则判断车辆是否存在异常，并对所述存在异常的车辆信息进行预警。
一种以图搜图的车辆识别方法及系统技术领域
[0001]本发明涉及图像识别领域，更具体地，涉及一种以图搜图的车辆识别方法及系统。背景技术
[0002]随着我国高速公路发展步伐不断加快，高速公路法制化管理进程也在不断进步，但是目前受限于技术条件、技术规范及标准等因素的影响，在应对车辆恶意逃费行为时，无法迅速准确的锁定恶意逃费违法证据，无法对高速公路逃费行为进行全面、有效的管理和控制。每个高速公路路口每天有上千，甚至上万的车辆通过，人工搜索和分析高速公路逃费车辆是不现实的，通过以图搜图的相似车辆搜索接收
车道或匝道拍摄的车辆图像作为输入，在指定车辆图像库中，搜索得到和输入车辆图像最为相似的库车辆图像。然后通过对相似图像的分析，减轻高速公路逃费稽查时的人工工作量。现有使用以图搜图车辆搜索的方法主要分为两类：1、车辆渐进式搜索，根据车辆外观进行车辆粗匹配，然后通过车牌进行细粒度的车辆匹配，最后再应用相机位置等信息预测车辆的可能移动路径；这种方法虽然能提高车辆搜索的健壮性，可以用于无约束环境下，但是搜索车辆的准确率低。2、基于车牌的搜索，车牌识别系统通常包含多个模块，如车牌定位、校准、字符分割和识别；这种方法通常要在有约束的条件下，如高速公路收费口，停车场出入口等。而且如果其中一个步骤失败了，或者车牌上的任何一个字符都被错误识别，那么车辆重新识别的结果将是不准确的。使用这两类方法进行车辆识别时，会严重影响搜索的精度从而得不到准确的结果。发明内容
[0003]为了解决背景技术存在的通过现有技术进行车辆识别时，搜索精度较差、使用场景限制较多，从而得不到准确结果的问题，本发明提供了一种以图搜图的车辆识别方法及系统，所述方法及系统采用车辆识别和大数据分析相结合的方式，通过机器学习算法对车辆特征进行提取，并使用深度特征融合方法进行特征融合，以提高对车辆识别的准确性，实现精度高、响应快的车辆识别；所述一种以图搜图的车辆识别方法包括：
[0004]获得待检索图片；
[0005]对所述待检索图片中车辆进行识别，获得车辆宏观特征信息，所述宏观特征信息包括车辆位置、形状及大小；
[0006]根据车辆宏观特征信息缩小所述待检索图片中的识别范围，对所述待检索图片进行分析，获得多维特征信息，所述多维特征信息包括视觉词袋特征以及车辆深度特征；
[0007]对所述多维特征信息进行深度特征融合，获得全局特征；
[0008]根据全局特征在图像库中通过特征索引获得相似图像，并以图像相似度进行排序，获得检索结果。
[0009]进一步的，所述图像库中包括由交通网络中的多个高速摄像头拍摄的实时交通序列图像；所述交通序列图像包括拍摄时间以及所摄摄像头的空间位置信息。
[0010]进一步的，所述对所述待检索图片中车辆进行识别，包括：
说 明 书
1/11页CN 109558823 A
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议