(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 202110137419.1
(22)申请日 2021.02.01
(71)申请人 中车青岛四方车辆研究所有限公司
地址 266031 山东省青岛市市北区瑞昌路
231号
(72)发明人 姜仕军 钱永军 侯旭晖
(74)专利代理机构 青岛清泰联信知识产权代理
有限公司 37256
代理人 徐艳艳
(51)Int.Cl.
G06K 9/36(2006.01)
G06K 9/62(2006.01)
G06K 9/00(2006.01)
G06N 3/08(2006.01)
(54)发明名称轨道列车线阵相机图像畸变校正的目标检测方法及装置(57)摘要本发明涉及一种轨道列车线阵相机图像畸变校正的目标检测方法及装置，所述方法的步骤为：构建训练数据集；基于Retinanet网络构建训练网络模型，并构造损失函数；以训练数据集为输入对训练网络模型进行训练；构建在线待测试数据集；将在线待测试数据集中的数据输入至训练后的训练网络模型预测得到第k类零部件位置 框的高度值h k ；将第k类零部件位置框的高度值h k 与过车图像中第k类零部件的已知高度值H k 进行比较，若高度比值为1±0.1则认为该位置框预测正确，否则认为该位置框为误检，剔除该预测结果。本发明能够减少零部件的误检率，提高检出率，提高畸变率的计算精度，提升后续畸变校正的性能，
提高轨道列车故障检测的性能。权利要求书2页 说明书6页 附图3页CN 112801110 A 2021.05.14
C N 112801110
A
1.一种轨道列车线阵相机图像畸变校正的目标检测方法，其特征在于，其具体步骤为：选择过车图像中列车零部件高度比值为1±0.5或高度比值小于0.8或高度比值大于
1.2、均匀分布的列车零部件作为数据的标注物体构建训练数据集；
基于Retinanet网络构建训练网络模型，并构造损失函数；
以训练数据集为输入对训练网络模型进行训练；
将实时过车图像中列车零部件高度比值为1±0.5或高度比值小于0.8或高度比值大于
1.2、均匀分布的列车零部件作为数据的标注物体构建在线待测试数据集；
将在线待测试数据集中的数据输入至训练后的训练网络模型预测得到第k类零部件位置框的高度值h k ；
将第k类零部件位置框的高度值h k 与过车图像中第k类零部件的已知高度值H k 进行比较，若高度比值为1±0.1则认为该位置框预测正确，否则认为该位置框为误检，剔除该预测结果。
2.如权利要求1所述的轨道列车线阵相机图像畸变校正的目标检测方法，其特征在于，还包括以下步骤：对构建的训练数据集数据进行镜像、随机加噪声处理。
3.如权利要求2所述的轨道列车线阵相机图像畸变校正的目标检测方法，其特征在于，还包括以下步骤：选择过车图像中列车零部件高度比值为1±0.5或高度比值小于0.8或高度比值大于1.2、均匀分布的列车零部件作为数据的标注物体构建测试数据集，将测试数据集输入至训练后的训练网络模型中检验训练后的训练网络模型的性能。
4.如权利要求1所述的轨道列车线阵相机图像畸变校正的目标检测方法，其特征在于，还包括以下步骤：对预测正确的位置框进行畸变率计算，其具体步骤为：定义训练网络模型预测的位置框的左上角位置为(x 1,y 1)、右下角位置为(x 2,y 2)，则预测零部件长度值为w＝x 2‑x 1，高度值h＝y 2‑y 1，结合先验已知第k类零部件的长度值W k 、高度值H k ，则畸变率为(h*W k )/(w*H k )。
5.如权利要求1至4任意一项所述的轨道列车线阵相机图像畸变校正的目标检测方法，其特征在于，所述损失函数表示为：
Loss＝L Retinanet +L (1)
式中，Loss表示训练网络模型的损失函数，L Retinanet 表示RetinaNet网络中使用的损失函数，L＝‑α(1‑p k )γ×(log (p k ))表示损失函数Loss的优化部分，α和γ表示常数，
表示训练网络模型预测框与零部件真实位置框高度上的吻合程度，h k
表示训练网络模型训练时预测出的第k类零部件位置框的高度，H k 表示先验已知第k类零部件位置框在训练网络模型预测时的目标高度。
6.如权利要求4所述的轨道列车线阵相机图像畸变校正的目标检测方法，其特征在于，以训练数据集为输入对训练网络模型进行训练的具体步骤为：
从训练数据中均匀抽出小批量样本mini ‑batch按照批次顺序送入Retinanet网络中，然后基于训练网络模型的损失函数计算损失函数值；
通过反向传播进行迭代完成梯度计算，采用动量+梯度下降法更新训练网络模型参数，使损失函数值最小；
循环训练所有批次，将所有数据迭代一遍成为一个epoch，若epoch未达到设定值则返回步骤1，继续进行训练，若epoch达到设定值，则完成训练。
7.一种轨道列车线阵相机图像畸变校正的目标检测装置，其特征在于，包括：
数据采集模块，与线阵相机连接，用于采集过车图像；
数据集生成模块，用于选择过车图像中列车零部件高度比值为1±0.5或高度比值小于0.8或高度比值大于1.2、均匀分布的列车零部件作为数据的标注物体构建训练数据集、测试数据集及在线待测试数据集；
模型生成及训练模块，用于基于Retinanet网络构建训练网络模型，并根据训练数据集对训练网络模型进行训练；
模型性能评估模块，用于根据测试数据集检验训练后的训练网络模型的性能；
判断模块，用于将根据训练后的训练网络模型对在线待测试数据集进行预测得到的第
k类零部件位置框的高度值h
k 与过车图像中第k类零部件的已知高度值H
k
进行比较，确定预
测得到的第k类零部件位置框是否为误检。
8.如权利要求7所述轨道列车线阵相机图像畸变校正的目标检测装置，其特征在于，还包括畸变率计算模块，用于根据预测得到的第k类零部件位置框的左上角位置及右下角位
置，结合先验已知第k类零部件的长度值W
k 、高度值H
k
计算畸变率。
轨道列车线阵相机图像畸变校正的目标检测方法及装置
技术领域
[0001]本发明属于轨道交通技术领域，涉及轨道列车图像处理技术，具体地说，涉及一种轨道列车线阵相机图像畸变校正的目标检测方法及装置。
背景技术
[0002]随着地铁等轨道交通的不断发展，地铁车辆数量越来越多，在列车高速运行状态下，任何细小的故障都有可能导致重大事故，因此提高轨道列车运行中的故障检测和异常预警至关重要。
[0003]目前基于线阵相机的轨道列车状态监测已经在轨道交通故障检修方面得到广泛应用。其通过在轨旁安装相机对过往车辆进行图像数据采集，过车图像参见图1，然后基于图像算法对图像数据进行分析，判断列车是否存在安全隐患或安全故障。然而由于列车运行速度时刻变化，使得采集图像时，线阵相机的采集频率无法一直与列车车速保持匹配，因此导致线阵相机采集到的图像存在畸变问题，畸变给后续的故障检测带来了极大的困难。[0004]路绳方、刘震提出了动车组运行故障动态图像比对分析方法(激光与光电子学进展,2017(09):301‑307.)，通过在轨边安装布置高速线阵采集相机获取图像，通过机器学习和模式识别，实现列车故障的自动诊断和检测。为了减小列车速度对成像变形的影响，
该方法需要一组历史图像作为基准图像，对其他时间段所获得的目标图像分别按照对应的基准图像进行配准和重分割，并结合TEDS，利用多分辨率下的图像快速配准方法实现目标图像的快速分割与对齐。该方法条件较多，且受亮度、形变和相似物体影响较大，当亮度变化或形变变化剧烈时，会导致特征点匹配较少，对齐性能差；当有相似物体时，容易出现特征点的误匹配，实现错误对齐。此外，还存在数据量和计算量大的问题。
[0005]公开号为CN104318568A的中国专利申请公开了一种图像配准的方法和系统，所述方法包括：获取待配准图像和参考图像；对所述待配准图像和参考图像进行形态学处理，将所述待配准图像分为多个大小相同的待配准子图像，将所述参考图像分为多个大小相同的参考子图像；从所述参考子图像中确定起始参考子图像，根据所述起始参考子图像设定参考模板，将所述参考模板与所述待配准子图像进行配准，根据所述配准的结果获取起始偏移量；根据所述起始偏移量配准所述起始待配准子图像，并通过二分法确定经过所述配准的起始待配准子图像是否包含局部偏移量；根据所述起始偏移量和/或局部偏移量配准所述待配准图像。该方法流程较复杂，受亮度、形变和相似物体影响较大。当亮度变化较大、形变剧烈和存在相似物体时，容易导致误配准或配准不到，算法配准的性能差。
[0006]授权公告号为CN110415192B的中国专利公开的一种轨道列车线阵相机图像畸变校正方法，方法包括以一张同车型无畸变的列车线阵相机图像为标准模板，对列车每个单节车厢或者单节车厢的一段，分别进行图像校正；在进行图像畸变校正之前先对图像进行超采样处理，可以避免下一步提取图
像轮廓时可能会造成的图像信息丢失；在建立最小范数优化问题之前先提取图像轮廓，可以有效地解决标准模板图像与畸变图像之间可能存在的光照差异、灰尘、水渍、污渍以及随机噪声干扰等影响，使得校正更加精确、可靠性更高；
将线性方程问题转化为最小范数的约束问题，并通过优化方法进行求解，可以得到更加稳定可靠的还原矩阵，进而使得校正后的结果更加稳定可靠。该方法需要针对每个图像进行轮廓提取和最小范数优化，其计算量大，数据量大，且受形变和相似物体影响较大，畸变校正性能较差。
[0007]公开号为CN111354026A的中国专利申请公开了一种基于SURF特征的改进列车图像精确配准方法，包括以下步骤：通过直方图，对参考图像和待配准图像，进行均衡化预处理；对预处理后的参考图像进行特征检测，提取出参考图像的特征点，对预处理后的待配准图像进行特征检测，提取出待配准图像的特征点；将参考图像的全部特征点和待配准图像的全部特征点进行一一匹配，形成多个特征点对；对特征点对进行筛选，删除匹配错误的特征点对；将筛选后的特征点对进行分段配准。该专利申请在现有技术基础上增加改进了特征筛选、分段线性化、插值配准等多个环节，虽然提高了配准精度，但仍存在畸变校正性能差的问题。该方法需要一组历史图像作为基准模板图像，其方法条件较多，且受亮度、形变和相似物体影响较大，当亮度变化或形变变化剧烈时，会导致特征点匹配较少，对齐性能差；当有相似物体时，容易出现特征点的误匹配，实现错误对齐。此外，还存在数据量和计算量大的问题。
发明内容
[0008]本发明针对现有线阵相机图像畸变的校正方法存在的畸变校正性能差等上述问题，提供了一种轨道列车线阵相机图像畸变校正的目标检测方法及装置，能够减少零部件的误检率，提高检出率，使待检测零部件与目标检测位置框紧密贴合，提高畸变率的计算精度，提升后续畸变校正的性能，提高轨道列车故障检测的性能。
[0009]为了达到上述目的，本发明提供了一种轨道列车线阵相机图像畸变校正的目标检测方法，其具体步骤为：
[0010]选择过车图像中列车零部件高度比值为1±0.5或高度比值小于0.8或高度比值大于1.2、均匀分布的列车零部件作为数据的标注物体构建训练数据集；
[0011]基于Retinanet网络构建训练网络模型；
[0012]以训练数据集为输入对训练网络模型进行训练；
[0013]将实时过车图像中列车零部件高度比值为1±0.5或高度比值小于0.8或高度比值大于1.2、均匀分布的列车零部件作为数据的标注物体构建在线待测试数据集；
[0014]将在线待测试数据集中的数据输入至训练后的训练网络模型预测得到第k类零部件位置框的高度值h
k
；
[0015]将第k类零部件位置框的高度值h
k 与过车图像中第k类零部件的已知高度值H
k
进行
比较，若高度比值为1±0.1则认为该位置框预测正确，否则认为该位置框为误检，剔除该预测结果。
[0016]进一步的，还包括以下步骤：对构建的训练数据集数据进行镜像、随机加噪声处理。
[0017]进一步的，还包括以下步骤：选择过车图像中列车零部件高度比值为1±0.5或高度比值小于0.8或高度比值大于1.2、均匀分布的列车零部件作为数据的标注物体构建测试数据集，将测试数据集输入至
训练后的训练网络模型中检验训练后的训练网络模型的性
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议