2021⁃04⁃10
计算机应用,Journal of Computer Applications
2021,41(4):1214-1220ISSN 1001⁃9081
CODEN JYIIDU http ：//www.joca
李慧慧1，2
，闫
坤1，2*，张李轩1，2
，刘
威1，2
木制花瓶，李
执1，
2
（1.桂林电子科技大学信息与通信学院，广西桂林541004；
2.卫星导航定位与位置服务国家地方联合工程研究中心（桂林电子科技大学），广西桂林541004）
（∗通信作者Kyan5702@gmail ）
摘要：针对目前指针式仪表识别任务在使用深度学习算法时存在模型参数量大、计算量大、准确率较低的问题， 提出一种基于改进预训练MobileNetV2网络模型与圆形Hough 变换相结合的圆形指针式仪表智能检测和识别系统。首先，采用Hough 变换解决复杂场景内非圆形区域的干扰问题；然后，提取圆形区域以
构建数据集；最后，使用基于改进预训练MobileNetV2网络模型对圆形指针式仪表进行识别。为客观反映所提模型的性能优劣，采用平均混淆矩阵来衡量模型性能。实验结果表明，该系统在圆形指针式仪表识别任务中的识别率达到99.76%。同时，将所提模型与其他5种不同的网络模型进行对比的结果表明，该模型与ResNet50的准确率最高，但在模型参数量和模型计算量方面，所提网络模型相较于ResNet50分别降低了90.51%和92.40%，可见该模型有助于进一步在移动端或嵌入式设备中部署和实现工业级的实时圆形指针式仪表检测和识别。 关键词：圆形指针式仪表；圆形Hough 变换；预训练模型；MobileNetV2；平均混淆矩阵中图分类号：TP391.4
文献标志码：A
Circular pointer instrument recognition system based on MobileNetV2
LI Huihui 1，2，YAN Kun 1，2*，ZHANG Lixuan 1，2，LIU Wei 1，2，LI Zhi 1，
2
（1.School of Information and Communication ，Guilin University of Electronic Technology ，Guilin Guangxi 541004，China ；
2.State and Local Joint Engineering Research Center for Satellite Navigation and Location Service
（Guilin University of Electronic Technology ），Guilin Guangxi 541004，China ）
Abstract:Aiming at the problems of large number of model parameters ，large computational cost and low accuracy
when using deep learning algorithms for pointer instrument recognition task ，an intelligent detection and recognition system
of circular pointer instrument based on the combination of improved pre -trained MobileNetV2network model and circular Hough transform was proposed.Firstly ，the Hough transform was used to solve the interference problem of non -circular areas
in complex scene.Then ，the circular areas were extracted to construct datasets.Finally ，the circular pointer instrument recognition was realized by using the improved pre -trained MobileNetV2network model.The average confusion matrix was used to measure the performance of the proposed model.Experimental results show that ，the recognition rate of the proposed system in the recognition task of circular pointer instruments reaches 99.76%.At the same time ，the results of comparing the proposed model with other five different network models show that the proposed model and ResNet50both have the
highest accuracy ，but compared with ResNet50，the proposed network model has the model parameter number and model computational cost reduced by 90.51%and 92.40%respectively ，verifying that the proposed model is helpful for the further
deployment and implementation of industrial grade real -time circular pointer instrument detection and recognition in mobile terminals or embedded devices.Key words:circular pointer instrument;circular Hough transform;pre -trained model;MobileNetV2;average
confusion matrix
0引言
电力、化工等领域存在数量庞大的仪表用来记录现场状
况和生产数据［1］
，由于电磁干扰等环境因素的影响，工业生产普遍采用指针式仪表［2］。指针式仪表读数识别主要依靠专业人员定期进行现场巡检，该工作方式易受到人眼分辨能力、工
作人员熟练程度、视觉疲劳等主观因素的影响，检测效率较低且难以保证数据的准确性。而在高辐射、强噪声、高低温等不适宜近距离测量环境内，仪表的采集和读取是一项非常艰巨的任务［3］。随着我国工业领域从劳动密集型向科技密集型不断转变，传统人工抄表方式亟需转向基于机器视觉的智能识别，以提高生产效率［4］。因此，实现指针式仪表的自动识别和
文章编号：1001-9081（2021）04-1214-07
DOI ：10.11772/j.issn.1001-9081.2020060765
收稿日期：2020⁃06⁃08；修回日期：2020⁃11⁃17；录用日期：2020⁃11⁃18。基金项目：广西自然科学基金资助项目（2019JJA170069）。
作者简介：李慧慧（1993—），女，河南周口人，硕士研究生，主要研究方向：计算机视觉、机器学习、工业检测与识别；闫坤（1983—），女，陕西咸阳人，副教授，博士，主要研究方向：自适应信号处理、室内定位、5G 通信、机器学习、图像处理；张李轩（1995—），男，湖南郴州人，硕士研究生，主要研究方向：计算机视觉、图像识别；刘威（1992—），男，安徽淮北人，硕士研究生，主要研究方向：机器学习、图像处理、信号处理；李执（1995—），男，广东揭西人，硕士研究生，主要研究方向：机器学习、图像处理、
信号处理。
第4期李慧慧等：基于MobileNetV2的圆形指针式仪表识别系统
检测具有重要的现实意义及市场价值。
关于指针式仪表智能识别的课题，国外研究较早并取得
了一定的成果［5-6］。葡萄牙里斯本技术大学的Alegria等［7］采
用减影法提取指针图像，再利用Hough变换确定指针的偏转
角度，但这种方法需要在相同环境下获取两个读数不同的表
盘指针。Vázquezfernández等［8］通过调整相机位置定位指针
式仪表的旋转中心，获取固定大小图像。相较于国外指针式
仪表智能识别的研究进展，国内的研究进展较慢。孙婷等［9］
提出基于二维伽马函数的仪表识别方法，能够适应不同光照、
不同类型的仪表指针定位，且识别的正确率达到94%；张雪飞
等［10］根据尺度不变特征点匹配方法研究统一自动识别读数的
算法框架，能够快速识别多类指针式仪表。盛庆华等［11］针对
现有指针式仪表自动读数对图像采集条件要求比较苛刻的缺
陷，提出了一种基于双重霍夫空间投票的指针式仪表自动读
数方法，可以达到92%的识别率。随着深度学习的发展，一
批学者将深度学习方法用于指针式仪表的识别课题研究中。
万吉林等［12］提出了一种基于Faster R-CNN（Faster Region-Convolutional Neural Network）和U-Net的仪表识别方法，漏检率为2.86%，能达到较高的识别准确率。周杨浩等［13］利用全
卷积神经网络对输入图像进行语义分割以检测仪表位置并提
取仪表部分的图像。
圆形指针式仪表自动检测与识别大多基于预先获取的仪
表图像，采用Hough变换算法进行仪表定位［14］，这种方法前期
需要大量仪表目标的记录与相机的标定工作，以保证所得仪
表图像的质量，因此每次仪表位置发生变化都需要重新进行
测量与标定。这类方法普适性、稳定性较差，尤其在复杂场景
下，单一圆形Hough变换应用受限。针对这种缺陷，可采用深
度学习目标检测算法，但伴随着海量参数复杂运算等问题。
为解决以上问题，本文提出了一种基于预训练MobileNetV2网
络模型与圆形Hough变换相结合的圆形仪表智能检测和识别
系统，用于复杂场景下圆形指针式仪表检测和识别。
该系统首先采用圆形Hough变换提取圆形区域，将所得
圆形区域转换为基于预训练MobileNetV2网络模型的输入，通
过圆形Hough变换，降低复杂场景内其他非圆形区域的资源
占用。MobileNetV2网络模型是一种轻量型的网络模型［15］，该
模型参数较少，可快速训练出指定任务的模型，并且可以很好
地运行在移动端设备和嵌入式设备中，为工业圆形指针式仪
表识别奠定了非常好的基础。因此采用基于预训练MobileNetV2网络模型与圆形Hough变换相结合的圆形仪表智能检测和识别系统，既能够高效地将本文方法落实到工业指针式仪表识别中，同时也能达到非常高的识别率，可有效优化工厂人员结构，提高工厂工作效率，降低人工干预误差。1复杂场景
下圆形仪表智能识别系统针对复杂场景下圆形指针式仪表的检测与识别，本文提出一种基于预训练MobileNetV2网络模型与圆形Hough变换相结合的圆形仪表智能检测和识别系统，该系统如图1所示。
首先，通过摄像头采集工业工厂中圆形指针式仪表的图像，采用圆形Hough变换方法确定多个圆形区域的圆心及半径，根据圆心和半径设置相应的圆形掩膜，提取对应圆形区域，实现对圆形区域的目标检测。然后，将该目标检测的图像作为改进预训练MobileNetV2网络模型的输入。考虑到迁移学习对网络模型的优势，本文对预训练MobileNetV2网络模型进行修改，然后重新训练得到一个网络模型，最后在测试数据集上进行测试，对圆形指针式仪表进行识别。圆形指针式仪表自动检测和识别系统的流程如图2所示。
1.1基于Hough变换的圆形区域检测
计算机视觉任务中几何图形（如直线段、圆形、三角形、四边形等）的识别是复杂场景图像分析理解的基础［16］，圆形是其中一个重要的研究领域，比如：医学检验中对胎儿小脑的检测［17］、交通领域中对圆形交通标记的识别［18］、人脸识别中对瞳孔与虹膜的定位、芯片制造业中光掩膜基板的定位等都需要识别图像中的圆形目标。比较典型的圆形类目标检测算法有几何判断法、目标函数优化法、模板匹配法和Hough变换［19］。复杂场景内采集的图像样本数据，往往受噪声、遮挡、照明变化的影响较大，结合不同圆形类目标检测算法的利弊及实际运用需求，本文选用圆形Hough
变换提取输入图像内图1圆形指针式仪表智能检测和识别系统示意图
Fig.1Schemmatic diagram of intelligent detection and
recognition system for circular pointer
instrument不锈钢表面钝化
图2圆形指针式仪表自动检测和识别系统的流程Fig.2Flowchart of automatic detection and identification system of
滴胶卡制作circular pointer type instrumen
1215
第41卷
圣诞灯
计算机应用的所有圆形区域。1.2圆形指针式仪表目标识别1.2.1
深度分离卷积
深度分离卷积［20］是MobileNetV2网络模型中非常关键的
一个结构，该结构利用分解卷积运算符代替完整的卷积算子，因式分解将标准卷积分为两个分卷积：第一层为深度卷积，对输入数据的单通道进行轻量级滤波；第二层为逐点卷积，计算输入通道特性以构建新特征向量。标准卷积L i 的输入尺寸为h i ×ωi ×d i ，应用标准卷积核
K ∈R
k ×k ×d i ×d j
产生输出L j 为h i ×ωi ×d j 。
1）标准卷积的计算消耗为h i ×ωi ×d i ×d j ×k ×k 。
2）拆分后深度分离卷积计算消耗为h i ×ωi ×d i (k 2+d j )
。
其中：
h i ×ωi ×d i 为卷积输入尺寸；k ×k ×d i ×d j 中k ×k 为卷积核大小；
d j 为卷积核的个数。MobileNetV2网络模型中使用卷积核大小为3×3时，与
标准卷积相比计算量减少为原来的1/9~1/8，但是精度上基本没有什么损失。1.2.2
反向残差网络
反向残差网络［21］结构先通过扩展层来扩展维度，再用深
度分离卷积提取特征，最后使用投影层来压缩数据，让网络重新变小，整个网络中间胖、两头窄，呈沙漏形状，因此将这样的结构称为反向残差网络。该网络中的扩展层，使用1×1的网络结构，将低维空间映射到高维空间，而投影层也是使用1×1的网络结构将高维空间映射到低维空间。如果一个张量
维度越低，卷积层的乘法计算量就越小，整个网络的计算速度就会特别快，因此该网络首先将特征张量输入到扩展层进行特征提取，然后再将经过深度分离卷积提取的特征通过投影层返回到原来的空间维度，同时添加残差连接以有效利用不同位置之间的信息，具体的反向残差网络结构如图3所示。
1.2.3
基于MobileNetV2的迁移学习
迁移学习［22］是将某个领域或任务上学习到的知识或模式
应用到不同但相关的领域中，从相关领域中迁移标注数据或知识结构，完成或改进目标任务的学习效果。本文提出的圆形指针式仪表检测和识别系统已基于ImageNet 学习了丰富的特征表示，通过迁移学习无形中扩充了训练数据，使得模型泛化能力更好。
MobileNetV2是一种轻量型神经网络，本文系统在保留
MobileNetV2网络模型中深度分离卷积和反向残差网络的同
时，对该网络模型进行改造，删减一些不必要的卷积层，并对最后的全连接层进行调整，使得该网络模型能够适用于本文的研究任务，实现对圆形指针仪表的识别。该模型由于结构的特殊性，网络模型的参数大幅减少，计算复杂度大幅降低，
因此能够运行在移动端或嵌入式端，可以满足工业对指针式仪表检测和识别的需求。
2实验与结果分析
本文首先通过圆形Hough 变换对圆形区域进行目标检
测，然后将检测出来的圆形目标利用本文提出的基于预训练MobileNetV2网络模型进行分类识别，判断该圆形目标是否为圆形指针式仪表。2.1
基于圆形Hough 变换的圆形区域检测
首先，对输入图像按照一定比例进行缩小，以减少Hough
变换运算量；然后，利用圆形Hough 变换检测到的圆形区域信
息，结合线性变换关系，在原图相应位置构造圆形掩模，检测并提取对应圆形区域。以图4为例：先利用圆形Hough 变换检测图4（a ）中的所有圆形区域，并提取所有圆形区域的半径与圆心坐标参数，如表1所示；再根据表1信息构造圆形掩模，提取对应圆形区域，结果如图4（b ）~（d ）所示。
2.2
数据集和评价指标
本文实验数据是从工厂采集的圆形指针式仪表图像，通
过圆形Hough 变换检测到的圆形区域构建数据集。该数据集含1030个圆形指针式仪表以及1303个圆形图像但是不属于圆形指针式仪表，以图5所示图像为例。
本文将采集的数据按照8∶1∶1的比例随机划分为训练数据集、测试数据集和评估数据集，训练数据集中圆形指针式仪表的个数为824，非圆形指针式仪表的个数为1042，用于训练改进预训练MobileNetV2模型；测试数据集和评估数据集中圆形指针式仪表的个数分别为103和103，非圆形指针式仪表的个数分别为130和131。其中，测试集用于测试该模型性能；评估数据集用于预测某一个图像是否是圆形指针式仪表，以评估该模型的泛化能力。具体的数据分布如表2
所示。
图3
反向残差网络
Fig.3
分子筛膜Inverted residual network
表1
输入图像内圆形区域的圆心及半径
Tab.1Radii and centers of circular areas in input image
圆形区域
1
23
半径/px
56.873564.908556.2096圆心坐标/px （128.1891，430.6986）（388.4646，576.1202）（374.7134，356.4399
）
图4圆形Hough 变换结果
Fig.4Results of circular Hough transform
1216泥土样本
第4期
李慧慧等：基于MobileNetV2的圆形指针式仪表识别系统
在图像目标识别与分割任务中，混淆矩阵［23］是最常用的评价指标之一，可反映数据的真实类别和预测类别的数量分布，如表3所示。表3中：TP 为真阳性（True Positive ）、FP 为假阳性（False Positive ）、FN 为假阴性（False Negative ）、
TN 为真阴性（True Negative ）。
本文实验样本取自实际的工业场景，样本采集成本较高导致样本数量较少，且样本类别存在不均衡性。单一取样划分数据集只能代表当次局部数据的实验结果，因此本文分别进行9次随机取样构建9个由不同样本数据构成的数据集，在已训练好的模型上进行测试，得到针对9个不同样本数据集的混淆矩阵，最后将9个混淆矩阵加权取平均得到平均混淆矩阵，以客观反映网络模型的泛化能力。
2.3
基于改进MobileNetV2网络模型的圆形指针式仪表识别
图6为基于改进预训练MobileNetV2网络模型的圆形指
针式仪表识别实验结果。从图6中可以看出，该模型在圆形指针式仪表识别任务中收敛较快，在训练和测试阶段均能够获得较高的识别率，尤其在测试数据集上当训练的epoch 达到40时，基本可以100%识别出该图像是否属于圆形指针式仪表。在模型训练阶段，训练损失值和准确率曲线存在一定的抖动，但识别率保持在98.8%~100%。通过观察测试数据集上的实验结果发现，已训练好的网络模型能够非常快地收敛，在第40个epoch 时就已经完全收敛，圆形指针式仪表的识别率可以达到100%。
最后对评估数据集内的图片进行预测，对比预测结果与实际标签，其中实际标签已知，进而衡量该模型的泛化能力。评估数据集在已训练好的改进MobileNetV2网络模型上的混淆矩阵如图7所示。
从图7可以清晰地发现，该模型能够非常好地拟合评估数据集中的数据，可以将圆形指针式仪表和其他圆形图形完全区分开，但是由于每一次进行实验都会随机按照8∶1∶1的
比例划分数据集，某一次实验的评估数据只能代表局部数据的实验结果，不能反映所有待评估图片数据，因此本文在已训练好模型的基础上，随机划分数据集对评估数据集进行9次实验，得到9个评估数据集的混淆矩阵，结果如图8所示。
从图8（a ）、（b ）、（e ）、（f ）、（g ）中可以看到，其中有一个圆形指针式仪表的图像被误判为非圆形指针式仪表的图像。通
过观察被误判为非圆形指针的图像，发现该图像存在模糊，可能是由于采集数据时设备抖动造成采集的数据存在模糊，造成本次识别任务发生误判。模糊圆形指针式仪表图像和正常圆形指针式仪表图像如图9所示。为客观反映所提模型的性能优劣，本文提出平均混淆矩阵概念，将9次实验得到的9个混淆矩阵累加取平均得到平均混淆矩阵，降低实验评估数据集随机划分带来的误差，平均混淆矩阵如图10所示。
通过平均混淆矩阵得到TP =103，FP =0，FN =0.56，TN =130.44。同时计算了基于改进MobileNetV2网络模型的圆形指针式仪表识别任务下的准确率Acc （Accuracy ）、精准率P （Precision ）、召回率R （Recall ）和F 1（F 1-Score ）指标，计算结果如下：
Acc =
TP +TN
P +N =0.9976
P =TP
TP +FP =1.0000
R =TP
TP +FN =0.9946
F 1=2×(P ×R )P +R =0.9973
精准率和召回率是二分类任务中重要的两个度量标准，
表2
数据集分布
Tab.2
Dataset distribution 数据集类型训练数据集
测试数据集评估数据集
圆形指针式仪表数
824103103
非圆形指针式仪表数
1042130
131
图5
圆形指针式仪表数据和非指针式仪表数据Fig.5
Circular pointer instrument data and
circular non -pointer instrument data 表3
混淆矩阵
Tab.3
Confusion matrix
预测值阳性
阴性
真实值
阳性TP FN
阴性FP
TN
图6基于预训练改进MobileNetV2网络模型的实验结果Fig.6
Experimental results
of
improved
pre -trained MobileNetV2
network model
图7
评估数据集的混淆矩阵
Fig.7
Confusion matrix of evaluation dataset
1217
第41卷
计算机应用F 1-Score 值表示精准率和召回率的调和平均，三者均可评估该模型的识别性能。可以看出：基于改进MobileNetV2网络模
型在圆形指针式仪表识别任务中的准确率可以达到99.76%。
2.4
性能分析
本文分析了6种不同网络模型在圆形指针式仪表识别任
务中的识别率（Accuracy ，Acc ）、模型参数量（Parameters ）、模型计算量（MAdd ），结果如表4所示。
通过对比发现，这些模型很难同时实现较高的识别率、较
少的模型参数量和较小的模型计算量，识别率往往与复杂度及计算量成正比。通过对比表4中六种不同模型的指标可知，从识别的准确率上来看ResNet50模型和MobileNetV2模型可100%识别出圆形指针式仪表，但是ResNet50模型的参数量（Parameters ）和模型计算量（MAdd ）分别为23.51×106和
8215.55×106，而MobileNetV2模型的参数量（Parameters ）和
模型计算量（MAdd ）分别为2.23×106和624.134×106。MobileNetV2模型的参数和模型计算量远低于ResNet50模型，因此Mobilenetvv2网络模型训练的速度远快于ResNet50网络模型，更便于部署在移动端或嵌入式设备中，实现工业级圆形
指针式仪表检测和识别。
表4
六种不同网络模型在圆形指针式仪表识别任务中的性能
Tab.4Performance of six different network models in
circular pointer instrument recognition task 模型
AlexNet
DenseNet121ResNet50ShuffleNet VGG19
改进MobileNetV2
Acc /%
99.1499.51100.0099.1698.71100.00Parameters /106
57.016.9623.511.26139.582.23
MAdd /106
1421.3905739.9608215.550295.71039275.390624.134
如果仅从模型的参数量和模型计算量的角度来看
，
图8随机9次实验中评估数据集的混淆矩阵
Fig.8Confusion matrices of evaluation dataset in 9random
experiments
图9
数据集中模糊圆形指针式仪表和正常圆形指针式仪表Fig.9
Fuzzy circular pointer instrument and
normal circular pointer instrument in
dataset
图10
平均混淆矩阵
Fig.10
Average confusion matrix
1218
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议