第卷第2锻压装备与制造技术2021年4月Vol.56No.2CHINA METALFORMING EQUIPMENT&MANUFACTURING TECHNOLOGY Apr.2021
阚涛，赵跃东，刘焕晓，孙多润，郭警中，傅成林，汤昊，王迪
（安徽维德工业自动化有限公司，安徽合肥230000）
摘要：本文基于大数据分析，通过采集不同车间、厂区之间的生产数据信息，并将这些数据实时传输至云端数据层，依据生产过程控制以及相关传输协议、数据的标准化，实现工业化数据的智能采集和分析，为企业早日实现智能化转型打造坚实的基础。
关键词：大数据；采集系统；工业数据；智能
中图分类号:TP391文献标识码:B
D01：10.16316/j.issn.1672-0121.2021.02.029文章编号：202】）02-0022-03
0引言
随着计算机、信息技术发展，中国制造的崛起以及工业4.0的普及应用，智能化制造的崭露头角对于中国工业的发展都具有积极的影响。但由于我国工业基础较为薄弱，技术革新发展受阻，因此在工业化、智能化方面能存在诸多问题。随着5G技术的发展和成熟，基于5G来实现工业化数据的传递、分析和控制已经成为行业发展趋势。
为实现工业化数据的采集、应用实现生产数据的过程控制和监控，基于大数据工业数据采集
对&的数采集、控，实现工业数据的化和传，达到产业的转型升级和产业链的动都具有积极的。
，在现有的工业生产中，数据的采集都会依靠传来行获取，但由于工业化以及数据大，多，的工业有
的达，为实现工业的应用，工业生产能应、化的产工业和“工业4.0工业发展的方向。的本质都基于工业大数据、来升工业生产，
升工业动化。
1ETL技术
在ETL（Extr-ct-Tr-nsform-Lo-d）系统中，数据需
收稿日期:2020-12-15；修订日期：2021-01-20
作者简介：阚涛，博士，公司研发总监，从事软件算法研究、计算机应用技术研究、网络安全与系统维护等要按照一定的规则来进行处理，并将最终的数据输对应的数据型中，过分析的数据和型发展，数据转基于，
，对数据进行数据的数据，对应的数据中
在数据采集、中，对型的数据
行数据化，到对应的数据中；'TL为数据过程，据，'TL占用比例数据开发整过程的60%
〜80%；因此ETL过程的低，对于数据库的完善和数据的预都具有积极的影响用基
于大数据代来进行数据步计与实现，以期为
大数据、数据挖掘普及应用应用路径。
由于在工业化系统中，采集的数据均是结构化属性的数据，对数据行预，借助ETL 技术可实现数据采集的，升数据采集的可靠性。
此外，企业在进行数据处理过程种，常规的做法
是基于型的数据源，过数据交实现
数据的转化，基于企业江数据转接至
HDFS，借助M-pReduce实现数据的处理分析、挖掘
中。综上大数据的ETL可以达到以上标准要求。
2数据采集系统分析与设计
2.1实时流数据采集模型设计
在数据采集、中，对型的数据构进行数据化，些数据仅仅对数据行
-122-
阚涛，等：基于大数据工业数据采集系统设计与实现第2期
单一处理，不需要对数据进行规则化。因此在工业化 数据采集过程中，仅仅需要考虑数据的实时性但后
加载至对应的数据库中，而传统的数据采集系统不烘干炉
能完全适用于目前系统要求，因此通过对ETL 过程
模型进行简化，实现采集系统的稳定性获取和加载,
该模型如图1所示。
由图可见，简化的ETL 模型和以往的模型最为
明显的区别是过滤的数据的暂存区，实现了工业化
数据采集的简化，通过使用这种简化的ETL 模型，可
以极大的提高数据采集的实时性。
2.2采集系统架构设计
为保障系统的实时性、标准化以及兼容性，本文
的数据采集系统的数据处理 可 能， 数据
库和数据处理
而独立。因此在系统
数据采集过程中，可同时具备不同数据规则的处理
时效。考虑 基于Kafka 开，数据处理节点具有
的 性，在一个数据处理节
以后，
的数据会由 数据处理节点进行处理。
提出
的数据采集系统的
如图2所示。
2.3信息传递及共享设计
在实 的工业 系统中， 系 据传
获取的数据来进行数据的
和 。因此为实现
数据的高 应 ， 需要 的
实
现、数据的
，在 中 系统需要匹
配不同的IP 、
和
实现数据的程化加载、控
制和
。因此在数据采集过程中通模需要
一定的
以 后 提 的用于
行通的一
。数据采集节
通信
加在需要转发的消息中去。
3系统实现与测试
3.1系统实现
数据采集系统实现基于数据的传输协议、通
，能传
PLC
其他数据源：
消息调度分发模块
通信模块
TCP 通信模块
UDP 通信模块
Kafka 集
数据源
数据 处理-协议N ―|
消息应
基于
I Q f U
的时间序列数据采集系统
HBase
MySQL SQLServer
其他数据库；
数据库
图2数据采集系统架构
以 数据节 处理过程， 在实现系统的高实
时性、 适应 通 以
的 载
能，现 要实现能阐述如下。
数据采集基于传 数据，通过对不同模
数据的规则 、 实现数据传 的
，
如在系统实现过程中， 数据
集
数据 ， 数据 在集
获取数据
息，此时在TCP 通信模块或者UDP 通信模块接
数据以后，
数据进行
通 通
过 Kafka
i
数据处理节点主要功能是实现数据的传输和维 护，基于Kafka 数据
理实现数
据的动态加载和传。数据加载需要 不同的数据 进行数据处理，如数据模型、数据 以
数据 应用。因此为实现数据的高性，数
据的 化，本系统 了较少的 数据，即可
实现数据的 加载，实现可 性。
3.2系统性能测试
红外感应水龙头在工业生产系统中，传感器设备会按照时间对
所采集的数据进行送同步至工业 采集系统
中，因此 的系统性能测可以依据在规定时间
— 123
—
第56卷
锻压装备与制造技术
段内采集系统所采集的数据量大小，本文结合某生
产现场数据，记录了半分钟数据采集情况来进行数
据采集系统性能测试，具体如图3所示，横坐标显示 为100ms 之内生产数据包的数量，纵坐标为时间序 列，如图所示一共采集了 8000个传感数据设备，发
送速率为IPacket/Second ，这些庞大的数据量会在规 定的时间内发送至采集系统中。此外，数据采集的性 能测试主要是针对数据交互过程中所消耗的时间来
进行评测，主要包
假牙清洁剂量，如时间 程、数据
理过程时
。
(s 远
5PEd)
範血、粗奩数瞅区SUI00-
相对时间(100ms )
图3发包模型图
由于在工业生产 中，感数据源之间难以
做到100%的时间同步，故 文的数据发送模 以
的模 生产 中感数据源的数据上传
情况。
通过对采集系统的通信能力测试和Kafka 的吞
量对 文所 的采集系统 数据
采集 的
， 过规 的 数
据采集 量， 此时采集系统的 量 会 所
此外， 的
地锚机规则以及IP 会
数据采集系统的 性。
传感器端，对比评估网络传输性能、节点数量以及系
统数据的 量进 分 系统性能测试的 性。
所 ，在
能 的情况 ， 过数据采集 的数量， 数据
Kafka
的数量来 采集系统的性能。 所
， 文设 的数据采集系统能 的 对 量
时间序列数据的采集， 同时系统 具 的性 性 分 性。
4结论
随着5G 技术的发展和成熟，智能化制造的崭露
头角对中
导热胶带
的发展都具 的
在 系统中，所采集的数据 是结 性的
数据，要对数据进行 ， ETL
现数据采集的 性， 数据采集的 性。 文
大数据 数据采集系统 来进行生产数据
采集系统设 现 为 现 数据的 能
采集分析，结果显示所设的数据采集系统能
分子筛膜的 对 量时间序列数据的采集， 同时系统
具 的 性 性 分 性。
参考文献：
[1]陈令刚，段祉鸿，朱曦曼，等•激光捷联惯组大数据采集系统设计
与实现[J].工业控制计算机，2019,032(002):17-19.
⑵ 袁晓红，王 瑞，柏 玲，等•工业大数据在生产监控系统中的应
用[J].冶金自动化，2018(6).
⑶ 汪保友，钱 晶，袁时金•基于Hadoop 的电信大数据采集方案研
究与实现[J].电信科学，2017,033(001 ):135-142.
[4]夏陛龙，陈津平，胡春光•基于FPGA 的实时数据采集系统设计[J].
计算机工程,2013,000(011):307-311.
，
数据采集系统的性能主要
Design and implementation of an industrial data collection system based on big data
KAN Tao, ZHAO Yuedong, LIU Huanxiao, SUN Duorun, GUO Jingzhong, FU Chenglin,TANG Hao, WANG Di
(Anhui Weide Industrial Automation Co., Ltd., Hefei 230000, Anhui China )
Abstract ： Based on big data analysis, this paper collects the production data information between different
workshops and factories, and transmits these data to the cloud data layer in real time. According to the pro duction process control and the relevant transmission protocols and data standardization, the intelligent collec
tion and analysis of industrial data is realized, and a solid foundation for the enterprise to realize intelligent
transformation as soon as possible.
Key words ： Big data; Acquisition system; Industrial data; Intelligence
-124
-
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议