(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 201910927808.7
(22)申请日 2019.09.27
(71)申请人 浙江省北大信息技术高等研究院
地址 311200 浙江省杭州市萧山区宁围镇
市心北路857号288-1室
申请人 浙江大胜达包装股份有限公司
杭州未名信科科技有限公司
(72)发明人 王尔昕 张伟 彭军民 陈曦
麻志毅
(74)专利代理机构 北京辰权知识产权代理有限
公司 11619
代理人 刘广达
(51)Int.Cl.
G06F 16/28(2019.01)
G06F 16/22(2019.01)
(54)发明名称
(57)摘要
本发明公开了一种多源异构数据采集方法
全量抽取数据并存入第一数据表；获取工厂的第
三方系统提供的预设类型的数据并存入第二数
据表；获取工厂的MES采集的产线实时数据并进
行计算，将计算结果存入第三数据表。基于上述
于不同数据源，依据其数据库类型通过设计不同
的数据采集方式对数据进行采集，并存入企业的
采集服务器的数据仓库，形成企业的数据资产。
采用本发明采集方案进行数据采集时，不干扰生
产过程，不改动原系统数据，且节省人力物力，在
完全保证生产的同时，也方便了企业将要进行的
数字化智能工厂建设。权利要求书2页 说明书7页 附图2页CN 110781248 A 2020.02.11
C N 110781248
A
1.一种多源异构数据采集方法，其特征在于，所述方法应用于采集服务器，所述方法包括：
从工厂的自研系统数据库中全量抽取数据并存入预先构造的第一数据表；
获取工厂的第三方系统提供的预设类型的数据并存入预先构造的第二数据表；
获取工厂的制造执行系统MES采集的产线实时数据并进行计算，将计算结果存入预先构造的第三数据表；
其中，所述第一数据表、第二数据表及第三数据表均归属于同一数据库。
2.根据权利要求1所述的方法，其特征在于，第一数据表的构造过程包括：
在从自研系统数据库中全量抽取数据之前，从所述自研系统数据库中获取表结构，并依据所述表结构构造第一数据表；
第二数据表的构造过程包括：在获取第三方系统提供的预设类型的数据之前，依据所述预设类型构造第二数据表。
3.根据权利要求1所述的方法，其特征在于，所述获取工厂的第三方系统提供的预设类型的数据并存入预先构造的第二数据表，包括：
针对每个工厂，以多线程方式读取该工厂第三方系统提供的每个预设类型的数据并存入缓存数据库；
从所述缓存数据库中，读取各工厂的数据并存入所述第二数据表。
4.根据权利要求1所述的方法，其特征在于，所述获取工厂的制造执行系统MES采集的产线实时数据，包括：
从FTP服务器下载由工厂的MES上传的产线实时数据；
通知所述FTP服务器删除所述产线实时数据。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
接收工厂系统上传的日志文件，所述系统包括自研系统和第三方系统；
解析所述日志文件中的数据并进行计算，将计算结果存入预先构造的第四数据表；
其中，所述第四数据表与第一数据表、第二数据表及第三数据表均归属于同一数据库。
6.一种多源异构数据采集装置，其特征在于，所述装置应用于采集服务器，所述装置包括：
第一采集模块，用于从工厂的自研系统数据库中全量抽取数据并存入预先构造的第一数据表；
第二采集模块，用于获取工厂的第三方系统提供的预设类型的数据并存入预先构造的第二数据表；
第三采集模块，用于获取工厂的制造执行系统MES采集的产线实时数据并进行计算，将计算结果存入预先构造的第三数据表；
其中，所述第一数据表、第二数据表及第三数据表均归属于同一数据库。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：
构造表模块，用于在所述第一采集模块从自研系统数据库中全量抽取数据之前，从所述自研系统数据库中获取表结构，并依据所述表结构构造第一数据表；
所述构造表模块，还用于在所述第二采集模块获取第三方系统提供的预设类型的数据之前，依据所述预设类型构造第二数据表。
8.根据权利要求6所述的装置，其特征在于，所述第二采集模块，具体用于针对每个工厂，以多线程方式读取该工厂第三方系统提供的每个预设类型的数据并存入缓存数据库；从所述缓存数据库中，读取各工厂的数据并存入所述第二数据表。
9.根据权利要求6所述的装置，其特征在于，所述第三采集模块，具体用于从FTP服务器下载由工厂的MES上传的产线实时数据；通知所述FTP服务器删除所述产线实时数据。
10.根据权利要求6所述的装置，其特征在于，所述装置还包括：
第四采集模块，用于接收工厂系统上传的日志文件，所述系统包括自研系统和第三方系统；解析所述日志文件中的数据并进行计算，将计算结果存入预先构造的第四数据表；其中，所述第四数据表与第一数据表、第二数据表及第三数据表均归属于同一数据库。
一种多源异构数据采集方法及装置
技术领域
[0001]本发明涉及互联网技术领域，具体涉及一种多源异构数据采集方法及装置。
背景技术
[0002]随着互联网技术的快速发展，瓦楞纸包装企业从自身发展需求出发，提出了数字化智能工厂的目标，即通过采集各个生产环节的数据形成企业的数据资产供分析使用。[0003]目前在瓦楞纸包装行业的实际生产环境中，各个信息系统的数据往往较为封闭，如生产、订单和财务系统都是独立运作，数据各自单独存储，各系统之间需要两两商定通信协议进行通信，并且很多数据需要从各个系统中分别调取再进行人工整合。这样的数据采集不仅耗费人力物力，而且给企业将要进行的数字化智能工厂建设带来不便。
发明内容
[0004]本发明的目的是针对上述现有技术的不足提出的一种数据采集方法及装置，该目的是通过以下技术方案实现的。
[0005]本发明的第一方面提出了一种多源异构数据采集方法，所述方法应用于采集服务器，所述方法包括：
[0006]从工厂的自研系统数据库中全量抽取数据并存入预先构造的第一数据表；[0007]获取工厂的第三方系统提供的预设类型的数据并存入预先构造的第二数据表；[0008]获取工厂的制造执行系统MES采集的产线实时数据并进行计算，将计算结果存入预先构造的第三数据表；
[0009]其中，所述第一数据表、第二数据表及第三数据表均归属于同一数据库。[0010]本发明的第二方面提出了一种多源异构数据采集装置，所述装置应用于采集服务器，所述装置包括：
[0011]第一采集模块，用于从工厂的自研系统数据库中全量抽取数据并存入预先构造的第一数据表；
[0012]第二采集模块，用于获取工厂的第三方系统提供的预设类型的数据并存入预先构造的第二数据表；
[0013]第三采集模块，用于获取工厂的制造执行系统MES采集的产线实时数据并进行计算，将计算结果存入预先构造的第三数据表；
[0014]其中，所述第一数据表、第二数据表及第三数据表均归属于同一数据库。[0015]在本申请实施例中，针对瓦楞纸包装企业的数据特点，对于不同数据源，依据其数据库类型通过设计不同的数据采集方式对数据进行采集，并存入企业的数据采集服务器仓库，形成企业的数据资产。采用本发明采集方案进行数据采集时，不干扰生产过程，不改动原系统数据，且节省人力物力，在完全保证生产的同时，也方便了企业将要进行的数字化智能工厂建设。
附图说明
[0016]此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施
例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：[0017]图1A为本发明根据一示例性实施例示出的一种多源异构数据采集方法的实施例流程图；
[0018]图1B为本发明根据图1A所示实施例示出的一种多源异构数据采集系统结构示意图；
[0019]图2为本申请根据一示例性实施例示出的一种采集服务器的硬件结构图；[0020]图3为本发明根据一示例性实施例示出的一种多源异构数据采集装置的实施例流程图。
具体实施方式
[0021]这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
[0022]在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
[0023]应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
[0024]瓦楞纸包装行业内的信息系统通常包括订单系统、财务系统、ERP(Enterprise Resources Planning，企业资源计划)系统、MES(Manufacturing Execution System，制造执行系统)、运输地滚系统、仓库系统等，这些信息系统都有各自独立的数据库保存数据。企业获取完整数据时，需要从各个信息系统采集数据并进行整理核对。
[0025]目前各信息系统间通常是通过商定好的通信协议，使用接口调用方式两两通信。以订单系统和财务系统为例，如果企业想查看订单的完整信息，需要从订单系统中取出订单信息，并根据订单号去财务系统中查询订单款项，合在一起形成完整订单。然而这种通信方式存在如下缺点：
[0026]1)各信息系统每次对接都需要设计一套新的通信协议，通信成本大；
[0027]2)数据只在信息系统间单独流转，难以获取全局数据；
[0028]3)信息系统之间关系过于紧密，耦合性高，单一信息系统替换成本极高；[0029]针对此情况，市面
上提供的一些数据采集方案由于是通用性方案，存在系统造价昂贵，功能复杂，实施成本高，定制化程度低的问题，很多功能并不适用于瓦楞纸包装的场景。这样不仅增加了瓦楞纸包装企业的开销，也增加了企业今后维护系统的成本。
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议