第54卷 第6期2021年6月
通信技术
Communications Technology
未载入sso模块Vol.54 No.6
柚子去皮机Jun. 2021纹眉机
文献引用格式：张宏远.数据中台的通用体系架构研究[J].通信技术，2021，54（6）：1451-1455. ZHANG Hongyuan.Research on the general architecture of data central-platform[J].Communications
Technology,2021,54(6):1451-1455.
pbcl2doi:10.3969/j.issn.1002-0802.2021.06.025
数据中台的通用体系架构研究*
张宏远
（上海邮电设计咨询研究院有限公司，上海 200093）
摘 要：从数据中台的建设、运营角度出发，对数据中台在企业数据应用中的作用进行了分析，把数据中台定位为多个数据应用的共享数据平台。从数据应用及数据治理两个维度分析了数据中台的建设要素，提出了模块化、解耦的数据中台体系架构。数据中台体系架构包含数据存储框架、数据采集框架、数据处理框架、数据治理框架、数据安全框架及数据运营模块，可按照企业应用需求进行组合，可以对单个模块进行扩充，能满足大多数企业数据中台建设的需求。 关键词：大数据平台；数据中台；数据治理；体系架构
中图分类号：TP311.52 文献标识码：A 文章编号：1002-0802(2021)-06-1451-05 Research on the General Architecture of Data Central-Platform
ZHANG Hongyuan
(Shanghai Posts & Telecommunications Designing and Consulting Institute Co., Ltd., Shanghai 200093, China) Abstract: This paper explores the Data Central-Platform from perspective of construction and operation and analyzes the role of Data Central-Platform in enterprise data application. In this paper, Data Central-Platform is defined as a shared data platform for multiple dat
a applications. A modular and decoupled Data Central-Platform architecture is proposed after analyzing core element of data processing and data governing in building a Data Central-Platform. The Data Central-Platform architecture includes data storage framework, data acquisition framework, data processing framework, data management framework, data security framework and data operation modules. It can be combined according to the application needs of enterprises and can expand single modules to meet the needs of most enterprises’ Data Central-Platform construction.
Keywords: big data platform; data central-platform; data governing; system architecture
0 引 言
进入信息时代，随着数据产业的蓬勃发展，数字化建设如火如荼。“数字中国”“互联网+”等国家战略项目已在资源、可持续发展、环境以及行政办公等领域取得了良好的效果。数据是资产、资源，但如何把数据资产、数据资源转化为社会收益和企业利润，还需要多方探索。当前，机构和企业不再建设从源数据采集到分析应用的烟囱式系统，更倾向于数据集中采集、存储，并应用分层建设。这种方式一方面有利于应用系统的快速部署，另一方面也保证了数据的集中管理与运营，体现数据的资产、资源属性。数据中台的出现弥补了数据开发和应用开发之间由于开发速度不匹配而出现的响应力不足等问题。 * 收稿日期：2021-02-28；修回日期：2021-05-10 Received date:2021-02-28;Revised date:2021-05-10
数据应用系统
经营分析系统验证系统产品销售……
数据中台
大数据平台数据治理系统
信令监测办公系统上网日志……
图2 数据中台体系架构示例
数据中台通用体系架构包含数据存储框架、数据采集框架、数据处理框架、数据治理框架、数据安全框架及数据运营框架等6大部分。
2.1 数据存储框架
数据中台的核心是数据，数据通过采集系统获取，然后数据经过处理框架加工，并接受数据治理框架
净浆搅拌机
的管理，同时也要接受数据安全管理框架的管理，最后开放的价值数据将通过数据运营框架对外提供数据服务。数据中台的数据架构应该独立规划，并采用合理的技术架构对不同类型的数据进行存储。
通信技术
数据存储框架中，无论数据采用对象存储、块存储还是数据库存储技术，各种中台数据可按照上图所示分类管理。对于不同数据的存储技术本文不再讨论。源数据主要由采集框架进行管理，数据治理框架按照数据特征把数据简单分为结构化和非结构化数据两大类，而规范化分域数据则是数据治理框架对全量数据的规范化分域整理。宽表数据是数据关联的结果，利用宽表数据可以对人、事、地、物、组等对象进行完整的数据画像，同时宽表数据也可以作为上层模型数据的中间层数据。元数据和标签数据都是对数据的描述，其中元数据用来对数据的客观属性进行表示，标签数据更倾向于管理者对数据的主观表述及等级划分，比如质量等级标签、安全标签、属性标签等。主数据需要在各系统间频繁更新、交换，且需要独立的存储空间进行维护管理。
2.2 数据采集框架
数据中台的采集框架应对纳入数据中台的各种源数据进行统一采集管理。数据采集框架中应提供多种
数据采集方式，如文件传输协议（File Transfer Protocol，FTP）采集、数据库采集、接口应用程序（Application Programming Interface，API）接入采集、流式采集及网络爬虫采集。同时采集框架应按照数据采集规范对源数据进行预处理，从而去除明显不需要的数据及多余数据，并对采集过程进行管理。虽然数据中台的体系架构没有统一模板，但各企业数据采集框架基本一致。
防火门铰链2.3 数据处理框架
数据处理是每个数据应用的基本环节之一，经典的数据抽取、转换和加载（Extract Transform Load，ETL）处理流程在数据采集预处理、数据整合、数据建模等多个地方均要使用。单独建设数据处理框架有利于数据处理工具组件的集中开发与管理，也有利于数据中台数据处理任务的协调与调度。数据处理框架专门负责数据处理相关的任务，包括批处理、流处理、人工智能（Artificial Intelligence，AI）分析、数据清洗、数据交换及查询，此外数据处理的相关工具组件可在处理框架中配置。任务调度模块在数据处理框架中处于居中指挥的作用，并对运行的数据处理任务进行监控及异常处理等操作。
2.4 数据治理框架
广义的数据治理不仅包含提升数据价值的内容，如数据管理、数据目录、数据质量等，也包含数据安全管理及数据共享服务。数据安全管理与数据价值提升是一个矛盾体，如果由一个厂商或开发团队进
行数据安全管理及数据价值提升相关软件的开发，则开发者的操作难免有所偏向，而且矛盾不容易公开，少了冲突也就少了优质的解决方案。另外，数据共享与数据治理的其他内容也存在相同的问题。因此，本文建议数据中台的数据治理框架中不包含数据安全与共享的相关内容。
数据治理框架包含数据目录、数据管理、模型管理和数据质量4个模块。数据地图、数据资产目录、知识图谱及数据血缘的主要作用是展示数据的属性及相互关系，因此都纳入数据目录模块。数据模型能提高数据中台对外部应用需求的反应能力，固化的中间模型数据需要专门管理。模型管理包括模型目录、模型血缘及模型地图等。数据管理又可以细分为元数据管理、主数据管理、标签数据管理及源数据管理。数据质量管理模块按照制定的数据标准及数据稽核规则对数据中台中的数据进行质 量管理。
2.5 数据安全框架
数据已经成为数据资产，数据安全框架是数据中台必不可少的组成部分。数据安全叠加在数据中台其他功能框架之上，数据采集、处理、交换、共享等每个环节均必须实施安全控制策略。安全框架可以分为日志管理、用户认证、权限管理及加解密等几个功能模块。此外，安全全门户也可以对外提供安全能力封装，展示数据中台的安全态势及安全视图。
2.6 数据运营框架
数据中台的核心功能是综合众多数据应用的数据处理及数据治理功能，集中建设、集中管理、减少冗余、增加复用。数据中台的最终目的还是为其他应用或开发者提供数据服务，而对外数据服务功能将直接面向不确定的外部对象。因此单独建设数据运营，一方面有利于针对外部用户提供针对性功能；另一方面，数据运营模块作为用户与数据中台核心数据服务之间的中间层，可以有效隔离外部用户直接控制、接触核心数据及应用，可保护数据中台的安全性及内部功能的稳定性。综合以上因素，数据运营应配置运营门户、能力开放、数据开放及运营监控等功能。
（1）运营门户：对数据中台管理者提供管理
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议