声明：本⽂归属所有。@⼀⼨HUI
在上⼀篇⽂章中主要介绍了建设数据中台要建设哪些内容、建设的步骤以及建设过程中需要遵循⼀定的规范并符合公司的战略。也提及到了阿⾥巴巴数据中台的全景图，有了上⾯的基础，现在更能⽅便的理解数据中台的架构了。先来回顾下数据中台的概念。 数据中台是⼀套可持续“让企业的数据⽤起来”的机制，是⼀种战略选择和组织形式，是依据企业特有的业务模式和组织架构，通过有形的产品和实施⽅法论⽀撑，构建的⼀套持续不断把数据变成资产并服务于业务的机制。数据中台是处于业务前台和技术后台的中间层，是对业务提供的数据能⼒的抽象和共享的过程，数据中台通过将企业的数据变成数据资产，并提供数据能⼒组件和运⾏机制，形成聚合数据接⼊、集成、清洗加⼯、建模处理、挖掘分析，并以共享服务的⽅式将数据提供给业务端使⽤，从⽽与业务产⽣联动，⽽后结合业务系统的数据⽣产能⼒，最终构建数据⽣产>消费>再⽣的闭环，通过这样持续使⽤数据、产⽣智能、反哺业务从⽽实现数据变现的系统和机制。 四季养生论文数据中台功能定位
数据中台的功能定位是完成公司内部数据能⼒的抽象、共享和复⽤，因此，数据中台的架构必须围绕这
三个功能来设计。与传统的⼤数据平台不同，数据中台搭建于⼤数据平台及数据仓库之上，将⼤数据平台和数据仓库所实现的功能以通⽤数据能⼒的形式提供给企业的所有部门。因此，单从功能上来讲，⼤数据平台实现具体的数据能⼒，数据仓库是业务建模、数据治理发⽣的地⽅，⽽数据中台则需要把⼤数据平台、数据仓库的数据和接⼝组织起来，通过打通数据提升数据能⼒，通过共享提⾼全局使⽤效率。因此数据中台的架构设计应该考虑如何有效地完成抽象、共享和复⽤的功能。
数据中台的建设应该贯穿数据处理的全⽣命周期，即从原始数据到最后产⽣数据价值的整个流程，且整个流程都处于数据中台的管理之下。下图显⽰了从原始数据到实现数据价值的完整流程，其中每⼀步都是数据中台建设需要考虑的：数据发现/探索，数据采集/导⼊，数据建模/治理，数据转换/分析，数据发现/探索，数据采集/导⼊，数据建模/治理，数据转换/分析
邢台学院魏笑雨
数据中台要做的就是把上述流程在全局标准化、规范化，让这个流程产⽣的结果和能⼒能够在全局共享和复⽤。
数据中台的架构设计，其核⼼在于⽤全局统⼀的标准和规范来实现数据赋能，这与单⼀部门实现上述流程的侧重点是不同的。在数据中台的设计中，需要考虑如何灵活地⽀持数据能⼒的抽象，管理各种数据复⽤，确保它们都符合统⼀的数据规范和安全规则，同时⼜使各个部门能够独⽴演变属于⾃⼰的数据，⽽不需要进⾏复杂的多部门协调。数据中台应该能够⽀持各个部门在⼀个统⼀平台上完成上述流程中的所需功能，同时在发现有全局共享需要的时候，能够⽅便地将特定的数据能⼒共享给全公司，并且在后续的演变中不会因为协调的原因⽽拉长数据能⼒的演进过程。
数据中台架构设计原则
⾯向未来：应该能够很容易地将新出现的⼤数据、⼈⼯智能、机器学习应⽤和框架加⼊系统。新技术以前所未有的速度出现，如果数据中台不能快速适应变化，各部门可能很快就会⾃⼰另起炉灶，形成新的应⽤及数据孤岛。
需求驱动：数据中台的存在是为了更快、更好地满⾜业务部门的需求，因此其架构设计应该以如何快速处理需求为核⼼。
⾯向个体：系统的每个使⽤者⾯对的都是系统的⼀个⽅⾯，但是他们都应该能够从系统中获得他们需要的数据能⼒，⾃助完成他们的⽬标，达到最优的效率。
⾯向协作：考虑系统的每个使⽤者的⾏动如何影响整个系统的功能。个体⽤户对系统的使⽤会以⾃适应的⽅式影响整个系统的演进，例如，多个⽤户在有类似的数据能⼒需求时如何协同开发，我们的架构应该能清楚地掌握系统中核⼼元素之间的关系和连接。
经济研究导刊⾯向变化：对于系统中所有的元素（⽤户、数据、应⽤、资源），架构设计必须考虑其变化和⽣命周期。
容错能⼒：对于数据中台这样复杂的系统，我们必须假设所有组件都有可能失败或出错。系统必须具备极强的容错性以及在发⽣⼤多数错误时⾃动恢复的能⼒。
数据安全：数据越来越成为⼀个公司的核⼼价值，数据中台是公司数据处理和能⼒共享的核⼼组件，我们要假设所有的规则都有⼈违背，⼀定会有⼈试图违规访问数据。数据中台应该能让每个⽤户都放⼼使⽤系统，⽽不⽤担⼼会使系统意外崩溃。
不要重复造轮⼦：应该尽量避免重复开发系统功能组件，系统中的数据和能⼒要能⾼效安全地在各个部门之间共享。这意味着每个⽤户在使⽤数据中台的时候，都能够对系统中的可⽤数据和能⼒有个全局视图。
兼顾灵活性和易⽤性：作为数据中台，如果把所有组件都做得傻⽠化，虽然对于新⼿来说很容易上⼿，
但是在功能和效率上会有⼀定限制；如果提供很多灵活的选项，则新⼿可能就会淹没在复杂的系统配置中。必须在⼆者之间到⼀个⽐较好的平衡。
数据中台架构
要搭建⼀个企业级的数据中台，是⼀个及其庞⼤的⼀个⼯程，涉及到很多的⽅⾯，我们先看⼀个数据中台的架构图，当然数据中台的架构在每个企业都是不⼀样的，要结合⾃⼰公司的业务场景才是符合公司的数据中台架构，下图只是数据中台架构图的⼀个例⼦。
计算存储平台：为数据中台提供计算和存储，存储可以存储结构化，半结构化，⾮结构化数据，计算有实时计算、离线计算，交互式计算，图计算等
数据集成开发平台：数据集成开发平台能最⾼效地使⽤底层的组件和数据，提供从源数据到数据能⼒的转换。数据集成平台是数据中台数据接⼊的⼊⼝。数据中台本⾝⼏乎不产⽣数据，所有数据来⾃于业务系统、⽇志、⽂件、⽹络等，这些数据分散在不同的⽹络环境和存储平台中，难以利⽤，很难产⽣业务价值。数据集成是数据中台必须提供的核⼼⼯具，把各种异构⽹络、异构数据源的数据⽅便地采集到数据中台中进⾏集中存储，为后续的加⼯建模做准备。数据集成⽅式⼀般有数据库同步、埋点、⽹络爬⾍、消息队列等；从汇聚的时效性来分，有离线批量汇聚和实时采集，也有增量同步和全量同步。在数据集成的过程中⼀般会⽤到datax，flume，sqoop，canal等⼯具。一体化
数据基础能⼒平台：常⽤的⼤数据平台组件、数据仓库、数据湖的⼯具、ETL⼯具、数据可视化⼯具等。通过数据集成模块汇聚到中台的数据没有经过处理，基本是按照数据的原始状态堆砌在⼀起的，这样业务还是很难使⽤。数据开发是⼀整套数据加⼯以及加⼯过程管控的⼯具，有经验的数据开发、算法建模⼈员利⽤数据加⼯模块提供的功能，可以快速把数据加⼯成对业务有价值的形式，提供给业务使⽤。数据开发模块主要⾯向开发⼈员、分析⼈员，提供离线、实时、算法开发⼯具，以及任务的管理、代码发布、运维、监控、告警等⼀系列集成⼯具，⽅便使⽤，提升效率玉兔号在月面探测中有哪些科学发现
数据体系：有了数据集成、数据开发模块，中台已经具备传统数据仓库（后⾯简称：数仓）平台的基本能⼒，可以做数据的汇聚以及各种数据开发，就可以建⽴企业的数据体系。数据体系是中台的⾎⾁，开发、管理、使⽤的都是数据。⼤数据时代，数据量⼤，增长快，业务对数据的依赖也会越来越⾼，必须考虑数据的⼀致性和可复⽤性，垂直的、烟囱式的数据和数据服务的建设⽅式注定不能长久存在。不同的企业因业务不同导致数据不同，数据建设的内容也不同，但是建设⽅法可以相似，数据要统⼀建设，建议数据按照贴源数据、统⼀数仓、标签数据、应⽤数据的标准统⼀建设，数据体系建设最终呈现的结果是⼀套完整、规范、标准、准确的数据体系，可以⽅便⽀撑数据应⽤。
数据资产管理：通过数据体系建⽴起来的数据资产较为偏技术，业务⼈员⽐较难理解。资产管理是以企业全员更好理解的⽅式，把企业的数据资产展现给企业全员（当然要考虑权限和安全管控），数据资产管理包括对数据资产⽬录、元数据、数据质量、数据⾎缘、数据⽣命周期等进⾏管理和展⽰，以
⼀种更直观的⽅式展现企业的数据资产，提升企业的数据意识。
数据服务体系：前⾯利⽤数据集成、数据开发建设企业的数据资产，利⽤数据管理展现企业的数据资产，但是并没有发挥数据的价值。数据服务体系就是把数据变为⼀种服务能⼒，通过数据服务让数据参与到业务，激活整个数据中台，数据服务体系是数据中台存在的价值所在。企业的数据服务是千变万化的，中台产品可以带有⼀些标准服务，但是很难满⾜企业的服务诉求，⼤部分服务还是需要通过中台的能⼒快速定制。数据中台的服务模块并没有⾃带很多服务，⽽是提供快速的服务⽣成能⼒以及服务的管控、鉴权、计量等功能
运营体系和安全体系：通过前⾯的数据集成、数据开发、数据体系、数据资产管理、数据服务体系，已经完成了整个数据中台的搭建和建设，也已经在业务中发挥⼀定的价值。运营体系和安全管理是数据中台得以健康、持续运转的基础，如果没有它们，数据中台很可能像个⼀般项⽬⼀样，会在搭建起平台、建设部分数据、尝试⼀两个应⽤场景之后⽽⽌步，⽆法正常地持续运营，不能持续发挥数据的应⽤价值。这也就完全达不到建设数据中台的⽬标。数据安全管理是指对数据设定安全等级，按照相应国家/组织相关法案及监督要求，通过评估数据安全风险、制定数据安全管理制度规范、进⾏数据安全分级分类，完善数据安全管理相关技术规范，保证数据被合法合规、安全地采集、传输、存储和使⽤。企业通过数据安全管理，规划、开发和执⾏安全政策与措施，提供适当的⾝份以确认、授权、访问与审计等功能。数据的安全治理应贯穿于数据的整个⽣命周期。
参考：
《云原⽣数据中台：架构、⽅法论与实践》
《数据中台：让数据⽤起来》
附件：数据中台架构图，挺好的，⽅便以后参考，就存起来了，来源于
花谢旧金山
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议