DT时代，“数据架构师”这样的⾓⾊起到越来越重要的作⽤。能⼒越⼤责任也就越⼤，因此对于这个⾓⾊也有了越来越⾼的要求。那到底对于数据架构师有什么要求呢？对于想成为数据架构师的同学职业⽅向需要如何做合理的规划呢？ 本⽂从云计算和⼤数据的基础设施，到数据的构建、管理、分析，再到对业务的深刻理解以及通过数据实现业务价值，浅谈⾃⼰对于数据架构师技能和素养认识。 云计算基建
传统的IT架构已存在⼏⼗年，随着企业业务的快速发展，对于业务的可⽤性要求越来越⾼，对于成本的压⼒也越来⼤。是否存在⼀种⽅式能以更低成本、更⾼性能和可⽤性的⽅式⽀持新时代的企业信息化要求？
cfl
部分互联⽹公司由于⾃⾝业务快速发展的原因，做了⼤量尝试。阿⾥巴巴率先发起的“去IOE运动”：将IBM机器替换成云上服务器，将ORACLE数据库替换成云上数据库，将EMC存储替换成云上存储服务器。带来的不仅仅是成本的降低，同时也提供了更加稳定、安全的环境。云计算公司也迎来的⼀轮新的⼤发展，在国内早期就开始持续坚持投⼊云计算技术的“阿⾥云”在此轮云计算⼤潮中独领鳌头，成为亚洲乃⾄世界的领头⽺。国际上，亚马逊的云计算业务也在公司中占据了举⾜轻重的地位。云计算作为信息时代的⽔、电、煤已成为⾏业共识。随着云计算的兴起，企业全⾯上云的拐点已到。作为⼀名合格的数据架构师，对云计算基础设施需要有充分的理解。
⾸先，相较于传统的服务器，架构师需要了解云上是如何实现稳定、弹性、安全、成本、易⽤、扩展的云上服务器的。还包括如何实现物理资源的虚拟化，如何通过弹性伸缩从容⾯对业务的峰⾕，如何通过多地域多可⽤区实现容灾等。另外，数据架构师需要能评估服务器所需资源类型，通过技术调研和论证，得出所需要的服务器的资源，例如⾯对不同的业务和技术场景，企业需要的是紧凑型、通⽤型、均衡型、内存型、独享型哪种类型的服务器。
其次，⽹络同样也是数据架构师必须掌握的基础知识，如何设计安全的⽹络机制、如何规划合理的⽹络配置、如何进⾏可靠的⽹络连接（包括不同虚拟⽹络之间以及与客户本地IDC进⾏连接⽅式等），都是数据架构师在⼯作中会遇到的各种挑战。
足球黑哨
最后，数据架构师需要了解各种云上数据库（包括关系型数据库、NoSQL数据库等）的应⽤场景、产品特性等。以及如何保障其可靠性，安全性、可⽤性、扩展性、成本。另外还有对象存储产品的特性，如何对视频、图⽚等数据进⾏有效的管理。如何通过CDN等⼿段提⾼⽤户访问响应速度。
⼤数据基建
对时网⼤数据借着云计算的东风，也开始在信息时代发挥越来越重要的地位。借着阿⾥云在云计算领域的领先优势，阿⾥巴巴提出的数据中台的概念和实践，也在云上落地开花。⾯对体量巨⼤、时效要求⾼、形式多样化、价值密度低的企业⼤数据，对于数据架构师，需要在采集、计算、存储等基础技术的原
理和应⽤场景形成⾃⼰的知识体系。
⾸先，数据架构师需要了解业界通⽤的PC端和⽆线端采集、爬⾍采集等场景的具体⽅案。理解从埋点申请、可视化埋点实施、验证、发布到监控的全⽣命周期管理。
其次，对于离线计算和实时计算的模式和原理，以及对应场景的离线计算和实时计算的产品都应该熟悉掌握，在洞察客户需求后，能合理的做计算模式的选择和判断。
最后，⼤数据在存储上与业务系统有场景和⽬标上的本质区别，需要理解如HDFS的⼤数据存储原理、MPP架构的原理和常⽤场景、消息中间件⽤于实时计算的⽅式等。
数据构建
如果数据是杂乱⽆章，未经标准化和体系化建设的，那么就像⼀个⽆⼈管理的垃圾堆，⼤家都是避⽽远之，更不要说能从其中挖掘出什么有价值的东西了。因此数据架构师很重要的职责就是思考如何对数据做合理有效的构建，形成标准、统⼀、可公⽤、可理解的公共数据，让业务能够尽情在建设好的数据上驰骋沙场，利⽤数据创造出业务价值。
⾸先，好的数据体系能够对数据进⾏有效的横向分层，合理的纵向分类。通过数据体系的构建，能够让数据⽣产者更合理⾼效的组织数据，数据消费者能更有效的理解和获取所需数据，数据管理者能更⾼效的管理好数据。因此数据架构师需要能从全局上对数据体系有个整体上长远的规划。
广西劳动力市场
其次，数据需要能够被更好的组织和使⽤还需要有合理的数据建模⽅法论的⽀撑，例如基于维度建模的数据构建⽅式能够让数据以事实表和维度表的⽅式的⽅式向上提供数据服务，并且预先通过基于分析对象的汇总数据能够提供统⼀标准的业务指标定义。数据架构师需要有理解业务、抽象实体、形成模型的知识体系，并且在遇到问题时能从合理性、可扩展性、易⽤性、可理解性等各种⾓度给出模型设计的合理解决⽅案。
最后，数据从业务系统或者其它渠道采集上来了之后，需要做统⼀的数据加⼯处理，就是我们常说的ETL加⼯过程。就算数据架构师不需要做代码开发，可是这个能⼒是对数据架构师最基本的要求，只有充分理解了数据加⼯的整个过程，才能基于数据的思维去设计好数据体系。在碰到项⽬开发同学遇到数据处理问题时，能够及时提供有效的帮助，对于建⽴项⽬中的信任关系也起到了关键的作⽤。
数据管理
想象⼀下，如果⼀个城市的清洁⼯全部罢⼯了，那么整个城市⼀定是垃圾成堆。同样，如果数据不去做有效的管理，数据最终也将变得杂乱不堪。
如果所有的数据管理都是基于⼀堆规章制度，是很难保证数据管理的持续性和有效性的，在数据治理中⼀个重要的概念就是元数据，元数据是关于数据的数据，数据架构师需要了解在在数据项⽬中有哪些技术元数据和业务元数据，为后续基于元数据驱动数据治理起到关键作⽤，同时元数据也是帮助业务理解数据的关键。
数据质量是数据能被信任的关键，也是数据中台建设能否成功的关键。因此数据架构师需要设计事前、事中和事后的数据质量检测和处理机制，保证数据在完整性、准确性、及时性、⼀致性上满⾜业务的要求。
数据架构师还需要保证数据治理能够形成有效的闭环，从发现治理问题、推送给责任⼈、引导治理动作、治理效果评估、到下⼀次进⾏新的治理问题发现，根本上杜绝数据“有⼈⽣、没⼈养”的困局。就像环境治理⼀样，只有基于体系化的长效机制才能还我们绿⽔青⼭。
数据是⼀把双刃剑，因为它在给业务带来价值的同时，数据安全的问题是另⼀把可致企业于死地的利剑。数据架构师要对数据安全规划做在最前头，从数据产⽣到消亡全⽣命周期进⾏安全制度和流程的规划，同时需要通过如差分隐私、保序脱敏等各种技术⼿段保障数据安全。
数据只有让业务充分使⽤才能产⽣价值，因此⾸先数据架构师需要思考如何提⾼数据的易⽤性，包括从数据的业务视⾓组织形式、数据标准⼝径的定义⽅式、基于元数据帮助业务理解数据等⽅式。再次，数据是有成本的，因此需要能够更好的衡量数据带来的价值，形成数据资产ROI，再配合相应的数据运营⼿段，才能让数据资产化和价值化互相促进发展，相爱相⽣。
数据应⽤
数据架构师需要能够让数据更好的服务业务，但是应抛弃疲于奔命于各种跑数取数的深渊中，需要能跳出⼀个个单点的需求，能更全⾯的思考如何主动服务业务。蓝宝石4850
⾸先，数据架构师需要有很强的业务理解能⼒，对客户的业务能基于⾏业视⾓有清晰的理解，并且能基于理解做进⼀步的抽象，抽象出业务的本质。
网络家庭其次，数据架构师能从业务⽅的需求、对业务和数据的理解沉淀出⼀系列的分析思路。也需要能通过算法结合数据，思考如何进⾏数据的深度挖掘，挖掘出⾼价值数据。最终能将思路和⽅法通过产品化的⽅式沉淀，主动服务业务，与业务共创数据价值。
最后，数据的本质是为了赋能商业、创造商业，因此数据架构师需要有⼀定的商业思维，能理解数据如何使商业更加智能，如何驱动商业的发展，如何创造新的商业形态。
总结
技术到业务，⽅法论到产品化，全局规划到细节把控，数据架构师需要在⼤数据的⽅⽅⾯⾯都承担起重要的作⽤。更重要的是，需要有对⼤数据⾏业未来的信⼼、对职业发展⽅向的恒⼼、对漫长落地过程的耐⼼、对赋能商业的热⼼。
私以为，理想的数据架构师就像道德经⾥所描述的那样：
“上善若⽔。⽔善利万物⽽不争，处众⼈之所恶，故⼏于道。居善地，⼼善渊，与善仁，⾔善信，正善治，事善能，动善时。夫唯不争，故⽆尤。”
耐得住寂寞，让业务先赢。愿每个数据架构师都能成为⽼⼦所推崇的⽔。
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议