1范围
本标准规定了大数据工程师的定义、职业技能等级、职业基本要求和工作要求。
本标准适用于从事大数据工程师的培训与认定。
2职业概况
2.1职业名称
大数据工程师。
2.2职业定义
本标准所涉及的大数据工程师是指从事大数据相关工作的技术人员。包括但不限于从事大数据采集、清洗、存储、挖掘、建模、分析等，并加以开发、利用、管理、维护和服务的相关工作的技术人员。 3职业技能等级
本职业共设三个等级，由低到高可分为：大数据初级工程师、大数据中级工程师、大数据高级工程师。
4基本条件
4.1职业环境条件
符合从业人员所处的客观工作环境。
4.2职业能力特征
逻辑思维能力、跨界思维能力、编程能力、算法设计能力、数据分析能力、综合应用知识能力、沟通
协调能力、团队合作能力、持续学习和创新能力。
4.3普通受教育程度
高中毕业及以上（或同等学力）。
5职业技能鉴定要求
5.1申报条件
5.1.1具备以下条件之一者，可申报初级工程师：
—
—累计从事本职业或相关职业工作 1 年(含)以上；
——取得技工学校、职业学校本专业或相关专业毕业证书（含尚未取得毕业证书的在校应届毕业生）；
或取得经评估论证、以中级技能为培养目标的其他学校本专业或相关专业毕业证书（含尚未取得毕业证书的在校应届毕业生）；
——高等院校本专业或相关专业在校生。
5.1.2具备以下条件之一者，可申报中级工程师:
——取得本职业或相关职业初级工职业资格证书 (技能等级证书)后，累计从事本职业或相关职业工作 3 年(含)以上；
——取得本职业或相关职业初级工程师职业资格证书 (技能等级证书) 并具有高级技工学校、技师学院、职业学校毕业证书 (含尚未取得毕业证书的在校应届毕业生)；或取得本职业或相关职业初级工职业资格证书 (技能等级证书)并具有经评估论证、以高级技能为培养目标的其他学校本专业或相关专业毕业证书 (含尚未取得毕业证书的在校应届毕业生)，累计从事本职业或相关职业工作 3 年(含)以上；
—
—具有大学专科本专业或相关专业毕业证书，并取得本职业或相关职业三级/初级工职业资格证书 (技能等级证书) 后，累计从事本职业或相关职业工作 3 年(含)以上；
——具有大学本科本专业或相关专业学历证书，并取得本职业或相关职业三级/初级工职业资格证书 (技能等级证书)后，累计从事本职业或相关职业工作 2 年(含)以上；
——具有硕士及以上本专业或相关专业学历证书（含尚未取得毕业证书的在校应届毕业生）。
5.1.3具备以下条件之一者，可申报高级工程师:
零号片
——取得本职业或相关职业中级工职业资格证书 (技能等级证书)后，累计从事本职业或相关职业工作 1 年(含)以上；
——取得本职业或相关职业中级工职业资格证书 (技能等级证书) 的高级技工学校、技师学院毕业生累计从事本职业或相关职业工作 3 年(含)以上或取得本职业或相关职业预备技师证书的技师学
院毕业生累计从事本职业或相关职业工作 2 年(含)以上；
——具有大学本科本专业或相关专业学历证书，并取得本职业或相关职业中级工职业资格证书 (技能等级证书)后，累计从事本职业或相关职业工作 3 年(含)以上；
——具有硕士本专业或相关专业学历证书，并取得本职业或相关职业中级工职业资格证书 (技能等级证书) 后，累计从事本职业或相关职业工作 1 年(含)以上；
——具有博士本专业或相关专业学历证书。
5.2鉴定方式
分为理论知识考试和技能操作考核，理论知识考试和技能操作考核均采用闭卷考试的方式，技能操作考核采用上机操作形式。高级工程师还须进行综合评审（能力展示与答辩）。 所有考试科目均实行百分制，成绩均达到60分(含)以上者为合格。
5.3监考人员、考评人员与考生配比
理论知识考试和技能操作考核的监考人员与考生配比不低于1:15，且每个考场不少于2名监考人员，综合评审委员为3人(含)以上单数。
5.4鉴定时间
理论知识考试时间150分钟，技能操作考核时间120分钟，综合评审时间30分钟。
5.5鉴定场所设备
标准教室或具备相应条件的会议室，室内配备必要的照明设备、计算机、投影仪等多媒体设备，室
内卫生，光线良好，通风条件良好。
6基本要求
6.1职业道德
大数据工程师的职业道德应应包括但不限于以下要求：
——诚实守信，遵纪守法；
——严格遵守国家信息和数据安全各项法律法规及相关单位的各项制度，增强数据道德意识与警惕意识；
——树立正确的“大数据主权观与责权观”，坚决抵制利用数据与大数据技术进行危害国家安全、经济环境与公民权益的各类非法活动；
——自觉维护大数据产业各方的正当利益和合法权益。保守用户数据隐私与商业秘密；
——不利用用户隐私数据从事任何与向用户作出的承诺无关的活动。
6.2基础知识
数学、统计学、计算机编程语言、软件工程、数据库、计算机网络技术、算法分析与设计、数据安全、机器学习与数据挖掘。
7能力要求
本标准对大数据初级工程师、大数据中级工程师和大数据高级工程师的技能要求和相关知识要求依次递进，高级别涵盖低级别的要求。
7.1大数据初级工程师
7.1.1大数据开发要求
7.1.1.1具备开展大数据应用开发环境安装与部署的能力
——掌握操作系统基础知识及常用操作命令。
7.1.1.2具备数据采集与清洗的能力
——能够安装部署并运行主流大数据平台；
药学学报——能够使用数据采集工具对多源异构数据进行采集；
——能够使用数据清洗工具对数据进行抽取、转换和加载。
7.1.1.3具备数据存储、计算与交换的能力
——能够将采集的数据按业务需求进行存储；
——能够使用主流分布式工具对数据进行计算；
——能够将大数据平台中的数据同多种数据库进行交换。
7.1.2大数据运维要求
7.1.2.1具备平台基础设施管理的能力
——能够掌握分片、主从、管理节点、工作节点等集基础知识；
—
—能够搭建大数据集的硬件环境，包括服务器、网络设备等；
——能够安装大数据的基础软件，包括操作系统、大数据平台等；
——能够对大数据集中的网络环境、软硬件环境参数进行配置。
7.1.2.2具备平台基础服务管理的能力
——能够安装大数据自动化运维、监控、故障处理工具软件；
——能够使用集监控工具，监控大数据平台运行情况并进行日常巡检；
——能够通过监控平台的警告及日志信息，进行故障识别及软硬件修复。
7.1.3数据分析要求
7.1.3.1具备需求分析及数据提取的能力
——能够通过客户调研访谈等方式确定业务需求；
——能够根据需求，利用数据提取工具获取适当的数据。
《艋舺》
7.1.3.2具备数据处理及可视化展示的能力
——能够按照最终输出报告的要求对现有数据进行处理；
——能够使用数据可视化工具，选择适当的统计分析方法对数据进行可视化展示，并形成报告；
——能够准确清晰的在报告中体现出数据结果。
7.1.4大数据治理要求
应具备数据安全治理的能力包括但不限于以下要求：
——能够了解数据安全相关政策法规、标准规范；
——能够了解数据加解密、4A 系统、DLP（数据防泄漏）、数据脱敏、数字水印等数据治理内容，以及数据安全审计技术：包括日志审计、网络流量分析；
——能够了解大数据安全运营的主要内容，如数据分级管理、数据输出安全审核、数据平台权限管理及优化等；
——能够了解数据安全的主要风险与防护手段以及密码学技术体系知识。
7.2大数据中级工程师
7.2.1大数据开发要求
7.2.1.1具备项目规划与过程管理的能力
能够参与大数据项目的全生命周期，包括设计、开发、测试、部署和交付等。
7.2.1.2具备数据采集与清洗的能力
弥凝
——能够梳理业务数据，并根据数据特征制定采集策略，参与采集系统的开发和维护；
——能够根据数据清洗规范，设计数据接口及数据模型，并实现数据清洗流程；
——能够掌握分布式文件系统知识，根据业务数据规模进行分布式存储结构选型及实现。
7.2.1.3具备数据计算与应用开发的能力
——能够掌握主流分布式算法知识，如 MapReduce；
——能够掌握主流流式计算框架，如 Spark、Storm 等；
—
—能够对海量数据的计算架构进行技术选型；
——能够对数据的搜索、查询、分析应用进行设计与编码实现。
7.2.2大数据挖掘要求
7.2.2.1具备数据提取及预处理的能力
——能够利用编程语言如 SQL（结构化查询语言）、R 语言等从数据平台中提取所需数据；
——能够利用专用工具软件从数据平台中提取所需数据；
——能够根据业务需求将数据分发到预置的计算平台中并进行预处理。
7.2.2.2具备数据挖掘实现的能力
——能够掌握主流的机器学习算法及其原理；
——能够掌握主流的分布式计算框架并熟悉其使用；
——能够掌握主流流式计算框架并熟悉其使用；
—
—能够熟练使用至少一种开发语言进行代码编写；
——能够根据业务需求进行建模，评估模型效果并进行针对性的优化。
7.2.2.3具备数据可视化的能力
能够利用可视化工具对挖掘结果进行展现及说明。
7.2.3大数据运维要求
7.2.3.1具备大数据平台运维规划与设计的能力
能够根据业务场景预测工作负载，设计集环境的软硬件方案。
7.2.3.2具备大数据平台监控管理的能力
——能够维护或运维大型线上系统，设计及搭建监控系统；
——能够对大数据平台软硬件资源的工作状态进行监控；
——能够对大数据监控平台的预警、故障及问题进行定位、分析和解决；
—
—能够将维护日志、故障、问题记录等形成运维报告。
7.2.3.3具备大数据平台性能优化的能力
能够对运维报告进行分析，根据分析结果对软硬件环境及运维工作机制进行调优。
7.2.4数据分析要求
7.2.4.1具备需求分析及数据提取的能力
能够根据业务需求，指导并实现数据的提取及处理。
7.2.4.2具备数据建模及结果展示的能力
——能够根据业务需求进行建模；
——能够选择适当的方法、工具或编程语言输出可视化结果，并形成报告；
养护机械
——能够准确清晰的体现分析结果，并对产生结果的原因进行分析。北城居
7.2.5大数据治理要求
7.2.5.1备数据安全治理的能力
——能够熟知主流 Web 安全技术（SQL 注入、XSS、CSRF 等），能够实际动手对 Web 网站进行漏洞扫描、渗透测试、社会工程学等 Web 安全渗透测试和评估工作；
——能够了解渗透测试、攻防对抗、应急响应等网络攻防等实际案例，能够熟练使用各类扫描工具、弱口令探测工具、嗅探工具、Web 系统渗透工具、后门检测工具；
——能够参与数据安全的日常维护和管理工作，包括数据安全事件的监控与应急响应、合规审计与调查分析与追踪；挖掘深层次潜藏的安全事件；
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议