版本：先电 Cloud-BigData-v2.1
发布日期：2017年02月21日
南京第五十五所技术开发有限公司
版本修订说明
修订版本 | 修订时间 | 修订说明 |
XD-BigData-v1.3 | 2015年10月28日 | |
XD-BigData-v1.3.1 | 2016年1月19日 | 增加GRE、VLAN网络的部署方法 |
XD-BigData-v1.4 | 2016年4月12日 | 为防止与Java Web中MapReduce开发混淆。删除hadoop案例开发 |
XD-BigData-v2.0 | 2016年11月1日 | 更新基于Ambari版本 2.2.2.0二次开发的hadoop平台 |
XD-BigData-v2.0.1 | 2016年12月30日 | 更新镜像中与perl版本不兼容问题的解决办法； |
XD-BigData-v2.0.2 | 2017年01月10日 | 升级系统版本为centos7，升级HDP版本至2.4。 |
XD-BigData-v2.0.3 | 2017年02月13日 | 更新软件包logo |
XD-BigData-v2.0.5 | 2017年02月21日 | 更新软件包logo，修改文档“8.2.2基于项目的协同过滤” 表格参数 |
XD-BigData-v2.1 | 2017年04月21日 | 更新用户手册 |
| | |
概述
1.1大数据简介
“大数据”是一个体量特别大，数据类别特别庞杂的数据集合，并且这样的数据集无法用传统数据库工具或常规软件工具抓取、管理和处理其内容。大数据技术是指从各种各样类型的庞杂数据中，快速的获取有价值的信息的能力。适用于大数据的技术包括大规模并行处理数据库，数据挖掘电网，分布式文件系统，分布式数据库，云计算平台和可扩展的存储系统。
Apache的Hadoop项目是可靠的、可扩展的、开源的、分布式计算软件。Apache的Hadoop软件库是允许通过相对简单的程序模型构建计算集为庞大的数据集进行分布式计算的框架。
Hadoop的设计思想可以将计算模式从单节点服务器扩展为数以千计的计算集，每一个单独的服务器都提供自主的本地计算及存储能力。
对于高可用指标而言，Hadoop软件库自身可以通过检测和故障调试从应用层来实现高可用而不需要关心硬件底层的高可用性。所以提供一个计算集上层的高可用服务对于集故障修复而言就显得至关重要。
1.2先电大数据平台简介
先电大数据平台是基于Ambari进行二次开发的Hadoop分布式集配置管理工具，该平台通过安装向导来进行集的搭建，简化了集供应。同时，他还有一个监控组件，叫做Ambari-Metrics，可以提前配置好关键的运维指标（metrics），然后收集集的中服务、主机等运行状态等信息，通过WEB的方式显示出来。我们可以直接查看Hadoop Core（HDFS和MapReduce）及相关项目（如HBase、Hive和HCatalog）是否健康。它的用户界面非常直观，用户可以轻松有效地查看信息并控制集。
先电大数据平台支持作业与任务执行的可视化与分析，能够更好地查看依赖和性能。通过一个完整的RESTful API把监控信息暴露出来，集成了现有的运维工具。平台使用Ganglia收集度量指标，用Nagios支持系统报警。
图1.1 Ambari结构图
其中Ambari是一个分布式架构的软件，主要由两部分组成：Ambari Server 和 Ambari Agent，如图1-1所示。Ambari Server 会读取 Stack 和 Service 的配置文件。当用 Ambari 创建集的时候，Ambari Server 传送 Stack 和 Service 的配置文件以及 Service 生命周期的控制脚本到 Ambari Agent。Agent 拿到配置文件后，会下载安装公共源里软件包（Redhat，就是使用 yum 服务）。安装完成后，Ambari Server 会通知 Agent 去启动 Service。之后 Ambari Server 会定期发送命令到 Agent 检查 Service 的状态，Agent 上报给 Server，并呈现在 Ambari 的 GUI 上，方便用户了解到集的各种状态，并进行相应的维护。
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议