centos7安装ambari教程

centos7安装ambari教程
ambari版本:2.4.2 (不过各版本安装过程没啥差异)
⽬录:
1.
2.
3.
4.
5.
6.
1.
2.
3.
7.
8.
9. Ambari的升级
10.
为什么要⽤Ambari
Ambari 是 Apache Software Foundation 中的⼀个顶级项⽬。就 Ambari 的作⽤来说,就是创建、管理、监视 Hadoop 的整个⽣态圈产品(例如
Hive,Hbase,Sqoop,Zookeeper 等)。⽤⼀句话来说,Ambari 就是为了让 Hadoop 以及相关的⼤数据软件更容易使⽤的⼀个⼯具。
对于那些苦苦花费好⼏天去安装、调试 Hadoop 的初学者是最能体会到 Ambari 的⽅便之处的。⽽且,Ambari 现在所⽀持的平台组件也越来越多,例如流⾏的 Spark,Storm 等计算框架,以及资源调度平台 YARN 等,我们都能轻松地通过 Ambari 来进⾏部署。
概念概述
Stack :堆版本号⼀批Service的集合
Service:产品如Hive,HBase等
Module:Service中的⼀部分
Alert:警告
Host:节点可以理解为⼀个虚拟机
Ambari Agent:每个Host上的管理员
Ambari Server:通过与每个Agent保持通话,操控并了解所有信息(host、service等运⾏情况和资源状态)并提供GUI
View:ambari通过框架,允许第三⽅对组件进⾏扩展,如hdfs的⽬录管理等。⽬前⽀持Tez、Hive、Pig、Capacity Scheduler(YARN)、Files(HDFS)
版本情况
原理简介
Ambari ⾃⾝也是⼀个分布式架构的软件,主要由两部分组成:Ambari Server 和 Ambari Agent。简单来说,⽤户通过 Ambari Server 通知 Ambari Agent 安装对应的软件;Agent 会定时地发送各个机器每个软件模块的状态给 Ambari Server,最终这些状态信息会呈现在 Ambari 的 GUI,⽅便⽤户了解到集的各种状态,并进⾏相应的维护。
安装
安装须知:
所有操作都要使⽤root⽤户,且系统不要有其他⽤户,ssh的密钥也都是基于root⽤户的。否则会出现问题【Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password) 】电机支架
hostname都要使⽤FQDN格式,具体参照【配置】的第三步
所有节点都安装ntpd服务可参考
切记⼀定要从空机装起,尤其是以前搭过hadoop环境的。根管挫
(仅仅是使⽤)
ambari只能管理⼀个集
再次说明 ambari版本:2.4.2.0;操作系统:CentOS7
开始安装:
1. 在选定⼀个ambari版本并复制对应的repo地址(这个⽹页的内容加载很慢要耐⼼等)。我选的是
双活接球阀2.4.2 地址是s
3.amazonaws/public-repo-
1.hortonworks/ambari/centos7/
2.x/updates/2.4.2.po。
2. 使⽤wget下载到节点,或者下载到物理机后上传到节点
wget s3.amazonaws/public-repo-1.hortonworks/ambari/centos7/2.x/updates/2.4.2.po  #⽂件会下载到当前⽬录
3. 将po⽂件拷贝到 /pos.d/ ⽬录下
po /pos.d/
4. 获取该公共库的所有源⽂件列表
yum clean all
yum list|grep ambari
5. 开始安装server
yum install ambari-server
ambari-server --version  #查看版本
如果依赖项postgresql下载失败,需要⼿动下载安装;下载⼀个并安装就可以了
wget ftp://mirror.switch.ch/pool/4/mirror/scientificlinux/7.2/x86_64/updates/security/postgresql-libs-9.2.15-1.el7_2.x86_64.rpm;
rpm -ivh postgresql-libs-9.2.15-1.el7_2.x86_64.rpm
6. 安装完成后,开始进⾏配置(全部⽤默认项全程回车)。其中有⼀步需要指定⽤户账号,要记住使⽤root
ambari-server setup
7. 配置完成就可以启动了,然后就可以⽤8080端⼝访问管理页⾯了
ambari-server start
ambari-server status  #查看server启动情况
ambari-agent status  #查看agent启动情况这个创建集成功才能使⽤喇叭网罩
创建集:
创建集
存车牌安装成功后,就需要在WEBUI中创建集了。点击【Launch Install Wizard】
1.GetStarted 指定集名
2.Select Version 选择HDP版本。HDP版本对应的是⼀组⽣态组件的版本。根据⾃⼰需要的组件版本选择⼀个即可。我选择的是HDP-2.5
下⾯的内容,使⽤公共资源库即可(推荐把资源下载到本地,然后使⽤本地库。Public Repo的话需要很长时间)。【Skip ……】这个也不⽤选,进⼊下⼀步。
3.Install Options 安装配置。这⼀步要谨慎
Target Hosts要指定Hosts列表,这个hostname的格式必须是Fully Qualified Domain Name (FQDN),简单点说,必须是⼀个域名的格式,如下图所⽰。
这⾥输⼊的hostname必须与/etc/hosts⼀致。同时,每个节点的hostname与/etc/hosts中的设定也必须要⼀致。
Host Registration Information  这⾥要选择使⽤私钥,并上传作为Ambari的主机的私钥,当然也可以直接粘贴私钥的内容(建议使⽤⽂件,因为拷贝的内容会有格式问题) 注:id_dsa是私钥,id_dsa.pub 是公钥。UserAccount使⽤root 端⼝不⽤改
4.Confirm Hosts
从上⼀步过来后,在这⼀步会⾃动节点注册,并会显⽰进度及注册状况
可以点击①查看有哪些注册过程中缺少的内容
⼀般来讲这⾥最可能出现的就是时间没有同步(ntpd),以及THP的设置。
具体解决:
安装启动ntpd
yum -y install ntpd
ntpdate v
service ntpd start
chkconfig ntpd on
禁⽤THP(参考 )
echo never > /sys/kernel/mm/redhat_transparent_hugepage/enabled
5.Choose Services 选择集中需要安装的服务
有些服务是必须得,或者是被依赖的,如果没选的点击下⼀步的时候会有提⽰。
6.Assign Masters 给各节点组件分配资源,这个⾃⼰看着来就⾏
7.Assign Slaves and Clients  配置从节点和客户端。注意最后⼀列的Client指的是各种客户端,⽽不是某⼀种。
8.Customize Service 服务的⾃定义设置
这⼀步⾥⼤部分都可以使⽤默认项,少部分需要改动和设置,如Hive和Oozie需要指定数据库密码等
红⾊数字标志表⽰这⼀项有需要⼿动设置的内容。
此外,如果Hive和Oozie使⽤Mysql的话,还需要先安装MySql,然后创建hive,oozie⽤户并赋予权限,当然还有hive、oozie数据库
具体操作可参考
还要在ambari server通过以下命令设置驱动(如果没有执⾏这⼀句的话测试hive或oozie数据库连接时会出现错误coercing to Unicode: need string or buffer, NoneType found ) ambari-server setup --jdbc-db=mysql --jdbc-driver=[/path/to/mysql/mysql-connector-java.jar]
如果有不合适的参数,是⽆法进⼊下⼀步的,点击下⼀步的时候系统会提⽰需要改成的值。造纸废水处理工艺

本文发布于:2024-09-22 23:17:25,感谢您对本站的认可!

本文链接:https://www.17tex.com/tex/4/159178.html

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

标签:安装   需要   版本   节点   集群   内容
留言与评论(共有 0 条评论)
   
验证码:
Copyright ©2019-2024 Comsenz Inc.Powered by © 易纺专利技术学习网 豫ICP备2022007602号 豫公网安备41160202000603 站长QQ:729038198 关于我们 投诉建议