阿里云服务器上单机部署大数据开发环境(hadoop2.6-cdh5.8.0系列)_百...

阿⾥云服务器上单机部署⼤数据开发环境（hadoop2.6-cdh5.8.0系列）

概述

牧草收割机之前在阿⾥云买的学⽣版服务器，闲着也是浪费，为了平常学习使⽤，决定在⼀台服务器上搭建⼀个伪分布式的开发环境。之前⽤三台虚拟机部署过集，时间长了怕忘，现在升级各个版本重新部署，记下来⽅便以后查看。难免出现错误，欢迎指出，共同学习交流。

⼀、准备好需要⽤到的软件

1.ssh软件：

xshell5 xftp

2.使⽤cloudrea cdh5.8.0系列，

hadoop-2.6.0-cdh5.8.

hbase-1.2.0-cdh5.8.

hive-1.1.0-cdh5.8.

zookeeper-3.4.5-cdh5.8.

spark-2.2.（spark到官⽹选择hadoop2.6版本）

apache-maven-3.5.

kafka_2.11-0.10.

scala-2.

3.系统选择

镜像：

苯甲酸乙酯的制备直接选择了已经部署好jdk1.8，tomcat和mysql的系统，后期⽅便使⽤

4.web服务页⾯

hdfs hostname:50070

yarn hostname:8088

hbase hostname:60010

5.配置好环境变量

⼆、基本配置

1.远程登录

进⼊控制台，⽣成密钥对，需要重启服务器后才⽣效。阿⾥云好像默认禁⽌使⽤密码远程登录，做如下配置即可密码登录。

该问题通常是由于 SSH 服务修改了 PasswordAuthentication 参数，禁⽤了密码验证登录所致。

将 /etc/ssh/sshd_config中的如下⾏注释掉。

然后重启ssh服务就可以通过密码远程登录

systemctl restart sshd

2.添加新⽤户及ssh免密登录

1.创建⽤户 hadoop

adduser hadoop

2.修改密码

passwd hadoop

3.为hadoop添加免密切换到root⽤户权限

vi /etc/sudoers

添加⼀⾏

hadoop ALL=(root)NOPASSWD:ALL

4.关闭防⽕墙

systemctl stop firewalld

systemctl disable firewalld(关闭开启启动)

5.为hadoop⽤户添加ssh免密登录

(进⼊⽤户家⽬录)

cd ~

（⽣成密钥，之后⼀路回车）

ssh-keygen-t rsa

（进⼊.ssh⽬录）

cd ~/.ssh

（将本机公钥添加到authorized_key中）

ssh-copy-id主机名

注意：

1.⽤户的家⽬录权限不能太低，只能700，否则⽆法配置免密登陆3.配置java环境变量

vi /etc/profile

export JAVA_HOME=/jdk

export PATH=$PATH:$JAVA_HOME/bin

四、hadoop和yarn部署

1.在家⽬录创建hdfs存储数据的⽬录

1.cd /home/hadoop

2.mkdir hdfs

2.将上⾯要⽤到的所有软件全部解压到/opt⽬录

tar -xzvf /software /opt

3.配置

<-site

1.cd /opt/hadoop-

2.6.0-cdh5.8.0/etc/hadoop

2.l

<name&p.dir</name>

<value>file:/home/hadoop/hdfs</value> #开始创建好的⽬录

</property>

<name>fs.defaultFS</name>

<value>hdfs://hostname:9000</value>

</property>

</configuration>

1.l

<name&plication</name> #数据存放的副本数

社交游戏制作

</property>

<name>dfs.namenode.name.dir</name>

<value>file:/home/hadoop/hdfs/name</value> #namenode数据⽬录

</property>

<name>dfs.datanode.data.dir</name>

<value>file:/home/hadoop/hdfs/data</value> #datanode数据⽬录

</property>

</configuration>

3.hadoop-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_111

4.slaves

hostname #datanode节点主机名

4.hdfs格式化及启动

1.格式化hdfs

bin/hdfs namenode -format

2.启动namenode和datanode进程

sbin/start-dfs.sh

3.查看进程

jps

DataNode

NameNode

SecondaryNameNode

注意：tokyo hot n0808

1.如果启动时报如下错，见上⾯基本配置1

5.yarn配置

<name&demanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

</configuration>

<name>mapreduce.framework.name</name>

</property>

</configuration>

6.启动yarn

sbin/start-yarn.sh

查看进程：

jps

ResourceManager

NodeManager

五、zookeeper部署

1、配置

1.cd /opt/zookeeper-3.4.5-cdh5.8.0

2.创建数据存放⽬录 zkData

mkdir /opt/zookeeper-3.4.5-cdh5.8.0/zkData

创建myid⽂件，输⼊数字1后保存

touch myid

3.创建⽇志⽬录

mkdir /opt/zookeeper-3.4.5-cdh5.8.0/logs

4.进⼊conf⽬录，将plate⽂件名改为zoo.cfg，编辑zoo.cfg

vi zoo.cfg

tickTime=2000#⼼跳时间，最⼩会话超时时间是tickTime的两倍

dataDir=/opt/zookeeper-3.4.5-cdh5.8.0/zkData

clientPort=2181#监听客户端连接端⼝

5.编辑⽇志⽬录iphd

vi log4j.properties

zookeeper.log.dir=/opt/zookeeper-3.4.5-cdh5.8.0/logs

2、启动

1、启动

bin/zkServer.sh start

2、查看当前节点状态

bin/zkServer.sh status

陶瓷灯座

3.连接zookeeper客户端

bin/zkClish -server hostname:2181

六、hbase部署

1.配置

cd /opt/hbase-1.2.0-cdh5.8.0/conf

<name>hbase.cluster.distributed</name> #由于我⽤的是独⽴的zookeeper，所以需要设置为true <value>true</value>

</property>

<name&dir</name>

<value>hdfs://hostname:9000/hbase</value>

</property>

<name&keeper.property.clientPort</name>

</property>

<name&keeper.quorum</name> #zookeeper节点的主机名

<value>hostname</value>

</property>

</configuration>

本文发布于:2024-09-22 00:59:17，感谢您对本站的认可！

本文链接：https://www.17tex.com/tex/1/290708.html

上一篇：磁盘阵列三种架构DAS、NAS、SAN基础知识

下一篇：前端项目部署上线工作流程(虚拟机模拟,服务器同理)

标签：配置登录数据部署需要服务器密码查看

留言与评论（共有 0 条评论）