首页 > 学术百科

Hadoop环境搭建及WordCount实验详解

⼀、实验内容

（1）Hadoop 环境搭建。

（2）Map-Reduce分布式编程。

⼆、实验步骤

1、集成环境搭建

（1）设置hostname（需要重新启动机器⽣效）

$ sudo vim /etc/hostname镍基合金

（2）设置静态IP地址

$ ifconfig

（3）记录集信息

机器名⽤户名密码 IP地址

master jyneo yj810904 192.168.50.188 slave1 jyneo yj810904 192.168.50.137 slave2 jyneo yj810904 192.168.50.138（4）配置IP地址和机器名的映射关系

$ sudo vim /etc/hosts（每台机器均需要配置）

蛋白水解酶2、设置⽆密钥登录

（1）建⽴ssh服务

在三台机器上都安装 openssh，建⽴ ssh 服务：

$ sudo apt-get install openssh-server

（2）设置⽆密钥登录

>>>>在各节点⽣成密钥：$ ssh-keygen

执⾏上⼀步命令后，会在 /home/jyneo/ ⽬录下⽣成.ssh ⽂件夹。

>>>>将各slave节点的 id_rsa.pub ⽂件集中⾄ master

>>>>在slave1机器上执⾏命令：$ scp /home/jyneo/.ssh/id_rsa.pub jyneo@192.168.50.188:~/.ssh/slave1.pub

>>>>在slave2机器上执⾏命令：$ scp /home/jyneo/.ssh/id_rsa.pub jyneo@192.168.50.188:~/.ssh/slave2.pub

杨氏模量数据处理>>>>将各节点的 id_rsa.pub 中的内容追加到 authorized_keys ⽂件中

在hadoop_master机器上执⾏命令：

$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

$ cat ~/.ssh/slave2.pub >> ~/.ssh/authorized_keys

>>>>将 authorized_keys ⽂件分发到各节点：

$ scp ~/.ssh/authorized_keys jyneo@192.168.50.137:~/.ssh/

$ scp ~/.ssh/authorized_keys jyneo@192.168.50.138:~/.ssh/

朱莉娅吉拉德

3、⼿动配置 JDK

>>>>将⽂件夹 jdk1.7.0_79 拷贝到各节点

$ scp –r jdk1.7.0_79 jyneo@slave1:~/Cloud/

$ scp –r jdk1.7.0_79 jyneo@slave2:~/Cloud/

>>>>修改 /etc/profile ⽂件，在该⽂件最后追加如下信息：

export JAVA_HOME=/home/jyneo/Cloud/jdk1.7.0_79

export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH

>>>>更新 profile ⽂件：$ source /etc/profile

4、搭建 Hadoop 环境

（1）下载Hadoop。

（2）解压缩：将下载的压缩包移动到⽬标⽂件夹，并解压。

$ cp~/Downloads/hadoop-2.6. ~/Cloud

$ tar –vzxfhadoop-2.6.

（3）配置⽂件、配置⽬录:

气浮垫

$ cd hadoop-2.6.0/etc/hadoop

hadoop-env.sh：

slaves：

>>>>将修改后的 Hadoop ⽂件分发到各节点

$auto_sync_simple.sh~/Cloud/hadoop-2.6.0 ~/Cloud（执⾏命令出错，这⾥我是直接拷贝到机器slave1和slave2上的）>>>>启动 Hadoop(在 master 节点执⾏)

$ cd hadoop-2.6.0

干热岩

$ bin/hdfs namenode –format

$ sbin/start-all.sh（./start-dfs.sh ./start-yarn.sh）

>>>>集监控界⾯：

本文发布于:2024-09-21 18:57:30，感谢您对本站的认可！

本文链接：https://www.17tex.com/xueshu/99564.html

上一篇：应用GMM的快速火焰检测

下一篇：Clap your hands中文韩文罗马文歌词

标签：机器搭建实验设置环境配置集群信息

留言与评论（共有 0 条评论）