Hadoop分布式详细安装步骤
版本：0.20.2
准备工作：
由于Hadoop要求所有主机上hadoop的部署目录结构要相同，并且都有一个相同的用户名的帐户。二台机器上是这样的：都有一个coole的帐户，主目录是/home/coole 两台机器（内存应在512以上，否则可能会出现计算极度缓慢的情况）:
一台机器名：master IP:211.87.239.181
一台机器名：slave IP:211.87.239.182
每台都建coole用户
国际笔友
如果是ubuntu，为了便于用coole帐号修改系统设置和访问系统文件，推荐把coole也设为 sudoers（有 root 权限的用户），具体做法是用已有的 sudoer登录系统，执行 sudo visudo –f /etc/sudoers， 并在此文件中添加以下一行：
mapred ALL=(ALL) ALL
一、更改主机名：
1、修改/etc/sysconfig/network
NETWORKING=yes
HOSTNAME=yourname （在这修改hostname，把yourname换成你想用的名字）
NISDOMAIN=eng-cn.platform
修改后机器211.87.239.181中/etc/sysconfig/network文件内容为：
NETWORKING=yes
HOSTNAME=master
修改后机器211.87.239.182中/etc/sysconfig/network文件内容为：
NETWORKING=yes
HOSTNAME=slave
2、最后在终端下执行：
# hostname ***** （*****为修改后的hostname，即你想用的名字）
例如
#hostname master
特别提示：各处修改的名字要保持一致，否则会出现问题。
3、修改每台机器的/etc/hosts，保证每台机器间都可以通过机器名解析
配置etc/hosts文件，以 root 身份打开/etc/hosts文件。Master/slave做同样修改。内容如下（格式为:IP 主机名）（注意把127.0.0.1用#注释掉，不注释也行）：
# Do not remove the following line, or various programs
刚果埃博拉疫情>初四英语
# that require network functionality will fail.
#127.0.0.1 localhost.localdomain localhost
211.87.239.181 master
211.87.239.182 slave
二、实现无密码登录的SSH
准备工作：
由于 Hadoop 需要通过 ssh 服务在各个节点之间登录并运行服务，因此必须确保安装 Hadoop 的各个节点之间的网络畅通，网络畅通的标准是每台机器的主机名和IP 地址能够被所有机器正确解析（包括它自己） 。一个简单的测试方法是 PING 主机名。
例如：ping slave
如果 ping 不通，则需要更新主机上的主机名文件。具体做法是，以 root 身份打开/etc/hosts 文件（见步骤1.3）
ssh必须安装，且每次系统启动时 sshd 服务也必须自动启动。Ubuntu 用户可以用以下命令自动下载并安装：
$ sudo apt-get install ssh
$ sudo apt-get install rsync
其他Linux版本的用户可以到www.openssh/portable.html下载openssh并按
照相关说明安装；
1、coole用户登录master机器。
$执行：ssh-keygen -t rsa 一路回车（当提示要为密钥输入 passphrase时回车采用空密码）将在home/coole/.ssh下生成密钥id_rsa和公钥id_rsa.pub
id-rsa.pub可能内容：
ssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAIEAsCdZkkr4At9szhPIyGcwM/KfgITUZbA+Po
kP+zHULI+qYRPdjLXuqMEH/LFd9EjjsitBLuWHCVxX9SC+8ToY5/PFUjB1ZgnOopb5SS3QFJ84pgFXP/HR+9jWUl3LTOTGF5uCWLZfusRP8rV3wG88vpltAjBaUKhK+6bB4npjagc= coole@master
2、把公钥id_rsa.pub内容拷贝到authorized下
$cat /home/coole/.ssh/id_rsa.pub>>/home/coole/.ssh/authorized_keys
3、把authorized_keys复制到slave机器的/home/coole/.ss件夹下（先建好.ss件夹）
$scp authorized_keys coole@211.87.239.182:/home/hadoop/.ssh
说明：步骤2、3把公钥拷到所有节点的~/.ssh/authorized_keys这个文件中（包括自己本 身，保证ssh登录自己时也不需要密码），如果该文件已经存在则追加到这个文件中。
authorized_keys可能内容：
理论化学
ssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAIEAsCdZkkr4At9szhPIyGcwM/KfgITUZbA+PokP+zHULI+qYRPdjLXuqMEH/LFd9EjjsitBLuWHCVxX9SC+8ToY5/PFUjB1ZgnOopb5SS3QFJ84pgFXP/HR+9jWUl3LTOTGF5uCWLZfusRP8rV3wG88vpltAjBaUKhK+6bB4npjagc= coole@master
ssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAIEA1SU4S5ltdWBySgJMi1sxh1VX1a8KyFvzfxUwgsEX21aOvpO/S2ub8nOuN0he04llO1AbBE494JCR350fXYcq3G58P2JAZR1VwY0bFbnWBkvWeym+WNr+dM948x3h+T3xYZ/YFW+SqB31h4ClRfDMhgo/f0CA8MTOePRCM9witbc= coole@slave
4、设置文件夹权限
$chmod 750 hadoop
$chmod 750 .ssh
$chmod 644 authorized_keys （只有所有者对 authorized_keys 有读写权限，其他人不允许有写权限）
5、验证
如果配置正确，输出如下信息：
[root@master root]# ssh slave
The authenticity of host 'slave (211.87.239.182)' can't be established.
RSA key fingerprint is 01:f1:de:28:87:9f:60:3e:8a:cd:7d:f9:38:63:14:c8.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'slave,211.87.239.182' (RSA) to the list of known hosts.
root@slave's password:
Last login: Thu Nov 25 10:36:02 2010
[root@slave root]#
敲入 yes 并回车即可。此后在从 node1 向 node2 发起 ssh 连接时将不再需要输
入任何信息。
补充：当然在slave机器上也可以执行同样的内容，则slave就可以无密码访问msater了。
三、安装JDK
root用户登陆（其它用户登录似乎也行）
1.首先下载最新版jdk1.6, 名称为 jdk-6u2-linux-i586-rpm.bin
2.给所有的用户添加可执行的权限 chmod a+x jdk-6u2-linux-i586-rpm.bin
3./jdk-6u2-linux-i586-rpm.bin会生成文件jdk-6u2-linux-i586.rpm
4、安装程序 rpm -ivh jdk-6u2-linux-i586.rpm
5、设置环境变量，用gedit打开/etc/profile文件在文件未尾添加：
# set java and hadoop environment
export JAVA_HOME=/usr/java/jdk1.6.0_20
export JRE_HOME=/usr/java/jdk1.6.0_20/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$JAVA_HOME/lib:$JAVA_HOME/jre/bin:$PATH
export HADOOP_HOME=/home/coole/hadoop-0.20.2
mas-084export PATH=$PATH:$HADOOP_HOME/bin
6、验证：#echo ＄JAVA_HOME
#echo ＄CLASSPATH
#echo ＄PATH
四、配置Hadoop
coole用户登录
1、下载/
点页面中的common进入/common/
点Download进入/common/releases.html
再点Download进入/common/releases.html#Download
再点Download a release now进入/i/hadoop/core/
点ak/hadoop/core/ 进入ak/hadoop/core/
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议