写在最前
这⾥是⼤数据处理技术的 ，学校使⽤的是“”平台。（我已经不想吐槽了）
开始的⼏章很简单，所以没有写
其中有⼏章题⽬，仅仅需要ctrl+c ctrl+v即可，只是操作步骤⿇烦⼀下，所以也没有写。
HBase的安装与简单操作
第⼀关：单机版安装
mkdir /app
cd /opt
tar -zxvf hbase-2.1. -C /app
衬套vim /app/hbase-2.1.1/conf/hbase-env.sh
# 在末尾添加 export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_111
vim /app/hbase-2.1.1/l
替换原有的configuration标签
<configuration>
<property>
<name&dir</name>
<value>file:///root/data/hbase/data</value>
</property>
<property>
<name&keeper.property.dataDir</name>
<value>/root/data/hbase/zookeeper</value>
</property>
<property>
<name>hbase.unsafe.force</name>
<value>false</value>
</property>
</configuration>
vim /etc/profile
# 在末尾追加如下内容
#SET HBASE_enviroment
HBASE_HOME=/app/hbase-2.1.1
export PATH=$PATH:$HBASE_HOME/bin
source /etc/profile
第三关
put 'mytable','row1','data:1','zhangsan'
put 'mytable','row2','data:2','zhangsanfeng'
put 'mytable','row3','data:3','zhangwuji'
第⼀关：伪分布式环境搭建
先按照 《HBase的安装与简单第⼀关配置好单机》，傻⼦平台。vim /app/hbase-2.1.1/l
<!-- 替换configuration整体 -->
<configuration>
<property>
<name&dir</name>
<value>hdfs://localhost:9000/hbase</value>
</property>
<property>
<name&keeper.property.dataDir</name>
<value>/root/data/hbase/zookeeper</value>
</property>
<property>控制器外壳
<name>hbase.unsafe.force</name>
<value>true</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
</configuration>
# 启动hadoop和hbase
start-all.sh
start-hbase.sh
# 查看进程
jps
# 在hdfs中验证
hadoop fs -ls /hbase探头板
ZooKeeper⼊门-初体验
第⼀关 ZooKeeper初体验
tar -zxvf zookeepre-3.4. /opt/zookeeper-3.4.12
cd /opt/zookeeper-3.4.12/conf
mv zoo_sample.cfg zoo.cfg
zkServer.sh start
# zkServer.sh stop
第2关：ZooKeeper配置
vim /opt/zookeeper-3.4.12/conf/zoo.cfg
把 “# maxClientCnxns=60 ”
改为
maxClientCnxns=100
第3关：Client连接及状态
zkServer.sh stop
vim /opt/zookeeper-3.4.12/conf/zoo.cfg
clientPort=2182
<!-- 添加preAllocSize=300 -->
preAllocSize=300
乳腺疏通精油vim /opt/zookeeper-3.4.12/bin/zkEnv.sh
<!-- 修改第56⾏为 -->
ZOO_LOG_DIR="/opt/zookeeper-3.4.12"
zkServer.sh start
zkCli.sh -server 127.0.0.1:2182
ZooKeeper之分布式环境搭建
第1关：仲裁模式与伪分布式环境搭建
vim /opt/zookeeper-3.4.12/conf/zoo.cfg
修改默认。 修改zoo.cfg
这节有个智障操作，这⾥不吐槽了。按着步骤⾛吧。<!-- zookeeper-3.4.12的zoo.cfg --> <!-- 修改 -->
clientPort=2181
dataDir=/opt/zookeeper-3.4.12/tmp/data
<!-- 末尾追加 -->
server.1=127.0.0.1:2888:3888
server.2=127.0.0.1:2889:3889
server.3=127.0.0.1:2890:3890
mkdir -p /opt/zookeeper-3.4.12/tmp/data/
echo1> /opt/zookeeper-3.4.12/tmp/data/myid
cat /opt/zookeeper-3.4.12/tmp/data/myid
复制三个新节点出来
# 智障系统。您搁着我⽃志⽃勇呢呀
cp -r /opt/zookeeper-3.4.12/ /opt/zookeeper-3.4.12-01 cp -r /opt/zookeeper-3.4.12/ /opt/zookeeper-3.4.12-02 cp -r /opt/zookeeper-3.4.12/ /opt/zookeeper-3.4.12-03
第⼀个节点 修改zoo.cfg
vim /opt/zookeeper-3.4.12-01/conf/zoo.cfg
<!-- zookeeper-3.4.12-01的zoo.cfg -->
<!-- 仅修改这个就⾏ -->
dataDir=/opt/zookeeper-3.4.12-01/tmp/data
第⼆个节点 修改zoo.cfg
vim /opt/zookeeper-3.4.12-02/conf/zoo.cfg
<!-- zookeeper-3.4.12-02的zoo.cfg -->
<!-- 修改 -->
clientPort=2182
dataDir=/opt/zookeeper-3.4.12-02/tmp/data
第⼆个节点添加myid⽂件
echo2> /opt/zookeeper-3.4.12-02/tmp/data/myid
cat /opt/zookeeper-3.4.12-02/tmp/data/myid
第三个节点 修改zoo.cfg
vim /opt/zookeeper-3.4.12-03/conf/zoo.cfg
<!-- zookeeper-3.4.12-03的zoo.cfg -->
<!-- 修改 -->
dinch增塑剂clientPort=2183
dataDir=/opt/zookeeper-3.4.12-03/tmp/data
第三个节点添加myid⽂件
echo3> /opt/zookeeper-3.4.12-03/tmp/data/myid
cat /opt/zookeeper-3.4.12-03/tmp/data/myid
# 分别三个启动节点
/opt/zookeeper-3.4.12-01/bin/zkServer.sh start
/opt/zookeeper-3.4.12-02/bin/zkServer.sh start
/opt/zookeeper-3.4.12-03/bin/zkServer.sh start
第2关：伪分布式体验及分布式安装配置
智障平台，我重置了⼀次命令⾏，重新做了⼀遍才⾏。
zkCli.sh -server 127.0.0.1:2181,127.0.0.1:2182,127.0.0.1:2183
create /quorum_test "quorum_test"
quit
Flume⼊门
程序升温
第1关：Flume 简介
第⼀题
Source Channel Sink
第⼆题
名称 类型 属性集
第三题
可靠性 可恢复性
第2关：采集⽬录下所有新⽂件到Hdfs
start-dfs.sh
hadoop dfs -mkdir /flume
我不得不吐槽⼀下这个平台。
你说你资源不够你做什么平台嘛。
也是，我理解，随时启动⼀个hadoop确实很耗费资源，但你不能在启动脚本中再启动⼀次hadoop吗？ 你在这跟我捉迷藏呢？真就担⼼我到你哈？
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议