Hadoop----高可用搭建

什么是高可用？

通过冗余设计 + 自动恢复机制，显著降低因单点故障导致的服务中断概率（如NameNode停机从小时级恢复缩短至分钟级），使系统具备“高持续服务能力”

⭐搭建的步骤

①安装好jdk并配置好环境变量

②安装好zookeeper并完成zookeeper的集群设置，且成功启动
（成功启动的意思为，可以显示出哪台机子为leader，哪台机子为follower）

③安装好Hadoop，配置好环境变量，完成Hadoop的高可用配置

一.jdk安装配置

- 要点:

解压命令
tar -rf … …
配置环境变量并启用

配置内容为

启用为
source /etc/profile

二.zookeeper集群配置

且看前文《zookeeper----初步了解与安装》

- 要点

①关闭集群虚拟机的防火墙
②myid的配置与zoo.cfg内的编号要完全对应
③zoo.cfg内的编号配置的符号
防火墙的关闭

三.Hadoop高可用的搭建

- 要点

①环境变量的配置

（配置好后，记得source）

②配置文件的修改

• 文件的位置
  Hadoop中的 etc/hadoop/内

⭐四个文件+workers+hadoop-env.sh

⭐workers为虚拟机名字根据自身名字加入

文件一

• core-site.xml
  

文件二

• hdfs-site.xml
  

文件三

• mapred-site.xml
  

文件四

• yarn-site.xml
  

③内容分发

将一台机子配置好的hadoop分发给集群其他虚拟机
scp -r 文件 虚拟机名:位置

以及环境变量分发

（先确保集群内每台机子的jdk都拥有，且设置好了环境变量）

④集群任务的初次启动

⭐注:除了zookeeper打开关闭命令，在zookeeper中执行，其他都在hadoop内执行

1. 启动初期，先将虚拟机的zookeeper集群打开
   bin/zkServer.sh start

2. 将集群每一台的journalnode初始化开启
   bin/hdfs --daemon start journalnode

3. 只在任意一台机子进行namenode初始化且开启（查看是否初始化正确）

初始化命令
bin/hdfs namenode - format

开启命令
bin/hdfs --daemon start namenode

4. 将namenode信息同步给另外两台机
   命令如上图（两种方式）

5. 将所有启动的进程关闭以及zookeeper集群

6. 重启zookeeper集群

7. 在任意一台虚拟机初始化zkfc
bin/hdfs zkfc -formatZK

8. 启动hdfs以及yarn进程
   （最好在初始化namenode的虚拟机上执行）
   命令如上图

⭐注意
要想关闭某个进程或zookeeper集群

将start换成stop即可