案例分享(九):Hadoop分布式集群部署(三节点)
案例分享(九):Hadoop分布式集群部署(三节点)
- 一、集群规划
- 各服务功能介绍
- 二、下载Hadoop包
- 三、部署准备
- 部署JDK和配置SSH免密跳过(这一步一定不能少!)
- 配置环境变量
- 四、集群部署步骤
- 配置权限
- 修改配置文件
- 五、同步目录到其它节点
- 六、初始化与启动
- 七、结果图
- 八、部署脑图
一、集群规划
节点名称 | 服务 |
---|---|
mcm01(主节点) | NameNode DataNode NodeManager |
mcm02 | DataNode ResourceManager Nodemanager |
mcm03 | SecondaryNamenode DataNode NodeManager |
各服务功能介绍
- NameNode的功能:
- 管理文件系统命名空间:维护 HDFS 中文件和目录的元数据(如文件名称、块列表、权限等)。
- 处理客户端请求:响应客户端的文件操作请求,如打开、重命名、删除文件等。
- DataNode的功能:
- 存储实际数据块:负责存储 HDFS 中的数据块,并执行数据块的读写操作。
- 报告存储状态:定期向 NameNode 报告其存储的数据块信息。
- NodeManager的功能: