当前位置: 首页 > news >正文

【分布式系统中的“瑞士军刀”_ Zookeeper】一、Zookeeper 快速入门和核心概念

        在分布式系统的复杂世界里,协调与同步是确保系统稳定运行的关键所在。Zookeeper 作为分布式协调服务的 “瑞士军刀”,为众多分布式项目提供了高效、可靠的协调解决方案。无论是在分布式锁的实现、配置管理,还是在服务注册与发现等场景中,Zookeeper 都发挥着不可或缺的作用。

一、Zookeeper 的安装与配置​

1.1 环境准备​

在 CentOS 7 系统中安装 Zookeeper,首先需要确保系统中已安装 Java 运行环境(JRE),因为 Zookeeper 是基于 Java 开发的。可以通过以下命令检查 Java 是否已安装:

java -version

 如果系统提示 “command not found”,则需要安装 Java。这里以安装 OpenJDK 为例,执行以下命令进行安装:

sudo yum install -y java-1.8.0-openjdk

安装完成后,再次执行上述 java -version命令,应能看到 Java 的版本信息,表明 Java 安装成功。

1.2 下载与解压 Zookeeper​

访问 Apache Zookeeper 的官方下载页面(Index of /dist/zookeeper),选择合适的版本进行下载。这里以 Zookeeper 3.8.0 版本为例,在 CentOS 7 系统中打开终端,执行以下命令下载 Zookeeper 安装包:

wget https://archive.apache.org/dist/zookeeper/zookeeper-3.8.0/apache-zookeeper-3.8.0-bin.tar.gz

下载完成后,使用以下命令解压安装包:

tar -zxvf apache-zookeeper-3.8.0-bin.tar.gz

解压后会得到一个名为apache-zookeeper-3.8.0-bin的目录,将其移动到合适的位置,例如/usr/local/目录下:

sudo mv apache-zookeeper-3.8.0-bin /usr/local/zookeeper

1.3 配置文件修改​

进入 Zookeeper 的配置目录:

cd /usr/local/zookeeper/conf

Zookeeper 的主要配置文件是zoo.cfg,该文件默认没有示例文件,需要将zoo_sample.cfg复制一份并重命名为zoo.cfg:

cp zoo_sample.cfg zoo.cfg

使用文本编辑器(如vi或nano)打开zoo.cfg文件进行配置修改:

vi zoo.cfg

以下是zoo.cfg文件中一些重要配置项的说明和修改示例:​

        tickTime:Zookeeper 中最小时间单元,以毫秒为单位。它用于控制心跳、选举等操作的时间间隔。默认值为 2000 毫秒,一般无需修改:

tickTime=2000

        dataDir:Zookeeper 存储数据的目录,包括事务日志和快照数据。需要指定一个存在且有写入权限的目录,这里设置为/var/lib/zookeeper:

dataDir=/var/lib/zookeeper

创建该目录并设置权限:

sudo mkdir -p /var/lib/zookeeper
sudo chown -R $(whoami):$(whoami) /var/lib/zookeeper

        clientPort:Zookeeper 服务器监听客户端连接的端口,默认值为 2181。如果没有端口冲突,一般保持默认即可:

clientPort=2181

        initLimit:Follower 与 Leader 建立连接时,Leader 等待 Follower 完成初始同步的最大心跳数。默认值为 10,根据实际情况可适当调整:

initLimit=10

        syncLimit:Follower 与 Leader 进行数据同步时,Leader 等待 Follower 同步完成的最大心跳数。默认值为 5,同样可根据实际情况调整:

syncLimit=5

配置完成后,保存并退出zoo.cfg文件。

二、Zookeeper 核心概念解析​

2.1 ZNode(节点)​

ZNode 是 Zookeeper 数据模型的基础,类似于文件系统中的文件和目录。在 Zookeeper 中,所有数据都存储在树形结构的 ZNode 节点中。每个 ZNode 节点都有一个唯一的路径标识,例如/myapp/config。​

ZNode 节点可以存储数据,数据大小有限制,一般不超过 1MB(具体限制可参考 Zookeeper 的配置)。同时,ZNode 节点有不同的类型,主要包括:​

  • 持久节点(Persistent):一旦创建,除非主动删除,否则一直存在于 Zookeeper 中。常用于存储固定的配置信息等。​
  • 临时节点(Ephemeral):与客户端会话绑定,当客户端会话结束(如连接断开),对应的临时节点会自动删除。常用于标识临时的任务或状态,例如在分布式任务调度中,工作节点可以创建临时节点来表示自己正在执行任务。​
  • 顺序节点(Sequential):无论是持久节点还是临时节点,都可以设置为顺序节点。顺序节点在创建时,Zookeeper 会自动为其路径添加一个递增的序号。例如,在创建/myapp/task-的顺序节点时,可能会生成/myapp/task-0000000001这样的节点路径。顺序节点常用于实现分布式锁、选举等功能。​

可以使用 Zookeeper 的命令行工具来操作 ZNode 节点。启动 Zookeeper 服务:

/usr/local/zookeeper/bin/zkServer.sh start

然后使用以下命令连接到 Zookeeper 服务器:

/usr/local/zookeeper/bin/zkCli.sh -server localhost:2181

连接成功后,可以使用以下命令进行 ZNode 节点的操作:​

        创建节点:创建一个持久节点/test,并存储数据hello world:

create /test "hello world"

        创建一个临时节点:/test/ephemeral:

create -e /test/ephemeral "temp data"

        创建一个顺序节点:/test/sequential-:

create -s /test/sequential- "seq data"

        查看节点:查看/test节点的数据:

get /test

        查看/test节点下的子节点

ls /test

        删除节点:删除/test/ephemeral节点:

delete /test/ephemeral

        删除/test节点及其所有子节点(如果/test节点有子节点,普通delete命令会报错,需要使用rmr命令):

rmr /test

2.2 Session(会话)​

Session 是客户端与 Zookeeper 服务器之间建立的连接会话。当客户端启动并连接到 Zookeeper 服务器时,会创建一个唯一的会话 ID。会话有一个超时时间,在超时时间内,如果客户端与服务器之间没有任何交互(如发送请求、接收响应等),则会话会过期,与之关联的临时节点也会被删除。​

在zoo.cfg文件中,可以通过sessionTimeout参数来设置会话超时时间(单位为毫秒),默认值为tickTime的 2 倍到 20 倍之间。例如,设置会话超时时间为 6000 毫秒:

1、# 虽然配置文件中没有直接的sessionTimeout配置项,但可通过以下方式间接设置

2、# 这里假设tickTime=2000,实际超时时间会在4000 - 40000毫秒之间,可通过客户端参数调整

3、# 客户端连接时可使用 -sessionTimeout 参数指定具体超时时间,如:

4、# zkCli.sh -server localhost:2181 -sessionTimeout 6000

当客户端与 Zookeeper 服务器建立会话后,可以通过一些操作来保持会话的活性,例如定期发送心跳请求。在 Zookeeper 的 Java 客户端中,会自动处理会话的心跳和重连逻辑,以保证会话的稳定性。 

2.3 Watcher(监听器)​

Watcher 是 Zookeeper 提供的一种事件通知机制。客户端可以为指定的 ZNode 节点设置监听器,当该节点的数据发生变化(如数据更新、节点删除)或子节点发生变化(如子节点创建、删除)时,Zookeeper 会向注册了该节点监听器的客户端发送通知。​

在命令行工具中,可以通过get和ls命令设置监听器。例如,为/test节点设置数据变化监听器:

get /test watch

此时,如果其他客户端对/test节点的数据进行修改:

set /test "new data"

设置监听器的客户端会收到类似以下的通知:

WATCHER::WatchedEvent state:SyncConnected type:NodeDataChanged path:/test

在 Java 客户端中,通过实现Watcher接口来处理事件通知。以下是一个简单的 Java 代码示例,展示如何设置监听器并处理事件:

import org.apache.zookeeper.KeeperException;
import org.apache.zookeeper.WatchedEvent;
import org.apache.zookeeper.Watcher;
import org.apache.zookeeper.ZooKeeper;import java.io.IOException;public class ZookeeperWatcherExample {private static final String ZOOKEEPER_SERVER = "localhost:2181";private static final String NODE_PATH = "/test";public static void main(String[] args) throws IOException, KeeperException, InterruptedException {ZooKeeper zk = new ZooKeeper(ZOOKEEPER_SERVER, 5000, new Watcher() {@Overridepublic void process(WatchedEvent event) {if (event.getType() == Event.EventType.NodeDataChanged && event.getPath().equals(NODE_PATH)) {try {byte[] data = zk.getData(NODE_PATH, true, null);System.out.println("Node data changed, new data: " + new String(data));} catch (KeeperException | InterruptedException e) {e.printStackTrace();}}}});// 读取节点数据并设置监听器zk.getData(NODE_PATH, true, null);// 保持程序运行,以便接收事件通知Thread.sleep(Long.MAX_VALUE);}
}

2.4 Leader - Follower 模式​

Zookeeper 集群采用 Leader - Follower 模式来保证数据的一致性和系统的高可用性。在集群中,节点分为 Leader 和 Follower 两种角色:​

  • Leader:负责处理所有的写请求,并将数据变更同步到 Follower 节点。同时,Leader 还负责协调元数据操作,如选举过程的管理等。​
  • Follower:主要负责处理读请求,并从 Leader 节点同步数据,以保持与 Leader 节点的数据一致性。​

当 Zookeeper 集群启动或 Leader 节点出现故障时,会触发选举机制来选出新的 Leader。选举过程基于 Zookeeper 的 ZXID(事务 ID)和节点 ID 等因素,确保选出的 Leader 是具有最新数据的节点。​

可以通过以下命令查看 Zookeeper 节点的角色状态:

/usr/local/zookeeper/bin/zkServer.sh status

在正常运行的集群中,会显示某个节点为Leader,其他节点为Follower:

Mode: leader  # 或 Mode: follower

相关文章:

  • 利用TTP协议 ETag + 路由守卫 实现前端发版后通知用户更新得一个方案
  • ​升级Ubuntu 20.04 LTS到22.04 LTS​
  • websheet之 编辑器
  • 开发体育直播系统内容与用户管理机制技术实现方案
  • 【玩泰山派】7、玩linux桌面环境xfce - (4)使用gstreamer
  • 3.4 Spring Boot异常处理
  • 酷狗音乐安卓版K歌功能与音效优化体验测评
  • 基于vue框架的电信用户业务管理系统的设计与实现8ly70(程序+源码+数据库+调试部署+开发环境)带论文文档1万字以上,文末可获取,系统界面在最后面。
  • 容器化实现基于的技术
  • C++----模拟实现string
  • 《Java编程思想》读书笔记:第十章 内部类
  • IMX675-AAQR-C 索尼图像传感器 属于索尼 Starvis 2 系列,主打 高灵敏度、低噪声,适用于工业检测、安防监控、机器视觉等场景 提供数据手册
  • 从零开始学Python游戏编程40-碰撞处理2
  • fps项目总结:生成武器子弹丧尸攻击
  • pyinstaller打包paddleocr发生错误解决
  • 【5】GD32 基础通信外设:USART、I2C、SPI
  • 正则表达式三剑客之——awk命令
  • OCR(Optical Character Recognition),光学字符识别
  • 使用 Python 项目管理工具 uv 快速创建 MCP 服务(Cherry Studio、Trae 添加 MCP 服务)
  • 通道降维方式
  • 铁线礁、牛轭礁珊瑚礁“体检”报告首次发布,专家:菲非法活动产生胁迫性影响
  • 2025年度人大立法工作计划将公布:研究启动法律清理工作
  • 中国铝业首季“开门红”:净利润超35亿元,同比增加近六成
  • 3岁男童疑遭父亲虐待,杭州警方:在异地发生,嫌疑人已被抓
  • 全球84%的珊瑚礁已遭受白化事件影响
  • 生态环境部谈拿手持式仪器到海边测辐射:不能测量水中放射性核素含量