【分布式系统中的“瑞士军刀”_ Zookeeper】一、Zookeeper 快速入门和核心概念
在分布式系统的复杂世界里,协调与同步是确保系统稳定运行的关键所在。Zookeeper 作为分布式协调服务的 “瑞士军刀”,为众多分布式项目提供了高效、可靠的协调解决方案。无论是在分布式锁的实现、配置管理,还是在服务注册与发现等场景中,Zookeeper 都发挥着不可或缺的作用。
一、Zookeeper 的安装与配置
1.1 环境准备
在 CentOS 7 系统中安装 Zookeeper,首先需要确保系统中已安装 Java 运行环境(JRE),因为 Zookeeper 是基于 Java 开发的。可以通过以下命令检查 Java 是否已安装:
java -version
如果系统提示 “command not found”,则需要安装 Java。这里以安装 OpenJDK 为例,执行以下命令进行安装:
sudo yum install -y java-1.8.0-openjdk
安装完成后,再次执行上述 java -version命令,应能看到 Java 的版本信息,表明 Java 安装成功。
1.2 下载与解压 Zookeeper
访问 Apache Zookeeper 的官方下载页面(Index of /dist/zookeeper),选择合适的版本进行下载。这里以 Zookeeper 3.8.0 版本为例,在 CentOS 7 系统中打开终端,执行以下命令下载 Zookeeper 安装包:
wget https://archive.apache.org/dist/zookeeper/zookeeper-3.8.0/apache-zookeeper-3.8.0-bin.tar.gz
下载完成后,使用以下命令解压安装包:
tar -zxvf apache-zookeeper-3.8.0-bin.tar.gz
解压后会得到一个名为apache-zookeeper-3.8.0-bin的目录,将其移动到合适的位置,例如/usr/local/目录下:
sudo mv apache-zookeeper-3.8.0-bin /usr/local/zookeeper
1.3 配置文件修改
进入 Zookeeper 的配置目录:
cd /usr/local/zookeeper/conf
Zookeeper 的主要配置文件是zoo.cfg,该文件默认没有示例文件,需要将zoo_sample.cfg复制一份并重命名为zoo.cfg:
cp zoo_sample.cfg zoo.cfg
使用文本编辑器(如vi或nano)打开zoo.cfg文件进行配置修改:
vi zoo.cfg
以下是zoo.cfg文件中一些重要配置项的说明和修改示例:
tickTime:Zookeeper 中最小时间单元,以毫秒为单位。它用于控制心跳、选举等操作的时间间隔。默认值为 2000 毫秒,一般无需修改:
tickTime=2000
dataDir:Zookeeper 存储数据的目录,包括事务日志和快照数据。需要指定一个存在且有写入权限的目录,这里设置为/var/lib/zookeeper:
dataDir=/var/lib/zookeeper
创建该目录并设置权限:
sudo mkdir -p /var/lib/zookeeper
sudo chown -R $(whoami):$(whoami) /var/lib/zookeeper
clientPort:Zookeeper 服务器监听客户端连接的端口,默认值为 2181。如果没有端口冲突,一般保持默认即可:
clientPort=2181
initLimit:Follower 与 Leader 建立连接时,Leader 等待 Follower 完成初始同步的最大心跳数。默认值为 10,根据实际情况可适当调整:
initLimit=10
syncLimit:Follower 与 Leader 进行数据同步时,Leader 等待 Follower 同步完成的最大心跳数。默认值为 5,同样可根据实际情况调整:
syncLimit=5
配置完成后,保存并退出zoo.cfg文件。
二、Zookeeper 核心概念解析
2.1 ZNode(节点)
ZNode 是 Zookeeper 数据模型的基础,类似于文件系统中的文件和目录。在 Zookeeper 中,所有数据都存储在树形结构的 ZNode 节点中。每个 ZNode 节点都有一个唯一的路径标识,例如/myapp/config。
ZNode 节点可以存储数据,数据大小有限制,一般不超过 1MB(具体限制可参考 Zookeeper 的配置)。同时,ZNode 节点有不同的类型,主要包括:
- 持久节点(Persistent):一旦创建,除非主动删除,否则一直存在于 Zookeeper 中。常用于存储固定的配置信息等。
- 临时节点(Ephemeral):与客户端会话绑定,当客户端会话结束(如连接断开),对应的临时节点会自动删除。常用于标识临时的任务或状态,例如在分布式任务调度中,工作节点可以创建临时节点来表示自己正在执行任务。
- 顺序节点(Sequential):无论是持久节点还是临时节点,都可以设置为顺序节点。顺序节点在创建时,Zookeeper 会自动为其路径添加一个递增的序号。例如,在创建/myapp/task-的顺序节点时,可能会生成/myapp/task-0000000001这样的节点路径。顺序节点常用于实现分布式锁、选举等功能。
可以使用 Zookeeper 的命令行工具来操作 ZNode 节点。启动 Zookeeper 服务:
/usr/local/zookeeper/bin/zkServer.sh start
然后使用以下命令连接到 Zookeeper 服务器:
/usr/local/zookeeper/bin/zkCli.sh -server localhost:2181
连接成功后,可以使用以下命令进行 ZNode 节点的操作:
创建节点:创建一个持久节点/test,并存储数据hello world:
create /test "hello world"
创建一个临时节点:/test/ephemeral:
create -e /test/ephemeral "temp data"
创建一个顺序节点:/test/sequential-:
create -s /test/sequential- "seq data"
查看节点:查看/test节点的数据:
get /test
查看/test节点下的子节点:
ls /test
删除节点:删除/test/ephemeral节点:
delete /test/ephemeral
删除/test节点及其所有子节点(如果/test节点有子节点,普通delete命令会报错,需要使用rmr命令):
rmr /test
2.2 Session(会话)
Session 是客户端与 Zookeeper 服务器之间建立的连接会话。当客户端启动并连接到 Zookeeper 服务器时,会创建一个唯一的会话 ID。会话有一个超时时间,在超时时间内,如果客户端与服务器之间没有任何交互(如发送请求、接收响应等),则会话会过期,与之关联的临时节点也会被删除。
在zoo.cfg文件中,可以通过sessionTimeout参数来设置会话超时时间(单位为毫秒),默认值为tickTime的 2 倍到 20 倍之间。例如,设置会话超时时间为 6000 毫秒:
1、# 虽然配置文件中没有直接的sessionTimeout配置项,但可通过以下方式间接设置
2、# 这里假设tickTime=2000,实际超时时间会在4000 - 40000毫秒之间,可通过客户端参数调整
3、# 客户端连接时可使用 -sessionTimeout 参数指定具体超时时间,如:
4、# zkCli.sh -server localhost:2181 -sessionTimeout 6000
当客户端与 Zookeeper 服务器建立会话后,可以通过一些操作来保持会话的活性,例如定期发送心跳请求。在 Zookeeper 的 Java 客户端中,会自动处理会话的心跳和重连逻辑,以保证会话的稳定性。
2.3 Watcher(监听器)
Watcher 是 Zookeeper 提供的一种事件通知机制。客户端可以为指定的 ZNode 节点设置监听器,当该节点的数据发生变化(如数据更新、节点删除)或子节点发生变化(如子节点创建、删除)时,Zookeeper 会向注册了该节点监听器的客户端发送通知。
在命令行工具中,可以通过get和ls命令设置监听器。例如,为/test节点设置数据变化监听器:
get /test watch
此时,如果其他客户端对/test节点的数据进行修改:
set /test "new data"
设置监听器的客户端会收到类似以下的通知:
WATCHER::WatchedEvent state:SyncConnected type:NodeDataChanged path:/test
在 Java 客户端中,通过实现Watcher接口来处理事件通知。以下是一个简单的 Java 代码示例,展示如何设置监听器并处理事件:
import org.apache.zookeeper.KeeperException;
import org.apache.zookeeper.WatchedEvent;
import org.apache.zookeeper.Watcher;
import org.apache.zookeeper.ZooKeeper;import java.io.IOException;public class ZookeeperWatcherExample {private static final String ZOOKEEPER_SERVER = "localhost:2181";private static final String NODE_PATH = "/test";public static void main(String[] args) throws IOException, KeeperException, InterruptedException {ZooKeeper zk = new ZooKeeper(ZOOKEEPER_SERVER, 5000, new Watcher() {@Overridepublic void process(WatchedEvent event) {if (event.getType() == Event.EventType.NodeDataChanged && event.getPath().equals(NODE_PATH)) {try {byte[] data = zk.getData(NODE_PATH, true, null);System.out.println("Node data changed, new data: " + new String(data));} catch (KeeperException | InterruptedException e) {e.printStackTrace();}}}});// 读取节点数据并设置监听器zk.getData(NODE_PATH, true, null);// 保持程序运行,以便接收事件通知Thread.sleep(Long.MAX_VALUE);}
}
2.4 Leader - Follower 模式
Zookeeper 集群采用 Leader - Follower 模式来保证数据的一致性和系统的高可用性。在集群中,节点分为 Leader 和 Follower 两种角色:
- Leader:负责处理所有的写请求,并将数据变更同步到 Follower 节点。同时,Leader 还负责协调元数据操作,如选举过程的管理等。
- Follower:主要负责处理读请求,并从 Leader 节点同步数据,以保持与 Leader 节点的数据一致性。
当 Zookeeper 集群启动或 Leader 节点出现故障时,会触发选举机制来选出新的 Leader。选举过程基于 Zookeeper 的 ZXID(事务 ID)和节点 ID 等因素,确保选出的 Leader 是具有最新数据的节点。
可以通过以下命令查看 Zookeeper 节点的角色状态:
/usr/local/zookeeper/bin/zkServer.sh status
在正常运行的集群中,会显示某个节点为Leader,其他节点为Follower:
Mode: leader # 或 Mode: follower