深入浅出 Zookeeper 中的 ZAB 协议

本文主要内容如下:

深入浅出 Zookeeper 中的 ZAB 协议

ZAB 协议的全称是 Zookeeper Atomic Broadcase,原子广播协议。

作用:通过这个 ZAB 协议可以进行集群间主备节点的数据同步,保证数据的一致性。

在讲解 ZAB 协议之前,我们必须要了解 Zookeeper 的各节点的角色。

Zookeeper 各节点的角色

Leader

Follower

Observer

和 Follower 一样,唯一不同的是,不参与 Leader 的选举,且状态为 OBSERING。

可以用来线性扩展读的 QPS。

启动阶段,如何选 Leader?

Zookeeper 刚启动的时候,多个节点需要找出一个 Leader。怎么找呢,就是用投票

比如集群中有两个节点,A 和 B,原理图如下所示:

深入浅出 Zookeeper 中的 ZAB 协议

这个时候节点 A 的投票信息为(2,0),如下图所示:

深入浅出 Zookeeper 中的 ZAB 协议

运行期间,Leader 宕机了怎么办?

在 Zookeeper 运行期间,Leader 会一直保持为 LEADING 状态,直到 Leader 宕机了,这个时候就要重新选 Leader,而选举过程和启动阶段的选举过程基本一致。

需要注意的点:

节点之间如何同步数据的?

不同的客户端可以分别连接到主节点或备用节点。

而客户端发送读写请求时是不知道自己连的是Leader 还是 Follower,如果客户端连的是主节点,发送了写请求,那么 Leader 执行 2PC(两阶段提交协议)同步给其他 Follower 和 Observer 就可以了。但是如果客户端连的是 Follower,发送了写请求,那么 Follower 会将写请求转发给 Leader,然后 Leader 再进行 2PC 同步数据给 Follower。

两阶段提交协议:

我们来看下 Leader 同步数据的流程:

深入浅出 Zookeeper 中的 ZAB 协议

接着我们看下 Follower 收到 Leader 发送的 proposal 事务请求后,怎么处理的:

深入浅出 Zookeeper 中的 ZAB 协议

现在 Leader 和 Follower 的数据都是在内存数据中的,且是一致的,客户端从 Leader 和 Follower 读到的数据都是一致的。

ZAB 的顺序一致性怎么做到的?

Leader 发送 proposal 时,其实会为每个 Follower 创建一个队列,都往各自的队列中发送 proposal。

如下图所示是 Zookeeper 的消息广播流程:

深入浅出 Zookeeper 中的 ZAB 协议

客户端发送了三条写事务请求,对应的 proposal 为

proposal01:zxid1
proposal02:zxid2
proposal03:zxid3

Leader 收到请求后,依次放到队列中,然后 Follower 依次从队列中获取请求,这样就保证了数据的顺序性。

Zookeeper 到底是不是强一致性?

官方定义:顺序一致性。

不保证强一致性,为什么呢?

因为 Leader 再发送 commit 消息给所有 Follower 和 Observer 后,它们并不是同时完成 commit 的。

比如因为网络原因,不同节点收到的 commit 较晚,那么提交的时间也较晚,就会出现多个节点的数据不一致,但是经过短暂的时间后,所有节点都 commit 后,数据就保持同步了

另外 Zookeeper 支持强一致性,就是手动调用 sync 方法来保证所有节点都 commit 才算成功。

这里有个问题:如果某个节点 commit 失败,那么 Leader 会进行重试吗?如何保证数据的一致性?欢迎讨论。

Leader 宕机数据丢失问题

第一种情况:假设 Leader 已经将消息写入了本地磁盘,但是还没有发送 proposal 给 Follower,这个时候 Leader 宕机了。

那就需要选新的 Leader,新 Leader 发送 proposal 的时候,包含的 zxid 自增规律会发生一次变化:

当老 Leader 恢复后,会转成 Follower,Leader 发送最新的 proposal 给它时,发现本地磁盘的 proposal 的 zxid 的高 32 位小于新 Leader 发送的 proposal,就丢弃自己的 proposal。

第二种情况:如果 Leader 成功发送了 commit 消息给 Follower,但是所有或者部分 Follower 还没来得及 commit 这个 proposal,也就是加载磁盘中的 proposal 到 内存中,这个时候 Leader 宕机了。

那么就需要选出磁盘日志中 zxid 最大的 Follower,如果 zxid 相同,则比较节点 id,节点 id 大的作为 Leader。

原文链接:https://mp.weixin.qq.com/s/PtbenxM1vzUdtPLLsA9J7w

展开阅读全文

页面更新:2024-04-25

标签:协议   队列   深入浅出   节点   磁盘   客户端   状态   事务   消息   数据   信息

1 2 3 4 5

上滑加载更多 ↓
推荐阅读:
友情链接:
更多:

本站资料均由网友自行发布提供,仅用于学习交流。如有版权问题,请与我联系,QQ:4156828  

© CopyRight 2008-2024 All Rights Reserved. Powered By bs178.com 闽ICP备11008920号-3
闽公网安备35020302034844号

Top