kafka中的 AR OSR ISR HW 和 LEO
所属分类 kafka
浏览量 1310
分区
副本 Replica
leader follower
某集群 3个broker
某个主题中3个分区 副本因子(副本个数) 3
每个分区 1个leader副本 + 2个follower副本
生产者和消费者只与leader副本进行交互,follower副本只负责消息的同步
Consumer 使用拉(Pull)模式从服务端拉取消息,并保存消费的具体位置
AR Assigned Replicas
ISR In-Sync Replicas 保持同步的副本
OSR Out-of-Sync Replicas 同步滞后过多的副本
AR=ISR+OSR
正常情况下,所有的 follower 副本都与 leader 副本保持一定程度的同步
即 AR=ISR,OSR集合为空
leader副本发生故障时,只有ISR集合中的副本才有资格被选举为新的leader
HW High Watermark 高水位
标识一个特定的消息偏移量(offset),消费者只能拉取到这个offset之前的消息
日志文件,文件中有 9 条消息,第一条消息的 offset(LogStartOffset)为0
最后一条消息的offset为8,offset为9的消息用虚线框表示,代表下一条待写入的消息。
日志文件的HW为7,表示消费者只能拉取到offset在0至6之间的消息,offset为7的消息对消费者不可见
LEO Log End Offset 当前日志文件中下一条待写入消息的offset
LogStartOffset HW LEO(LogEndOffset)
HW 取所有follower LEO的最小值
HW = min(LEO of all follower)
上一篇
下一篇
spring StandardEnvironment 实例及配置读取顺序
aerospike benchmark 性能压测
Objenesis简介
c++与java技术选型
Linux vmstat 命令
hashmap调优