首页  

kafka中的 AR OSR ISR HW 和 LEO     所属分类 kafka 浏览量 233
分区  
副本 Replica
leader follower
某集群 3个broker  
某个主题中3个分区  副本因子(副本个数) 3
每个分区 1个leader副本 + 2个follower副本
生产者和消费者只与leader副本进行交互,follower副本只负责消息的同步
Consumer 使用拉(Pull)模式从服务端拉取消息,并保存消费的具体位置 

AR Assigned Replicas
ISR In-Sync Replicas  保持同步的副本
OSR Out-of-Sync Replicas  同步滞后过多的副本
AR=ISR+OSR

正常情况下,所有的 follower 副本都与 leader 副本保持一定程度的同步
即 AR=ISR,OSR集合为空

leader副本发生故障时,只有ISR集合中的副本才有资格被选举为新的leader


HW High Watermark 高水位 
标识一个特定的消息偏移量(offset),消费者只能拉取到这个offset之前的消息

日志文件,文件中有 9 条消息,第一条消息的 offset(LogStartOffset)为0
最后一条消息的offset为8,offset为9的消息用虚线框表示,代表下一条待写入的消息。
日志文件的HW为7,表示消费者只能拉取到offset在0至6之间的消息,offset为7的消息对消费者不可见

LEO  Log End Offset 当前日志文件中下一条待写入消息的offset

LogStartOffset HW  LEO(LogEndOffset)

HW  取所有follower LEO的最小值

HW = min(LEO of all follower)

上一篇     下一篇
spring StandardEnvironment 实例及配置读取顺序

aerospike benchmark 性能压测

Objenesis简介

c++与java技术选型

Linux vmstat 命令

hashmap调优