首页   快速返回

kafka高性能要点     所属分类 kafka
批量处理 消息批量发送

客户端优化  使用双线程 主线程 + Sender线程
主线程将消息写入客户端缓存,Sender线程负责从缓存中发送消息,可以聚合多个消息为一个批次。

日志格式优化  更好的支持批量消息处理

日志编码  Varints和ZigZag编码,减小附加字段占用大小

消息压缩  gzip snappy lz4

建立索引  每个日志分段文件对应两个索引文件 提高查找消息的效率

分区

一致性  类似PacificA的做法    
其他一致性协议 Paxos Raft Gossip

顺序写盘

页缓存

零拷贝

 kafka高性能机制 

上一篇     下一篇
mysql5.7二进制包安装说明

OceanBase知识点

私募股权投资简介

linux服务器信息查看

联合创始人和合伙人区别

性能压测谨慎使用监控工具