kafka高性能要点
所属分类 kafka
浏览量 3091
批量处理 消息批量发送
客户端优化 使用双线程 主线程 + Sender线程
主线程将消息写入客户端缓存,Sender线程负责从缓存中发送消息,可以聚合多个消息为一个批次。
日志格式优化 更好的支持批量消息处理
日志编码 Varints和ZigZag编码,减小附加字段占用大小
消息压缩 gzip snappy lz4
建立索引 每个日志分段文件对应两个索引文件 提高查找消息的效率
分区 Partition 并行处理
一致性 类似PacificA的做法
其他一致性协议 Paxos Raft Gossip
顺序写盘
页缓存
零拷贝
partition 并行处理
顺序写磁盘
利用操作系统 Page Cache 提高 磁盘I/O 效率
零拷贝 mmap 文件映射 sendfile,磁盘文件读到 OS 内核缓冲区后,转到 NIO buffer 网络发送
kafka高性能机制
上一篇
下一篇
mysql5.7二进制包安装说明
OceanBase知识点
私募股权投资简介
linux服务器信息查看
联合创始人和合伙人区别
性能压测谨慎使用监控工具