批量处理 消息批量发送

客户端优化  使用双线程 主线程 + Sender线程
主线程将消息写入客户端缓存，Sender线程负责从缓存中发送消息，可以聚合多个消息为一个批次。

日志格式优化  更好的支持批量消息处理

日志编码  Varints和ZigZag编码，减小附加字段占用大小

消息压缩  gzip snappy lz4

建立索引  每个日志分段文件对应两个索引文件 提高查找消息的效率

分区   Partition 并行处理

一致性  类似PacificA的做法    
其他一致性协议 Paxos Raft Gossip

顺序写盘

页缓存

零拷贝


partition 并行处理
顺序写磁盘 

利用操作系统 Page Cache 提高 磁盘I/O 效率

零拷贝  mmap 文件映射  sendfile，磁盘文件读到 OS 内核缓冲区后，转到 NIO buffer 网络发送 



 kafka高性能机制