顺序读写 
页缓存 数据写入页缓存 脏页 
操作系统在合适的时候将脏页写入磁盘中 
小的写入操作合并成大的写入，再刷盘

读取 页缓存命中则直接返回 
页缓存 miss 则产生缺页中断，从磁盘加载数据至页缓存中，然后返回数据

预读  局部性原理 把相邻的磁盘块读入页缓存中

顺序写盘的速度比随机写内存要快

数据丢失 断电 未刷盘的脏页数据丢失
可以调用 fsync 强制刷盘  ，但性能损耗大

一般建议通过多副本机制来保证消息的可靠，而不是同步刷盘。

采用文件追加的方式来写入消息

mmap-文件内存映射 ，避免拷贝  
避免内核空间页缓存到用户空间的拷贝


文件映射
将程序虚拟页面直接映射到页缓存上，不需要从内核态往用户态拷贝数据
不用调用read或write方法对文件进行读写，可通过映射地址加偏移量的方式直接操作

sendfile-零拷贝

一般发送文件的流程
磁盘  页缓存（内核空间） 缓冲区（用户空间） socketbuffer(内核空间)  网卡

DMA  Direct Memory Access ，独立直接读写系统内存，不需要 CPU 介入，显卡、网卡之类都会用DMA


Linux2.1 sendfile
页缓存（内核空间） socketbuffer(内核空间) 网卡

Linux2.4  sendfile 
sendfile  +  分散-收集（Scatter-gather）DMA
 
Java里的 sendfile 
FileChannal.transferTo()  



RocketMQ
CommitLog
所有的消息顺序追加写入 CommitLog ，并建立消息对应的 CosumerQueue ，
消费者通过 CosumerQueue 得到消息的真实物理地址再去 CommitLog 获取消息。
可将 CosumerQueue 理解为消息的索引

CommitLog 和 CosumerQueue 都使用 mmap
发消息的时候默认将数据拷贝到堆内存中，然后再发送

this.fileChannel = new RandomAccessFile(this.file,"rw").getChannel();
this.mappedByteBuffer = this.fileChannel.map(MapMode.READ_WRITE,0,fileSize);


顺序写盘，整体来看是顺序读盘，使用 mmap，不是真正的零拷贝
文件预先分配和文件预热即每页写入一个0字节，然后再调用mlock 和 madvise(MADV_WILLNEED)
CommitLog 大小默认1G
后台线程 AllocateMappedFileService

mlock  
将进程使用的部分或者全部的地址空间锁定在物理内存中，防止其被交换到swap空间

madvise 
给操作系统建议，说明文件在不久的将来要访问，可以提前读几页 



Kafka
一个分区一个文件夹
日志文件没有用 mmap，索引文件用了 mmap
发消息 用 零拷贝  FileChannel.transferTo
sendfile vs mmap+write
sendfile少了一次页缓存到 SocketBuffer 的拷贝

vm.swappiness 建议 设置为1




RocketMQ VS Kafka  

都是顺序写入，不过 RocketMQ 把消息都存一个文件中，而 Kafka 是一个分区一个文件
每个分区一个文件在迁移或者数据复制更加灵活
但是分区多了 会变成 随机读写

发送消息 RocketMQ   mmap + write  ，通过预热来减少大文件 mmap 因为缺页中断产生的性能问题
Kafka sendfile，发送效率更高，少了一次页缓存到 SocketBuffer 的拷贝



 RocketMQ Kafka 简单比较  
 rocketmq知识点  
 kafka核心知识点