大数据应用 大量对象 OutOfMemoryError
实现自己的内存管理，例如Apache Spark的Tungsten项目
减轻框架对JVM垃圾回收机制的依赖，更好的处理大规模数据集


Flink 内存管理

内存分为3个区域 
Unmanned Heap 
Managed Heap
Network Buffers 

启动过程中将堆内存初始化成Memory Pages Pool
将内存全部以二进制数组的方式占用，形成虚拟内存使用空间
新创建的对象序列化成二进制数据的方式存储在内存页面池
完成计算后 将Page置空



JobManager配置

JobManager作用
管理集群资源 接受任务 调度Task 收集任务状态以及管理TaskManager
JobManager本身并不直接参与数据的计算
jobmanager.heap.size  JobManager堆内存大小，默认1024MB



TaskManager配置

TaskManager
工作节点 内存配置很重要 
https://ci.apache.org/projects/flink/flink-docs-master/docs/deployment/config/


taskmanager.heap.size   
默认值为1024M
Yarn集群，取决于Yarn分配给TaskManager Container的内存大小
一般会减掉一部分内存用于Container


taskmanager.jvm-exit-on-oom
默认false，当TaskManager发生内存溢出时，也不会停止

taskmanage.memory.size
设定TaskManager内存大小，默认0
如果不设定 将会使用taskManager.memory.fraction作为内存分配依据


taskmanager.memory.fraction
设定TaskManager堆中除Network Buffers内存后的内存分配比例
该内存主要用于TaskManager任务排序 缓存中间结果等操作
例如，如果设定为0.8，代表TaskManager保留80%内存用于中间结果数据的缓存
剩下20%的内存用于创建用户定义函数中的数据对象存储
该参数只有在taskmanager.manager.size不设定的情况下才生效



taskmanager.memory.off-heap
是否开启堆外内存供Managed Memory或者Network Buffer使用


taskmanager.memory.preallocate
是否在启动TaskManager过程中直接分配TaskManager管理内存


taskmanager.numberOfTaskSlots
每个TaskManager分配的slot的数量



网络缓存优化

Network Buffers内存   
缓存分布式数据处理过程中的输入数据
过小 可能导致 Insufficient number of network buffers

设置Network Buffer内存大小两种方式

设定Network Buffer内存数量（过时了）
taskmanager.network.numberOfBuffers 
taskmanager.memory.segment-size  默认 32KB

设定Network内存比例（推荐）

taskmanager.network.memory.fraction   
JVM 中用于 Network Buffers 的内存比例

taskmanager.network.memory.min
最小的 Network Buffers 内存大小，默认64MB

taskmanager.network.memory.max
最大的 Network Buffers 内存大小，默认1GB

taskmanager.memory.segment-size
内存管理器和 Network 栈使用的 Buffer 大小，默认32KB