Tungsten 钨丝计划


内存管理
运行时代码生成
Cache-aware计算



内存管理，避免JVM GC性能损失
内存中的Java对象存储成Spark自己的二进制格式,
更加紧凑,节省内存空间,而且能更好的估计数据量大小和内存使用情况
计算直接发生在二进制格式上,省去序列化和反序列化时间

sun.misc.Unsage
DataFrame的每一行就是一个UnsafeRow

内存计算引擎
更好的利用CPU的L1/L2/L3缓存
Cache-aware计算
cache-friendly 的算法和数据结构
cache-aware的sort算法


运行时代码生成
免去昂贵的虚函数调用,省去Java基本类型装箱之类的操作 
Spark Sql 将运行时代码生成用于表达式的求值