首页  

Spark Tungsten 性能优化     所属分类 spark 浏览量 401
Tungsten 钨丝计划


内存管理
运行时代码生成
Cache-aware计算


内存管理,避免JVM GC性能损失 内存中的Java对象存储成Spark自己的二进制格式, 更加紧凑,节省内存空间,而且能更好的估计数据量大小和内存使用情况 计算直接发生在二进制格式上,省去序列化和反序列化时间 sun.misc.Unsage DataFrame的每一行就是一个UnsafeRow 内存计算引擎 更好的利用CPU的L1/L2/L3缓存 Cache-aware计算 cache-friendly 的算法和数据结构 cache-aware的sort算法 运行时代码生成 免去昂贵的虚函数调用,省去Java基本类型装箱之类的操作 Spark Sql 将运行时代码生成用于表达式的求值

上一篇     下一篇
如果说编程语言是一种宗教

ETF如何选

袁隆平名句

scala hello

常用存储选型指南

Linux hostname