首页  

spark map算子各种写法     所属分类 spark 浏览量 726
val sparkconf = new SparkConf().setMaster("local[*]").setAppName("test")
var sc =  new SparkContext(sparkconf);
val rdd = sc.makeRDD(List(1,2,3))
def mapFunction(num:Int):Int={
  num*2;
}
val value = rdd.map(mapFunction)
value.collect().foreach(println)
sc.stop();

各种简化写法
// 匿名函数
val value = rdd.map((num:Int)=>{num*2})
// 函数体只有一行,大括号可省略 
val value = rdd.map((num:Int)=>num*2)
// 参数类型自动推断 
val value = rdd.map((num)=>num*2)
// 参数只有一个,小括号省略
val value = rdd.map(num=>num*2)
// 
val value = rdd.map(_*2)

上一篇     下一篇
Spark知识点小结

Flink核心技术要点

spark map和mapPartitions

idea maven 项目 scala代码 不会自动编译

spark3 例子

Apache Pinot 分布式实时分析和存储系统