spark map算子各种写法
所属分类 spark
浏览量 734
val sparkconf = new SparkConf().setMaster("local[*]").setAppName("test")
var sc = new SparkContext(sparkconf);
val rdd = sc.makeRDD(List(1,2,3))
def mapFunction(num:Int):Int={
num*2;
}
val value = rdd.map(mapFunction)
value.collect().foreach(println)
sc.stop();
各种简化写法
// 匿名函数
val value = rdd.map((num:Int)=>{num*2})
// 函数体只有一行,大括号可省略
val value = rdd.map((num:Int)=>num*2)
// 参数类型自动推断
val value = rdd.map((num)=>num*2)
// 参数只有一个,小括号省略
val value = rdd.map(num=>num*2)
//
val value = rdd.map(_*2)
上一篇
下一篇
Spark知识点小结
Flink核心技术要点
spark map和mapPartitions
idea maven 项目 scala代码 不会自动编译
spark3 例子
Apache Pinot 分布式实时分析和存储系统