spark3 例子
所属分类 spark
浏览量 828
spark3.1.2
import org.apache.spark.{SparkConf, SparkContext}
object SparkHello extends App{
val sparkConf = new SparkConf().setMaster("local[*]").setAppName("sparkHello")
var sc = new SparkContext(sparkConf);
// 2个分区
val rdd = sc.makeRDD(List(1,2,3,4,5,6),2)
rdd.map(_*2).collect().foreach(println)
sc.stop();
}
def makeRDD[T : ClassTag](seq: Seq[T], numSlices: Int = defaultParallelism): RDD[T]
注意 commons-lang3 版本
org.apache.commons.lang3.JavaVersion
版本不对会报错
java.lang.NoSuchFieldError: JAVA_9
完整代码
https://gitee.com/dyyx/hellocode/blob/master/demo/sparkdemo/src/main/java/com/dyyx/SparkHello.scala
上一篇
下一篇
spark map和mapPartitions
spark map算子各种写法
idea maven 项目 scala代码 不会自动编译
Apache Pinot 分布式实时分析和存储系统
Presto简介
spark core RDD