spark3 例子  
   
所属分类 spark
浏览量 1205
spark3.1.2
import org.apache.spark.{SparkConf, SparkContext}
object SparkHello extends App{
  val sparkConf = new SparkConf().setMaster("local[*]").setAppName("sparkHello")
  var sc =  new SparkContext(sparkConf);
  // 2个分区 
  val rdd = sc.makeRDD(List(1,2,3,4,5,6),2)
  rdd.map(_*2).collect().foreach(println)
  sc.stop();
}
def makeRDD[T : ClassTag](seq: Seq[T], numSlices: Int = defaultParallelism): RDD[T]
注意 commons-lang3 版本  
org.apache.commons.lang3.JavaVersion
版本不对会报错
java.lang.NoSuchFieldError: JAVA_9
完整代码
https://gitee.com/dyyx/hellocode/blob/master/demo/sparkdemo/src/main/java/com/dyyx/SparkHello.scala
 上一篇  
   
 下一篇  
 spark map和mapPartitions 
 spark map算子各种写法 
 idea maven 项目 scala代码 不会自动编译 
 Apache Pinot 分布式实时分析和存储系统 
 Presto简介 
 spark core RDD