首页  

spark3 例子     所属分类 spark 浏览量 828
spark3.1.2

import org.apache.spark.{SparkConf, SparkContext}

object SparkHello extends App{
  val sparkConf = new SparkConf().setMaster("local[*]").setAppName("sparkHello")
  var sc =  new SparkContext(sparkConf);
  // 2个分区 
  val rdd = sc.makeRDD(List(1,2,3,4,5,6),2)
  rdd.map(_*2).collect().foreach(println)
  sc.stop();
}


def makeRDD[T : ClassTag](seq: Seq[T], numSlices: Int = defaultParallelism): RDD[T]


注意 commons-lang3 版本 org.apache.commons.lang3.JavaVersion 版本不对会报错 java.lang.NoSuchFieldError: JAVA_9
完整代码 https://gitee.com/dyyx/hellocode/blob/master/demo/sparkdemo/src/main/java/com/dyyx/SparkHello.scala

上一篇     下一篇
spark map和mapPartitions

spark map算子各种写法

idea maven 项目 scala代码 不会自动编译

Apache Pinot 分布式实时分析和存储系统

Presto简介

spark core RDD