spark RDD saveAsTextFile
所属分类 spark
浏览量 657
val rdd = sc.makeRDD(List(1,2,3,4,5,6),2)
rdd.saveAsTextFile("/Users/dyyx/output/test001")
/Users/dyyx/output/test001
_SUCCESS part-00000 part-00001
一个分区一个文件
val rdd = sc.makeRDD(List(1,2,3,4,5,6),2)
rdd.saveAsTextFile("/Users/dyyx/output/test001")
org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory file:/Users/dyyx/output/test001 already exists
val rdd = sc.makeRDD(List(1,2,3,4,5,6),3)
rdd.saveAsTextFile("/Users/dyyx/output/test002")
_SUCCESS part-00000 part-00001 part-00002
上一篇
下一篇
Apache Pinot 分布式实时分析和存储系统
Presto简介
spark core RDD
spark RDD 分组求平均例子
spark RDD 持久化 缓存
spark RDD Checkpoint 容错机制