首页  

spark RDD saveAsTextFile     所属分类 spark 浏览量 510
val rdd = sc.makeRDD(List(1,2,3,4,5,6),2)
rdd.saveAsTextFile("/Users/dyyx/output/test001")
/Users/dyyx/output/test001
_SUCCESS	part-00000	part-00001
一个分区一个文件

val rdd = sc.makeRDD(List(1,2,3,4,5,6),2)
rdd.saveAsTextFile("/Users/dyyx/output/test001")
org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory file:/Users/dyyx/output/test001 already exists

val rdd = sc.makeRDD(List(1,2,3,4,5,6),3)
rdd.saveAsTextFile("/Users/dyyx/output/test002")
_SUCCESS	part-00000	part-00001	part-00002

上一篇     下一篇
Apache Pinot 分布式实时分析和存储系统

Presto简介

spark core RDD

spark RDD 分组求平均例子

spark RDD 持久化 缓存

spark RDD Checkpoint 容错机制