首页  

Spark Standalone 的两种提交方式     所属分类 spark 浏览量 94
client cluster

./spark-submit --master  spark://node01:7077 --class org.apache.spark.examples.SparkPi  ../lib/spark-examples-1.6.0-hadoop2.6.0.jar 100
./spark-submit --master  spark://node01:7077 --deploy-mode client --class org.apache.spark.examples.SparkPi  ../lib/spark-examples-1.6.0-hadoop2.6.0.jar 100

--deploy-mode client 

1.client模式提交任务后,在客户端启动Driver进程
2.Driver向Master申请启动Application的资源
3.资源申请成功,Driver端将task发送到worker端执行
4.worker将task执行结果返回到Driver端

Client端作用
Driver负责应用程序资源的申请
任务分发
结果收集
监控task执行情况


--deploy-mode cluster 执行流程 1.cluster模式提交应用程序后,向Master请求启动Driver.(不是启动application) 2.Master接受请求,随机在一个节点启动Driver进程 3.Driver启动后为当前应用程序申请资源。Master返回资源,并在对应的worker节点上发送消息启动Worker中的executor进程 4.Driver端发送task到worker节点上执行 5.worker将执行情况和执行结果返回给Driver端 ,Driver监控task任务,并收集结果 Driver会在Woker节点上随机启动 先启动Driver,再启动Application webui 查看执行情况

上一篇     下一篇
指数估值工具

编程式绘图工具mermaid

Spark大数据分析实战 第2章 初识Spark

Spark大数据分析实战 第3章 RDD弹性分布式数据集

Spark大数据分析实战 第4章 Spark内核源码分析

Spark大数据分析实战 第5章 Spark SQL结构化数据处理引擎