Spark Standalone 的两种提交方式
所属分类 spark
浏览量 872
client cluster
./spark-submit --master spark://node01:7077 --class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.6.0-hadoop2.6.0.jar 100
./spark-submit --master spark://node01:7077 --deploy-mode client --class org.apache.spark.examples.SparkPi ../lib/spark-examples-1.6.0-hadoop2.6.0.jar 100
--deploy-mode client
1.client模式提交任务后,在客户端启动Driver进程
2.Driver向Master申请启动Application的资源
3.资源申请成功,Driver端将task发送到worker端执行
4.worker将task执行结果返回到Driver端
Client端作用
Driver负责应用程序资源的申请
任务分发
结果收集
监控task执行情况
--deploy-mode cluster
执行流程
1.cluster模式提交应用程序后,向Master请求启动Driver.(不是启动application)
2.Master接受请求,随机在一个节点启动Driver进程
3.Driver启动后为当前应用程序申请资源。Master返回资源,并在对应的worker节点上发送消息启动Worker中的executor进程
4.Driver端发送task到worker节点上执行
5.worker将执行情况和执行结果返回给Driver端 ,Driver监控task任务,并收集结果
Driver会在Woker节点上随机启动
先启动Driver,再启动Application
webui 查看执行情况
上一篇
下一篇
指数估值工具
编程式绘图工具mermaid
Spark大数据分析实战 第2章 初识Spark
Spark大数据分析实战 第3章 RDD弹性分布式数据集
Spark大数据分析实战 第4章 Spark内核源码分析
Spark大数据分析实战 第5章 Spark SQL结构化数据处理引擎