Hadoop2.0 Yarn 概述
所属分类 bigdata
浏览量 1349
Apache Hadoop YARN Yet Another Resource Negotiator
资源管理器
Hadoop v2.0 YARN
资源管理 与 计算框架 分离
1.0 JobTracker和NameNode单点
2.0 无单点,没有JobTracker和TaskTracker,
增加了ResourceManager,NodeManager,Application Master,Container,资源使用效率更高
ResourceManager
包含两个组件,一个是调度器(Scheduler),另一个是应用管理器(ASM)。
调度、启动 Job对应ApplicationMaster 监控ApplicationMaster
NodeManager
负责启动应用所需的容器,监控资源(内存,CPU,磁盘,网络等) 汇报给调度器。
ApplicaionManager
接收作业,协商获取第一个容器用于执行ApplicationMaster 重启失败AM container的服务。
ApplicationMaster
负责一个Job生命周期内的所有工作,类似1.0中Job Tracker。
YARN优势
由 ApplicationMaster 监控 Job任务
ApplicationMaster 自定义实现
ResourceManager中有一个模块叫做ApplicationManager,监控ApplicationMaster ,出问题,在其他机器上重启。
Container 资源隔离组件
上一篇
下一篇
三个趣味经济学原理
币圈925惨案
aerospike集群信息查看
CDH和Apache Hadoop比较
hdfs shell 常用命令
hdfs namenode HA 高可用