首页  

Hadoop2.0 Yarn 概述     所属分类 bigdata 浏览量 1337
Apache Hadoop YARN   Yet Another Resource Negotiator
资源管理器
 
Hadoop v2.0  YARN  
资源管理 与 计算框架  分离

1.0 JobTracker和NameNode单点

2.0 无单点,没有JobTracker和TaskTracker, 
增加了ResourceManager,NodeManager,Application Master,Container,资源使用效率更高

ResourceManager
包含两个组件,一个是调度器(Scheduler),另一个是应用管理器(ASM)。 
调度、启动 Job对应ApplicationMaster  监控ApplicationMaster 

NodeManager
负责启动应用所需的容器,监控资源(内存,CPU,磁盘,网络等) 汇报给调度器。

ApplicaionManager
接收作业,协商获取第一个容器用于执行ApplicationMaster 重启失败AM container的服务。


ApplicationMaster
负责一个Job生命周期内的所有工作,类似1.0中Job Tracker。


YARN优势

由 ApplicationMaster 监控  Job任务 
ApplicationMaster 自定义实现 
ResourceManager中有一个模块叫做ApplicationManager,监控ApplicationMaster  ,出问题,在其他机器上重启。
Container 资源隔离组件

上一篇     下一篇
三个趣味经济学原理

币圈925惨案

aerospike集群信息查看

CDH和Apache Hadoop比较

hdfs shell 常用命令

hdfs namenode HA 高可用