Hadoop2.0 Yarn 概述  
   
所属分类 bigdata
浏览量 1999
Apache Hadoop YARN   Yet Another Resource Negotiator
资源管理器
 
Hadoop v2.0  YARN  
资源管理 与 计算框架  分离
1.0 JobTracker和NameNode单点
2.0 无单点,没有JobTracker和TaskTracker, 
增加了ResourceManager,NodeManager,Application Master,Container,资源使用效率更高
ResourceManager
包含两个组件,一个是调度器(Scheduler),另一个是应用管理器(ASM)。 
调度、启动 Job对应ApplicationMaster  监控ApplicationMaster 
NodeManager
负责启动应用所需的容器,监控资源(内存,CPU,磁盘,网络等) 汇报给调度器。
ApplicaionManager
接收作业,协商获取第一个容器用于执行ApplicationMaster 重启失败AM container的服务。
ApplicationMaster
负责一个Job生命周期内的所有工作,类似1.0中Job Tracker。
YARN优势
由 ApplicationMaster 监控  Job任务 
ApplicationMaster 自定义实现 
ResourceManager中有一个模块叫做ApplicationManager,监控ApplicationMaster  ,出问题,在其他机器上重启。
Container 资源隔离组件
 上一篇  
   
 下一篇  
 三个趣味经济学原理 
 币圈925惨案 
 aerospike集群信息查看 
 CDH和Apache Hadoop比较 
 hdfs shell 常用命令 
 hdfs namenode HA 高可用