hadoop集群进程及作用
所属分类 hadoop
浏览量 1033
NameNode
SecondaryNameNode
DataNode
ResourceManager
NodeManager
JournalNode
NameNode
维护文件系统元数据
两个文件 命名空间镜像文件 编辑日志文件
fsimage edits
记录文件块所在的数据节点信息
内存保存,启动时重建
负责响应客户端的 数据块位置请求
接收 datanode 元数据信息 故障 损坏等信息
SecondaryNameNode(非HA模式)
实现namenode容错的一种机制,定期合并编辑日志与命名空间镜像
DataNode
根据需要存取并检索数据块
定期向namenode发送数据块元数据
ResourceManager
负责Job调度,将MapReduce 等任务分配给NodeManager执行
NodeManager
运行ResourceManager分配的任务,同时将任务进度向application master报告
JournalNode(HA下启用)
高可用情况下存放namenode的editlog文件
上一篇
下一篇
Zeppelin简介
大数据学习路线
学霸老师见多了学霸,发现学霸养成的真相
如果说编程语言是一种宗教
ETF如何选
袁隆平名句