首页  

hadoop集群进程及作用     所属分类 hadoop 浏览量 897
NameNode
SecondaryNameNode
DataNode
ResourceManager
NodeManager
JournalNode


NameNode 维护文件系统元数据 两个文件 命名空间镜像文件 编辑日志文件 fsimage edits 记录文件块所在的数据节点信息 内存保存,启动时重建 负责响应客户端的 数据块位置请求 接收 datanode 元数据信息 故障 损坏等信息 SecondaryNameNode(非HA模式) 实现namenode容错的一种机制,定期合并编辑日志与命名空间镜像 DataNode 根据需要存取并检索数据块 定期向namenode发送数据块元数据 ResourceManager 负责Job调度,将MapReduce 等任务分配给NodeManager执行 NodeManager 运行ResourceManager分配的任务,同时将任务进度向application master报告 JournalNode(HA下启用) 高可用情况下存放namenode的editlog文件

上一篇     下一篇
Zeppelin简介

大数据学习路线

学霸老师见多了学霸,发现学霸养成的真相

如果说编程语言是一种宗教

ETF如何选

袁隆平名句