Hadoop模块：各个角色的作用

##Hadoop按照功能分的三大模块介绍

HDFS：hadoop的分布式文件系统

运行架构：

主从架构

主：namenode 一个 单点故障 管理的作用

助理：

secondarynamenode:帮助namenode备份数据 但是接替不了namenode的工作

从：datanode 多个

存储数据的 干活的

MAPREDUCE：分布式计算的代码

应用程序 什么时候执行 什么时候启动（代码 数据 资源）

YARN：资源调度的

为每一个应用程序 进行资源的分配的

主从结构：

主：resourcemanager

资源分配的老大 负责资源的分配

从：nodemanager

服从resourcemanager的安排 为应用程序提供资源

## HDFS各个角色的作用

namenode：

1）接受客户端的读写请求

2）管理元数据信息

3）接受datanode的心跳报告

4）负载均衡

5）负责数据块的副本的存储节点的分配

datanode：
1）处理客户端的读写请求
2）真正的进行数据块的存储
3）向namenode发送心跳报告
4）进行副本的复制

secondarynamenode：
1）帮助namenode备份元数据信息 冷备份
备份的元数据信息是否是最新的
有一定的数据延迟的 可能造成数据丢失
2）帮助namenode进行元数据合并 减轻namenode的压力

客户端：
1）发送读写请求
2）对上传的文件进行逻辑切块 和物理切块
3）向namenode反馈数据上传 下载的响应

YARN 各个角色的作用
集群的主节点 ResourceManager 的职责：
1、处理客户端请求
2、启动或监控 MRAppMaster
3、监控 NodeManager的健康状况 nodemanager定期的向resourcemanager进行发送心跳报告
4、资源的分配与调度

nodemanager的职责：
1、管理单个节点上的资源
2、处理来自 ResourceManager 的命令 （启动mrappmaster的时候）
3、处理来自 MRAppMaster 的命令（启动maptask reducetask任务的时候）