Hadoop 生态系统中的 HDFS

HDFS 分为 NameNode (位置节点) DataNode (存储节点)

NameNode 负责储存数据的元数据 文件名、副本数、文件结构、文件属性等 以及每个文件的块所在的DataNode
DataNode 负责存储数据以及块数据验证
2NN 负责NameNode的救灾

Hadoop 生态中的 YARN

YARN 是 Hadoop 的资源管理器 负责管理 CPU RAM
YARN 分为 ResourceManager(总管理器) NodeManager (节点管理器)

ResourceManager (RM) 负责整个集群的CPU RAM等
NodeManager (NM) 负责单个节点服务器的 CPU RAM等

Hadoop 生态中的 MapReduce

MapReduce 负责集群中的计算
MapReduce 计算分为两个阶段
Map阶段：并行处理输入数据
Reduce： 对Map结果汇总