现在的位置: 首页 > 综合 > 正文

YARN:下一代MapReduce的架构

2013年02月10日 ⁄ 综合 ⁄ 共 613字 ⁄ 字号 评论关闭

hadoop0.23版本中,出现了YARN,即MapReduce2.0版本。

与原来mapreduce的明显的差别有:

1. 将jobtracker的两个功能:资源管理和作业调度/监视,分割成几个单独的守护进程。

这样就会有一个全局的资源管理器RM,及很多单独的应用程序控制点ApplicationMaster在每个节点上

资源管理器、每个子节点、节点管理器,就形成了数据计算的框架。资源管理器会协调管理系统中所有的资源。

而每个应用程序作业的AM,会执行和监视任务,并从资源管理器获取资源,并同节点管理器协同工作。其实际上是一个特定的库、框架。

全局资源管理器RM,可以再细分为:调度器、应用程序管理器

调度器的职责是:给各种执行的程序分配资源,它抽象出了资源容器container这样一个概念,其中包括内存、CPU、硬盘、网络等。

应用程序管理器的职责是:跟踪监视程序状态、是否重启失败的程序等。并为应用程序协调到第一个container

节点管理器NM:是每个机器节点的管理程序,其职责包括每个节点的容器,资源使用情况,并报告给资源管理器/调度器。

每个应用程序控制点App Mstr:为调度器协调资源,并跟踪和监视整个程序的状态

MRV2兼容 先前的稳定版hadoop-0.20.205。

参考:http://hadoop.apache.org/docs/r0.23.7/hadoop-yarn/hadoop-yarn-site/YARN.html

抱歉!评论已关闭.