现在的位置: 首页 > 综合 > 正文

Hadoop2.2.0来了,大数据各框架又风起云涌!

2017年04月13日 ⁄ 综合 ⁄ 共 678字 ⁄ 字号 评论关闭

        2013年10月15日Hadoop2的稳定版本2.2.0发布了!它解决了NameNode的水平扩转问题,也解决了NameNode的单点故障问题,也引入了引领大数据下一轮次革命的具有划时代意义的资源管理框架YARN!

        话说大数据2.0时代的来临就是以YARN为基础的新一代Hadoop框架的发布为起点。

        原来的Hadoop上只跑一个MapRedeuce来进行离线计算,大不了再结合下Hhbas来做点在线或者半在线的存储,也就这么几招在折腾。对于一个互联网企业来讲,这些还远不够,还得结合Storm来处理实时的分析,还得采用Spark来完成在线的机器学习与计算。Hadoop、storm、Spark这些合起来才能搞定大数据相关企业的基本需求!但是这些都是独立框架,相互直接虽说是能够互联互通,但是作为运维层面来讲却是独立集群,需要独立维护!YARN的到来让这一切都变了,Clouder在推进SPARK的Hadoop化,Hortonworks在推进Storm的Hadoop化,这两项革命性的系统重构完成之后,Hadoop就不是原来的Hadoop了,Hadoop就成了大数据领域的操作系统了,成了一个平台,可以让那些解决某一方面、某一领域问题的框架来依托在YARN的怀抱中成长!

    真的很佩服Hortonworks的架构师Arun
Murthy对
YARN的贡献!很多东西,别人提出来了,甚至做出来了,你一看就明白,甚至觉得事情就应该那样去做,但是自己面临同样困局的时候,却束手无策!

    假若我去做,我该怎么做呢?多问几个为什么!!!!!!!!!!

抱歉!评论已关闭.