现在的位置: 首页 > 综合 > 正文

云计算一周热文回顾:Google后Hadoop时代的新“三驾马车”

2019年05月02日 ⁄ 综合 ⁄ 共 4025字 ⁄ 字号 评论关闭

云计算一周热文回顾:Google后Hadoop时代的新“三驾马车”

发表于2012-08-24 16:51705次阅读| 来源CSDN1 条评论|
作者csdn

摘要:在这炎炎夏日里,时间总是过的很快,周末又将到来。本周的云计算发生了一些趣事,为了让读者们了解这一周国内外云计算方面的热点新闻,我们特意为大家整理了本周比较火热的话题,各位看官不管了解也好,还是什么都不懂也罢,都请看一下这一周以来CSDN云计算频道的热点新闻。

上一期中,我们回顾了过去一周云计算频道里的热点新闻,本期将继续给大家回顾上周的热点新闻。

Google后Hadoop时代的新“三驾马车”——Caffeine、Pregel、Dremel

Mike Olson是Hadoop运动背后的主要推动者,但这还远远不够,目前Google内部使用的大数据软件Dremel使大数据处理起来更加智能。

Mike Olson目前任职于世界上最热的软件专业公司——Cloudera(硅谷的创业企业),并担任Cloudera的首席执行官。Cloudera围绕开源软件平台Hadoop发展自身的业务,开源软件平台Hadoop已经使得Google变身网络上最主导的力量。

预计到2016年Hadoop将会推动软件市场,并创造8.13亿美元的价值。不过Mike Olson表示这已经是老新闻了。

Hadoop的火爆要得益于Google在2003年底和2004年公布的两篇研究论文,其中一份描述了GFS(Google File System),GFS是一个可扩展的大型数据密集型应用的分布式文件系统,该文件系统可在廉价的硬件上运行,并具有可靠的容错能力,该文件系统可为用户提供极高的计算性能,而同时具备最小的硬件投资和运营成本。

另外一篇则描述了MapReduce,MapReduce是一种处理大型及超大型数据集并生成相关执行的编程模型。其主要思想是从函数式编程语言里借来的,同时也包含了从矢量编程语言里借来的特性。基于MapReduce编写的程序是在成千上万的普通PC机上被并行分布式自动执行的。8年后,Hadoop已经被广泛使用在网络上,并涉及数据分析和各类数学运算任务。但Google却提出更好的技术。

自Hadoop兴起以来,Google已经发布了三篇研究论文,主要阐述了基础设施如何支持庞大网络操作。其中一份详细描述了Caffeine,Caffeine主要为Google网络搜索引擎提供支持。

另一篇介绍了Pregel,Pregel主要绘制大量网上信息之间关系的“图形数据库”。而最吸引人的一篇论文要属被称之为Dremel的工具。

Engine Yard:PostgreSQL是我们的第一选择

PostgreSQL通常也简称Postgres,是一个关系型数据库管理系统,适用于各种Linux操作系统、Windows、Solaris、BSD和Mac OS X。PostgreSQL遵循PostgreSQL许可,是一个开源软件。PostgreSQL由PostgreSQL全球开发组开发,由极少数的公司志愿组成并进行监督管理,这些公司有红帽、EnterpriseDB等。

PostgreSQL的知名度越来越大,这是理所当然的:它是如此可靠、高效。与传统企业级关系型数据库相比,PostgreSQL完全基于社区驱动,有着丰富的工具和文档,形成了一个完善的生态系统。

Engine Yard是全球领先的Ruby on Rails和PHP云计算平台,可为用户托管、运行自己的应用程序。几个月之前,Engine Yard的数据库体系已经完全转向Postgres 9.1。而今,我们非常高兴地宣布,以后Engine Yard所有开发的云计算应用将基于PostgreSQL。

季报硬件风光不再?惠普大亏 戴尔下滑 IBM小赚

全球经济始终不乐观,移动终端竞争更加猛烈,硬件产品(PC、笔记本、服务器、存储、网络等)营收下滑已成定局,业内对于IBM、DELL和HP这三大巨头的季度报告营收下滑早有预期。但是真到面对的财报中硬件产品一片下滑数据时,仍然极为震撼,尤其在对比这三家几年前的一片上升的业绩公告,以及苹果、谷歌本季“歌舞升平”的财报之后,不过,在暗叹IT的时代变迁,并对其他PC和传统服务器等硬件厂商表示担忧之时,也不乏“万点绿中一簇红”的欣喜:戴尔的高利润解决方案策略转型已初所成效;IBM在“智慧地球与云营收”的增长可圈可点,引人关注。

7月18日IBM Q2财报(实现营收258亿美元,同比下降3%;净利润39亿美元,同比增长6%),让人为之一振;

8月21日,戴尔Q2财报(营收为144.83亿美元,比去年同期的156.58亿美元下滑8%;净利润为7.32亿美元,比去年同期的8.90亿美元下滑18%),验证了业内的判断,也从另一侧面验证了戴尔转型服务及高利润企业解决方案的策略已初见成效;

8月23日,惠普Q3财报(惠普营收297亿美元,同比去年的312亿美元下滑5%;该季度公司净亏损88.57亿美元)的消息即使有所预估,仍然很是无语。

Apache推出Google Dremel的开源版本Drill

在大数据时代,对于Hadoop中的信息,越来越多的用户需要能够获得快速且互动的分析方法。现在,谷歌正在使用Dremel工具来快速分析事务,而Apache基金会则支持了一个类似于Dremel的开源版本——Drill。(Dremel是一种用来分析信息的方法,它可以在数以千计的服务器上运行,允许你“请求查询”海量数据,如网络文件的集合或是数字图书馆等,甚至是描述成百上千万条垃圾游戏信息的数据。这类似于分析一个使用SQ语言L的传统数据库。而Dremel能以极快的速度处理网络规模的海量数据。据谷歌的研究报告显示,你能以PB数量级来进行查询,而且只需几秒钟时间就能完成。)在Apache基金会文档中如此描述:Drill,一个专为互动分析大型数据集的分布式系统。

目前来看,MapReduce通常用于执行Hadoop数据上的批处理分析,但并不适合于你想快速得到结果或者重新定义查询参数。如果想要做到这些,你需要一个新工具,比如Drill。其可以通过对PB字节数据的快速扫描(大约几秒内)完成相关分析。

Google受虐成瘾 两百万美元助阵Pwnium2

三月份Google举办了首次Pwnium黑客大赛,广邀各大黑客攻击Chrome浏览器。然而为了Chrome浏览器的更加完善,上个星期Google又宣布今年秋季第二届Pwnium黑客大赛将投入200万美元。

Pwnium 2举办的前几个星期,惠普公司策划专注于移动领域的Pwn2Own赛事,奖金也高达了20万美元。

Google的Pwnium 2将于2012年10月10日在吉隆坡举行。

和3月份在温哥华举行的CanSecWest会议一样,黑客们将发起对Chrome当前版本的挑战。每个被开发者证实的完全类别漏洞都将获得高达6万美元的奖金。

Google口中的完全Chrome漏洞 — 在Win7上利用Chrome本身漏洞并成功攻陷浏览器的黑客将获得6万美元大奖(和上届大会同样的金额)。

利用至少一个Chrome漏洞再加上诸如WebKit或Windows核心漏洞最终攻陷浏览器将获得5万美元;利用非Chrome漏洞(Flash、驱动等漏洞)攻陷浏览器也可以获得4万美元。

Amazon Elastic Beanstalk开始支持Python

Amazon上周日表示,AWS中的Elastic Beanstalk服务(一种简化第三方AWS云应用的部署和管理的特性,其实是AWS向PaaS拓展的重要一步)开始支持Python应用程序。这项新功能显然有针对GAE的意味(Google的PaaS服务一开始就支持Python,毕竟Python的老爸Guido是G公司的员工嘛)。

Elastic Beanstalk,仍处于测试阶段,它能够自动处理“所有的Amazon EC2实例、负载均衡、自动缩放和应用程序运行状况检测产生的相关细节”。

Facebook“零度”冰封备份数据

我们现在知道Facebook在俄勒冈州Prineville的33万平方英尺的数据中心边上建立的迷你型数据中心:Sub-Zero,是其紧急备用设施。

这项计划是建造一个容纳全新的低功耗深度存储设备的建筑,Facebook的工程师将在未来的六到九个月的时间完成这项计划。Facebook的网站运行的副总裁Tom Furlong说,当设备不使用时,它将不消耗能源。“我们建造一个专门的建筑来部署这个设备,并对此建筑进行优化,以支持该设备,我们并不需要经常访问这个设备。”

Furlong说,这个建筑是四四方方的,配有成排的安静与低功率的机器。

该公司在最新提交的规划许可证中披露了新建筑的存在。Facebook称这个建筑为Sub-Zero,尽管Furlong表示他不在公共场合使用使用这个名字(Sub-Zero的商标已被一线高端冰箱所注册)。

Amazon发布廉价冷备份存储服务Glacier

本周二,亚马逊推出了最新的基于云技术的档案存储服务Glacier,该服务是一项低成本的存储服务,可用于自定义的数据归档和备份。

Glacier价格便宜,但速度慢,亚马逊希望创业公司找到稳妥的地方来存储不经常访问的文件。

亚马逊表示,如果需要保存诸如媒体档案、财务和医疗记录、原始的基因组序列等这些不经常访问的数据,Glacier就是一个不错的选择。

据亚马逊介绍,备份服务通常需要支付预付款给供应商,而且有时候还需要超额付款,以确保他们有足够的能力解决数据的冗余和意外增长。Glacier则不需要如此。

使用Glacier来存储数据每GB每月需要0.01美元,而S3则需要花费0.055美元至0.125美元。如果数据超过5000TB,那么使用Glacier则比较划算。

抱歉!评论已关闭.