现在的位置: 首页 > 综合 > 正文

《淘宝十年》阅读笔记

2013年02月13日 ⁄ 综合 ⁄ 共 788字 ⁄ 字号 评论关闭

任何网站的发展都不是一蹴而就的。它在发展过程中会遇到各种各样的问题和业务带来的压力,这是这些问题和压力推动着技术的进步和发展,而技术的发展反过来又会促进业务的更大提升。

淘宝网拥有全国最大的hadoop分布式计算集群之一(2000多个节点,cpu:24000core,memory:48000GB,Disk:24000块),日新增数据50tb,有40pb海量数据存储,分布在全国各地80多个节点的CDN网络,支撑的流量超过800gbps。淘宝的搜索引擎能够对数十亿的商品数据进行实时搜索,另外,还有用自主研发的文件存储系统和缓存系统,以及java中间件和消息中间件系统,这一切组成了一个庞大的电子商务操作系统。

浏览器在同一个域名下并发加载的资源数量是有限的,例如IE6和IE7是两个,IE8是6个,chrome各版本不大一样,一般是4-6个。访问淘宝网首页需要加载126个资源,那么如此小的并发连接数自然会加载很久,所以前段开发人员往往会将上述这些资源文件分布在多个域名下,变相地绕过浏览器的这个限制,同时也为下文的cdn工作做准备。

CDN(Content Delivery Network,即内容分发网络的作用)。淘宝在全国各地建立了数十个甚至上百个CDN节点,利用一些手段保证你访问的(这里主要指js,css,图片等)站点是离你最近的CDN节点,这样便保证了大流量的分散以及在各地访问的加速。

如何保证多个cdn节点中都会同步所有的资源呢?这就涉及大量的内容分发与同步的相关技术。为了快速存取这些文件,淘宝开发了分布式文件系统tfs(taobao file system)来处理这类问题。

对商品交易进行快照存储使用的是Tair(淘宝自行研发的分布式kv存储方案)。

日志分布在多个地区的不同服务器上,研发了timetunnel用于进行实时的数据传输,然后交给后端系统进行计算报表等操作。

抱歉!评论已关闭.