淘宝技术发展(引言)
作者:赵超 发布时间:2012-03-05 20:07:29
光棍节的狂欢
“时间到,开抢!”坐在电脑前早已等待多时的小美一看时间已到2011年11月11日零时,便迫不及待地投身于淘宝商城一年一度的大型网购促销活动——“淘宝双11购物狂欢节”。小美打开早已收藏好的宝贝——某品牌的雪地靴,飞快的点击购买,付款,一回头发现3000双靴子已被抢购一空。
小美跳起来,大叫一声“欧耶!”
小美不知道,就在11日零点过后的这一分钟内,全国有342万人和她一起涌入淘宝商城。当然,她更不知道,此时此刻,在淘宝杭州的一间办公室里,灯火通明,这里是“战时指挥部”,淘宝技术部的一群工程师,正在紧盯着网站的流量和交易数据。白板上是他们刚刚下的注,赌谁能最准确地猜中流量峰值和全天的交易总额。他们的手边放着充足的食物和各类提神的饮料。
一阵急促的电话声响起来,是前线部门询问数据的,工程师大声报着:“第1分钟,进入淘宝商城的会员有342万”。过一会工程师主动拿起电话:“交易额超过1亿了,现在是第8分钟。”接下来,“第21分钟,刚突破2亿”。“第32分钟,3亿了”。“第1个小时,4.39亿”。这些数据随后出现在微博上,引起一片惊呼。
“完蛋了!”突然有人大喝一声,所有的眼睛都紧张的盯着他,只见他挠挠头,嘿嘿的笑道“我赌的少了,20亿轻松就能过了,我再加5亿”,他跑去白板边上把自己的赌注擦去,写上25,接下来有人写上28,有人写上30,有人跑到微博上开下盘口,同事们纷纷转载 * 。接下来的这24个小时,战时指挥部的工程师们都不能休息,他们盯着网站的各种监控指标,适时的调整机器和增减功能。顶住第一波高峰之后,这些人开始忙里偷闲的给自己买东西,大家互相交流着哪家买的移动硬盘靠谱,哪家衣服适合自己的女朋友,不时的有人哀嚎宝贝被人抢了、信用卡额度不够了。同时,旁边白板上的赌注越下越大。
11月11日,这个棍子最多的日子被网民自我调侃的变成了一个节日——“光棍节”。而淘宝网又用疯狂的折扣促销给它赋予了另外一个意义——“购物狂欢节”。2011年11月11日这一天,淘宝商城与淘宝网交易额之和突破52亿,这个数字是“购物天堂”香港一天零售总额8.5亿的6倍。
网民感受到的是疯抢的喜悦,而网站的技术人员感受到的却是“压力山大”。就如同你家办酒席,宴请左邻右舍,这个办起来容易。倘若宴请十里八乡所有的人,吃饭的人自然开心,但却不是一般人家能够办得起来的。能办得起来如此盛宴者,需要强大的财力物力、组织能力、技术实力(例如做这么多菜,你的炒锅一定要是“分布式的”、“可复制的”、“可扩展的”,洗菜切菜要有“工作流引擎”,上菜的路径要用图论来计算出来,甚至连厨房的下水道都要重新设计)。
淘宝能够举办如此盛宴,网站的技术实力可见一斑。淘宝网拥有全国最大的hadoop分布式计算集群之一,日新增数据50TB,有40PB海量数据存储。分布在全国各地80多个节点的CDN网络,支持的流量超过800Gbps。淘宝的搜索引擎能够对数十亿的商品数据进行实时搜索,另外还拥有自主研发的文件存储系统和缓存系统,以及java中间件和消息中间件系统,这一切组成了一个庞大的电子商务操作系统。另外从商业数据上来看,AMAZON的财报显示2011年完成了大约 480亿美金的交易额,EBAY2011年财报全年完成了大约600亿美金的交易额(不包括其独立的汽车交易平台)。不管从交易额、商品数量、同比增速等指标上看,淘宝网均远超于此,是目前全球最大的电子商务平台。(由于淘宝非上市公司,未公布2011年业绩,以上内容来自淘宝网技术副总裁@_行癫 的微博)
以上这些技术数据可能已经让一些同学产生不适的感觉,为了让更多的人读懂这本书,我们从技术的角度来看,小美访问淘宝网的时候,网站上发生了什么事情。下参考资料:《你刚才在淘宝上买了一件东西【技术普及帖】》,来自南京邮电大学孙放同学
为了有个更直观的对比,我们说一个同行,他在2011年光棍节之前做促销,流量上去之后,达到12Gbps(他们有这么大的流量,老板很高兴,在微博上面说了这个数据),这时候流量达到了极限,网站几乎挂掉,用户无法下订单。而淘宝网光棍节当天网络的流量最高达到800多Gbps,带给各家银行和快递公司的流量也让他们压力山大,如临大敌(后来,他们以能够撑住淘宝带来的流量为荣而到处宣传)。另外如果你在网上购买过火车票的话,更能体会到网站能支持多大的流量有多重要。但这不是一朝一夕做出来的,也不是有钱就能办到的。
以上对比的这些网站,也许读者很容易就猜到是哪一家,这里拿出来作对比,绝对没有嘲笑人家的意思,采用通常的网站技术方案,能做到这种程度已经不错了。任何网站的发展都不是一蹴而就的,在什么样的阶段采用什么样的技术。在发展的过程中网站会遇到各种各样的问题和业务带来的压力,正是这些原因才推动着技术的进步和发展,而技术的发展又会反过来促进业务的更大提升。二者互为因果,相互促进。如今淘宝网的流量已经是全球排名第12、国内排名第3(美国的ebay全球排名23,国内前两名是百度和腾讯)。淘宝网的系统也从使用一台服务器,到采用万台以上的服务器。本书就为大家描述淘宝网在整个发展过程中,所有的主动和被动的技术变革的前因后果,这由很多有趣的故事组成。
正如同很多人或组织成功了以后,就会为自己的出身编造一个美丽的传说。淘宝网的出身,网上也有非常多的传说,下面我们就从它的出生开始讲起。
作者:赵超
文章来源:赵超的博客
猜你喜欢
- 配置DNS的实例:1 所需配置文件:/etc/named.conf 系统自带,需要配置/etc/resolv.conf 系统自带,需要配置/
- 百度老总李彦宏出了一道题:“评价一个搜索引擎好坏的标准到底是什么?”这位刚成为武大名誉教授的李老师,承诺将回答优秀者收作自己的研究生。我对这
- 我们都知道外部链接可以提高网站权威、排名靠前,在搜索引擎面前,链接其实就代表投票,外部链接就是网站之间的互相投票,而内部链接则代表了网站内的
- 首次在站长站上写东西,就随便扯点吧,希望各位站长多指教,多交流!为什么我会把许三多与个人网站扯在一起呢?相信看过这部片子的人,应该都记得连长
- 我做互联网这个行业有5年了,一直做网站建设和推广销售。真正拥有自己的网站是去年。那时我是自己出来单干了,还有一个代理商赠送的一个代理平台,严
- Google 分析工具可以帮助您了解用户、流量来源、以及网站内容的表现。在掌握这些数据的基础上,您可以更有针对性地进行网站内容优化、增加流量
- 见到论坛里有部分朋友反映发布内容,内容缩略图选择为“站内选择”方式上传图片,上
- 现在网络上的术语太多了,不记一下还真容易犯糊涂。雅虎统计中有个“UV”这个简写名称,一开始还真没弄明白什么意思,后来查了一下,原来就是独立访
- 在使用Windows NT 4.0时,IIS就已经成为流行的Web服务器平台。IIS4.0是作为OptionPack4的一部分发行的,需要进
- 【导读】 在Linux上安装一个虚拟根环境化的Apache目录树是相当的简单的。这个例子使用的是Red Hat 6.*和Apache 1.3
- DNS服务器所提供的服务是完成将主机名和域名转换为IP地址的工作。为什么需要将主机名和域名转换为IP地址的工作呢?这是因为,当网络上的一台客
- (一)硬件准备一台HP ProLiant DL160 G5服务器(硬盘拓展到480G)一台个人电脑(windows操作系统)一个Lenovo
- 许多单位都已建立了局域网和广域网,并在网上运行业务处理程序。其实只要作一些简单配置就可以给公司员工提供新闻、信息浏览、传输文件、内部邮件、专
- 如何查看Godady E-gift card的余额呢?有些朋友说它们根本找不到,在哪儿查看Godaddy E-gift card的余额?余额
- 编者按:图形网络游戏鼻祖《万王之王》过去十年走过的历程,是中国网游发展史上的一面镜子。通过回顾它,我们能更清晰地还原过去所遇挫折与辉煌的本源
- 最新消息,康盛创想(Comsenz)官方将推出Discuz! 7.1版本,该版本在继承Discuz! 7.0版本经典基础之上进一步创新和完善
- 如今在浩瀚的互联网中,各类型的网站多如牛毛,全国性门户类有新浪,搜狐,网易,腾讯,网商类的有淘宝,拍拍,有啊,慧聪等等,社区论坛以天涯,猫扑
- 当提到内容的创意时,我们通常会把主要的注意力集中到提高内容可信度上,似乎我们正在写一些系列化的书籍,然而,博客并不是一本书。实际上,网上的博
- Internet/Intranet的网络应用过程中,Web服务器的建设必不可少,而国内的企事业单位在组网方案中多考虑向Intranet靠拢。
- 最近,一直想在腾讯进行视频认证,结果呢?老跳出,你未设置允许使用你的摄像头,我用了右键设置了的,可是还是没有用。后来到网上看了相关的东西,找