淘宝技术发展(引言)
作者:赵超 发布时间:2012-03-05 20:07:29
光棍节的狂欢
“时间到,开抢!”坐在电脑前早已等待多时的小美一看时间已到2011年11月11日零时,便迫不及待地投身于淘宝商城一年一度的大型网购促销活动——“淘宝双11购物狂欢节”。小美打开早已收藏好的宝贝——某品牌的雪地靴,飞快的点击购买,付款,一回头发现3000双靴子已被抢购一空。
小美跳起来,大叫一声“欧耶!”
小美不知道,就在11日零点过后的这一分钟内,全国有342万人和她一起涌入淘宝商城。当然,她更不知道,此时此刻,在淘宝杭州的一间办公室里,灯火通明,这里是“战时指挥部”,淘宝技术部的一群工程师,正在紧盯着网站的流量和交易数据。白板上是他们刚刚下的注,赌谁能最准确地猜中流量峰值和全天的交易总额。他们的手边放着充足的食物和各类提神的饮料。
一阵急促的电话声响起来,是前线部门询问数据的,工程师大声报着:“第1分钟,进入淘宝商城的会员有342万”。过一会工程师主动拿起电话:“交易额超过1亿了,现在是第8分钟。”接下来,“第21分钟,刚突破2亿”。“第32分钟,3亿了”。“第1个小时,4.39亿”。这些数据随后出现在微博上,引起一片惊呼。
“完蛋了!”突然有人大喝一声,所有的眼睛都紧张的盯着他,只见他挠挠头,嘿嘿的笑道“我赌的少了,20亿轻松就能过了,我再加5亿”,他跑去白板边上把自己的赌注擦去,写上25,接下来有人写上28,有人写上30,有人跑到微博上开下盘口,同事们纷纷转载 * 。接下来的这24个小时,战时指挥部的工程师们都不能休息,他们盯着网站的各种监控指标,适时的调整机器和增减功能。顶住第一波高峰之后,这些人开始忙里偷闲的给自己买东西,大家互相交流着哪家买的移动硬盘靠谱,哪家衣服适合自己的女朋友,不时的有人哀嚎宝贝被人抢了、信用卡额度不够了。同时,旁边白板上的赌注越下越大。
11月11日,这个棍子最多的日子被网民自我调侃的变成了一个节日——“光棍节”。而淘宝网又用疯狂的折扣促销给它赋予了另外一个意义——“购物狂欢节”。2011年11月11日这一天,淘宝商城与淘宝网交易额之和突破52亿,这个数字是“购物天堂”香港一天零售总额8.5亿的6倍。
网民感受到的是疯抢的喜悦,而网站的技术人员感受到的却是“压力山大”。就如同你家办酒席,宴请左邻右舍,这个办起来容易。倘若宴请十里八乡所有的人,吃饭的人自然开心,但却不是一般人家能够办得起来的。能办得起来如此盛宴者,需要强大的财力物力、组织能力、技术实力(例如做这么多菜,你的炒锅一定要是“分布式的”、“可复制的”、“可扩展的”,洗菜切菜要有“工作流引擎”,上菜的路径要用图论来计算出来,甚至连厨房的下水道都要重新设计)。
淘宝能够举办如此盛宴,网站的技术实力可见一斑。淘宝网拥有全国最大的hadoop分布式计算集群之一,日新增数据50TB,有40PB海量数据存储。分布在全国各地80多个节点的CDN网络,支持的流量超过800Gbps。淘宝的搜索引擎能够对数十亿的商品数据进行实时搜索,另外还拥有自主研发的文件存储系统和缓存系统,以及java中间件和消息中间件系统,这一切组成了一个庞大的电子商务操作系统。另外从商业数据上来看,AMAZON的财报显示2011年完成了大约 480亿美金的交易额,EBAY2011年财报全年完成了大约600亿美金的交易额(不包括其独立的汽车交易平台)。不管从交易额、商品数量、同比增速等指标上看,淘宝网均远超于此,是目前全球最大的电子商务平台。(由于淘宝非上市公司,未公布2011年业绩,以上内容来自淘宝网技术副总裁@_行癫 的微博)
以上这些技术数据可能已经让一些同学产生不适的感觉,为了让更多的人读懂这本书,我们从技术的角度来看,小美访问淘宝网的时候,网站上发生了什么事情。下参考资料:《你刚才在淘宝上买了一件东西【技术普及帖】》,来自南京邮电大学孙放同学
为了有个更直观的对比,我们说一个同行,他在2011年光棍节之前做促销,流量上去之后,达到12Gbps(他们有这么大的流量,老板很高兴,在微博上面说了这个数据),这时候流量达到了极限,网站几乎挂掉,用户无法下订单。而淘宝网光棍节当天网络的流量最高达到800多Gbps,带给各家银行和快递公司的流量也让他们压力山大,如临大敌(后来,他们以能够撑住淘宝带来的流量为荣而到处宣传)。另外如果你在网上购买过火车票的话,更能体会到网站能支持多大的流量有多重要。但这不是一朝一夕做出来的,也不是有钱就能办到的。
以上对比的这些网站,也许读者很容易就猜到是哪一家,这里拿出来作对比,绝对没有嘲笑人家的意思,采用通常的网站技术方案,能做到这种程度已经不错了。任何网站的发展都不是一蹴而就的,在什么样的阶段采用什么样的技术。在发展的过程中网站会遇到各种各样的问题和业务带来的压力,正是这些原因才推动着技术的进步和发展,而技术的发展又会反过来促进业务的更大提升。二者互为因果,相互促进。如今淘宝网的流量已经是全球排名第12、国内排名第3(美国的ebay全球排名23,国内前两名是百度和腾讯)。淘宝网的系统也从使用一台服务器,到采用万台以上的服务器。本书就为大家描述淘宝网在整个发展过程中,所有的主动和被动的技术变革的前因后果,这由很多有趣的故事组成。
正如同很多人或组织成功了以后,就会为自己的出身编造一个美丽的传说。淘宝网的出身,网上也有非常多的传说,下面我们就从它的出生开始讲起。
作者:赵超
文章来源:赵超的博客
猜你喜欢
- 11月13日,据国外媒体报道,Google曾于今年7月宣布了Chrome操作系统项目,而现在有可靠消息称,Google将于一周内发布该操作系
- 10月16日消息,研究机构ComScore指出,Google与微软上个月美国网络搜索市占率连袂上升,只有雅虎不增反减。数据显示,Google
- Discuz!NT即将推出最新的版本。从官方了解到,作为康盛创想(Comsenz)旗下的核心产品,Discuz! NT 3.0将携带四大功能
- 网站信息排名决定因素,为何排在搜索引擎的第一页或第一名呢?1.本网站要发布的信息要多2.本网站要发布的信息一定要新3.一定要发不同的描述信息
- 内容摘要:近年來因爲 FLASH 优美的视觉效果和广阔的创意空间,FLASH 技术在网页设计和网络广告中的应用
- 常用组件主要包括Aspjpeg、Jmail、LyfUpload、动易、ISAPI_ReWrite等,本文就仅说这5种,其他类型组件可以根据需
- 论坛营销是指网络营销人员寄宿在第三方论坛利用长期回答用户的提问,来建立自己在行业论坛中的信誉度以及地位,在推广个人的同时,更好的宣传自己的网
- 前言c c++ 等等 需要这个编译器gcc,最近有DBA的朋友咨询RHEL7.6操作系统安装Mysql数据库时需要 高版本的GCC,研究了下
- 一.要保证网络连接方式是桥接要选中复制物理网络连接状态二.编辑网卡文件vim /etc/sysconfig/network-scripts/
- 前一篇折腾了node.js,这一次折腾下Redis和Mongodb,这样基本就安装好nodejs的整套开发环境了。Redis在CentOS下
- 使用下面的步骤来设置ftp进行日志记录:1.# cp /etc/inetd.conf /etc/inetd.conf.bak2.# vi /
- 在互联网web1.0时代,常用的网络营销有:搜索引擎营销、电子邮件营销、即时通讯营销、BBS营销、病毒式营销;但随着互联网发展至web2.0
- 12月2日消息,据国外媒体报道,Facebook创始人马克·扎克伯格(Mark Zuckerberg)周一宣布,Facebook全球用户突破
- 看过一篇文章,作者揭秘了Google AdSense的收入的核心技巧,同样为了读书认真,所以就撰写了下面的读书笔记:比Google AdSe
- 国防部新闻事务局设立、新闻发言人亮相……近年来,中国军队举措频频,以开放、务实、活跃的姿态引人注
- 在 beta3 的时候,我用 hd.img 制作了一张引导软盘,并且用 iso 文件来安装。这次,我准备变换一种方式,不用再制作软盘了。 上
- 基本步骤:分区——格式化——挂载——写入文件1、首先用fdisk -l命令查看添加的硬盘名称,可以看到sdb为新增的硬盘[root@orac
- 作为好用的终端模拟器,Xshell经常被开发者用来远程管理主机服务器,为了更加高效地进行操作,我们可以添加一些快捷命令,从而运用命令来操作。
- 现在网赚其实已经很流行了,但是多数学生只了解其表面,根本不懂其真实内容,记得原来我高中的时候看到有个网站上出现网赚这个词,是发展下线那种的,
- 在Apache下的日志简介Apache提供了广泛记录运行时各方面信息的工具。比如有条件性的记录日志,日志循环,确定IP地址等时普遍会遇到的问