Yupoo! 的网站技术架构分析
作者:Fenng 来源:Movoin Studio 发布时间:2008-07-11 20:47:00
又有机会爆料国内 Web 2.0 网站的架构了。这次是 Yupoo! 。非正式的采访了一下 Yupoo!(又拍网) 的创建人之一的 阿华(沈志华)同学,了解了一些小道消息。
作为国内最大的图片服务提供商之一,Yupoo! 的 Alexa 排名大约在 5300 左右。同时收集到的一些数据如下:
带宽:4000M/S (参考)
服务器数量:60 台左右
Web服务器:Lighttpd, Apache, nginx
应用服务器:Tomcat
其他:Python, Java, MogileFS 、ImageMagick 等
首先看一下网站的架构图:
该架构图给出了很好的概览(点击可以查看在 Yupoo! 上的大图和原图,请注意该图版权信息)。
关于 Squid 与 Tomcat
Squid 与 Tomcat 似乎在 Web 2.0 站点的架构中较少看到。我首先是对 Squid 有点疑问,对此阿华的解释是”目前暂时还没找到效率比 Squid 高的缓存系统,原来命中率的确很差,后来在 Squid 前又装了层 Lighttpd, 基于 url 做 hash, 同一个图片始终会到同一台 squid 去,所以命中率彻底提高了”
对于应用服务器层的 Tomcat,现在 Yupoo! 技术人员也在逐渐用其他轻量级的东西替代,而 YPWS/YPFS 现在已经用 Python 进行开发了。
名次解释:
YPWS–Yupoo Web Server YPWS 是用 Python开发的一个小型 Web 服务器,提供基本的 Web 服务外,可以增加针对用户、图片、外链网站显示的逻辑判断,可以安装于任何有空闲资源的服务器中,遇到性能瓶颈时方便横向扩展。
YPFS–Yupoo File System 与 YPWS 类似,YPFS 也是基于这个 Web 服务器上开发的图片上传服务器。
【Updated: 有网友留言质疑 Python 的效率,Yupoo 老大刘平阳在 del.icio.us 上写到 “YPWS用Python自己写的,每台机器每秒可以处理294个请求, 现在压力几乎都在10%以下”】
图片处理层
接下来的 Image Process Server 负责处理用户上传的图片。使用的软件包也是 ImageMagick,在上次存储升级的同时,对于锐化的比率也调整过了(我个人感觉,效果的确好了很多)。”Magickd“ 是图像处理的一个远程接口服务,可以安装在任何有空闲 CPU资源的机器上,类似 Memcached的服务方式。
我们知道 Flickr 的缩略图功能原来是用 ImageMagick 软件包的,后来被雅虎收购后出于版权原因而不用了(?);EXIF 与 IPTC Flicke 是用 Perl 抽取的,我是非常建议 Yupoo! 针对 EXIF 做些文章,这也是潜在产生受益的一个重点。
图片存储层
原来 Yupoo! 的存储采用了磁盘阵列柜,基于 NFS 方式的,随着数据量的增大,”Yupoo! 开发部从07年6月份就开始着手研究一套大容量的、能满足 Yupoo! 今后发展需要的、安全可靠的存储系统“,看来 Yupoo! 系统比较有信心,也是满怀期待的,毕竟这要支撑以 TB 计算的海量图片的存储和管理。我们知道,一张图片除了原图外,还有不同尺寸的,这些图片统一存储在 MogileFS 中。
对于其他部分,常见的 Web 2.0 网站必须软件都能看到,如 MySQL、Memcached 、Lighttpd 等。Yupoo! 一方面采用不少相对比较成熟的开源软件,一方面也在自行开发定制适合自己的架构组件。这也是一个 Web 2.0 公司所必需要走的一个途径。
非常感谢一下 Yupoo! 阿华对于技术信息的分享,技术是共通的。下一个能爆料是哪家?
作者: Fenng | 可以转载, 转载时务必以超链接形式标明文章原始出处和作者信息及版权声明
网址: http://www.dbanotes.net/arch/yupoo_arch.html


猜你喜欢
- 网络上有这样一种说法,说混血儿更聪明,后来又听说根据优生学的原理,血缘关系越远的个体进行基因配对,越能取得杂交优势。所以混血儿就会比较聪明。
- 对一个地方行业类门户网站来说,如果保持一个稳定的流量是个很重要的问题。很多类似的站点都存在着今天IP5000,明天有可能IP2000,后天1
- 本人是一个菜鸟级的算站长吧,本来做网站是要学习编程技术的,但是后来觉得没有实际运用有点不好玩,加上同事业余的时候也做了一个很好的网站,天天在
- IIS中增加URL Rewrite功能,最多人选用的是名为“ISAPI Rewrite“的软件,网上下载的破解版,其实破解不完善,最终会不能
- 今天逛网站逛到bbPress官网,看到bbPress更新到bbPress 2.0正式版,没事想下载来折腾了下。点击Download链接的时候
- Visual Firebug是一个编辑在线页面CSS样式的chrome插件。它的产生是为了让一些不会使用firebug的视觉、交互、运营等同
- 对于研究SEO(搜索引擎优化)的朋友来说,都喜欢研究收集整理一些SEO工具。有些SEO工具是查询性质的,也有一些黑帽性质的,秦爱在这里给出的
- 一、网赚成功要充分利用时间自从网站放上站长统计代码后,许多站长在网上每隔一小时或半小时,有的甚至十几分钟就打开网站后台流量统计数据,看看自己
- 垂直搜索是针对某一个行业的专业搜索引擎,是搜索引擎的细分和延伸,是对网页库中的某类专门的信息进行一次整合,定向分字段抽取出需要的数据进行处理
- 最近在研究Linux下Firewall的配置,发现配置好防火墙以后ftp就有问题了,一直都不能够用Filezilla 和 CuteFTP登录
- 进入mysql命令:mysql -u+(用户名) -p+(密码 )mysql语句命令后面一定要加“;”查询库名:show databases
- Godaddy主机用户想要把某个RSSfeed重新定位到另外一个地方的一个新的feed,需要在redirecting .htaccess文档
- 10月21日早间消息(常山)美国芯片公司Marvell推出ARMADA系列应用处理器。该系列产品专为新一代ARM指令集智能手机、智能本、消费
- 昨天,Google黑板报贴出了《Google搜索引擎优化初学者指南》的文章,给“SEO 初学者,我应该怎样改进我的网站?
- 英国一家游戏公司定于下月推出的一款网络游戏将监控摄像头连到互联网上,让游戏玩家从画面中寻找“不法行为&rdquo
- 有用户咨询GoDaddy的Linux主机如何设置高级目录权限,在此整理了份详细的教程更您参考。1、登陆你的Account Manager.2
- 由于众所周知而又没什么人知道的秘密,国内无数的博客个人站长都会选择在墙外的世界寻找购买网站虚拟主机(Web Hosting),因为经验告诉我
- 1、购买云服务器注册帐号,在产品页面选择合适的服务器,进入详细页面选择配置,购买。购买完成后进入管理控制台——云虚拟主机、ECS云服务器查看
- 首先这三家公司都是很有实力、很有信誉的公司,属于技术性比较好的公司。但是三家各有优缺点:parked.com是一家伟大的公司,做得早,资源多
- 怎样用google adwords赚钱呢?首先当然是要有一个google adwords帐户了,接着是充money了(现在好像有免费赠送50