如何控制Yahoo! Slurp蜘蛛的抓取频度
发布时间：2012-03-20 21:52:20
上周末豆瓣的阿北给我电话：最近你们雅虎的蜘蛛（Yahoo! Slurp）对豆瓣网的抓取频度非常高，导致服务器的速度有些慢，如何才能让Slurp降低抓取频度呢？
我首先想到的建议是在网站的robots.txt中增加Crawl-delay: 设置，这个设置是目前Slurp独有的，用来告诉Slurp蜘蛛2次访问之间的间隔，单位是秒。
剩下的问题就是Crawl-delay的值该设置多大，这个要看网站自身可以承受的负载，假设你希望Slurp每10秒来访问一次，这个设置就是：
User-agent: *
Crawl-delay: 10
我推荐使用 User-agent: * 万一有其他引擎逐步也支持这个配置呢，而不支持这个配置的引擎也会跳过这句。
可实际上我从自己网站的日志中看到：Slurp的压力却不止10秒一次，原因是这样：雅虎美国和雅虎中国有2套蜘蛛在运行，因此实际的访问可能是这样：
1.1.1.1 30/Jun/2006:00:00:03 Yahoo! Slurp China
2.2.2.2 30/Jun/2006:00:00:04 Yahoo! Slurp
1.1.1.1 30/Jun/2006:00:00:13 Yahoo! Slurp China
每个蜘蛛都是遵循Crawl-delay间隔的，因此为了进一步降低Slurp压力，希望达到10秒一次请求的频道 实际的Crawl-delay配置就要*2。
但是实际上我看到的雅虎的蜘蛛是分布在很多台服务器上的：而多个服务器集群之间也是不相互协调同一网站的抓取频度的
1.1.1.1 30/Jun/2006:00:00:03 Yahoo! Slurp China
2.2.2.2 30/Jun/2006:00:00:04 Yahoo! Slurp
1.1.1.1 30/Jun/2006:00:00:13 Yahoo! Slurp China
1.1.1.2 30/Jun/2006:00:00:13 Yahoo! Slurp China
1.1.1.1 30/Jun/2006:00:00:23 Yahoo! Slurp China
1.1.1.2 30/Jun/2006:00:00:27 Yahoo! Slurp China
我统计了一下：Slurp来源于40多个IP网段，同网段内的蜘蛛协调抓取频度。因此：实际的Slurp设置，需要设置为10*40 = 400秒，才能达到期望的Slurp每10秒访问一次频度。
给豆瓣推荐的Crawl-delay: 100 平均2.5秒访问一次，应该没有问题了。
另外，雅虎搜索的帮助中心刚刚改版，专门增加了站长专区，可以去看看。
注：我查了一下Slurp的意思，就是咂吧嘴的声音，发音听着很像在吃面条吧？
0
投稿猜你喜欢
2008年，伴随着免费开源的SNS建站产品UCenter Home的推出，国内产生了诸如同事录、5G、空姐网、站长俱乐部、大学生、社交游戏等- 最近学习Virtualbox的一些知识，记录下，Virtualbox下如何实现主机和虚拟机之间文件夹共享及双向拷贝关于双向拷贝1.设置虚拟机
- 其实学生站长是幸福的，因为你们没有经济的强大压力。其实学生站长前途是光明的，因为你们有的是青春年华。其实学生站长是充满活力的，因为新点子，新
- 有关VPN客户机的一个常见的错觉是认为它们是在VPN网络上连接到企业网络的工作站。这种工作站肯定是一种VPN客户机，但是，它并不是惟一的一种
- 相信做网站的朋友都很关心搜索引擎的收录，每天查看收录已经成为一种习惯，我们一般都是用site:www.aspxhome.com的形式来查看，
- 1.密码保护的.htaccess文件 尽管有各种各样的.htaccess用法，但至今最流行的也可能是最有用的做法是将其用于网站目录可靠的密码
- LNMPA中Apache的/root/lnmpa status问题解决方法高手请无视，小白可借鉴。问题描述：LNMP0.7升级到LNMPA后
- Corel旗下的WinZip Computing 公司今天宣布推出 WinZip 14.0。WinZip 14全新支持微软Windows 7
- 衣服宽松一些看着更舒服了，广告也是，大一点的广告往往效果更好请记住 AdSense的三种“王牌”广告
- 留白是纸质媒体经常使用的一个技巧。例如报纸版面在配置的时候，并非填充的越满越好，适当的留些空白，不仅美化了版面，而且保证了优质的用户体验。在
- shutdown命令用来系统关机命令。shutdown指令可以关闭所有程序，并依用户的需要，进行重新开机或关机的动作。语法shutdown(
- 令众多腾讯QQ用户期待已久的QQ2008正式版将于6月16日对外发布，目前已经邀请部分用户参与内测。据了解QQ2008 正式版本新
- 其实非常简单，在5.1版本中，修改文件是：在include文件夹里找到inc_functions.php。但是从5.3版本开始，织梦变了系统
- 1、关闭Hyper-V【控制面板】-> 【程序】-> 【启动或关闭Windows功能】->关闭【Hyper-V】2、关掉
- 建立CS游戏服务器在CS游戏目录中，找到hlds.exe文件，创立快捷方式。右键单击快捷方式图标，察看快捷方式属性。在“
- 北京时间11月13日消息，据国外媒体报道，谷歌旗下视频共享网站YouTube周四表示，从下周开始，该网站将支持1080p格式的全高清视频内容
- 又是一个黎明的到来，我已经数不清有多少个这样的黎明是在我坐在电脑面前来临的。仔细一想，我进入站长这圈子已经有1年多了。
- lvs+keepalived是什么？ keepalived工作原理keepalived是集群管理中保证集群高可用的一个服务软件，其功能类似于
- 二. 采用数据库存储 目前，Apache、PHP4、MySQL三者是Linux下构建Web网站
- 疑似谷歌操作系统LogoGoogle Chrome界面北京时间10月14日中午消息，据国外媒体昨日报道，一位用户得到了谷歌Chrome OS
