屏蔽百度爬虫的方法
作者：williamlong 来源：月光博客 发布时间：2009-04-08 12:42:00
标签：淘宝,百度,屏蔽
在百度C2C产品“百度有啊”即将上线的时候，淘宝网站曾经屏蔽百度搜索爬虫，禁止百度搜索引擎抓取淘宝网站的网页内容，淘宝官方的解释是“杜绝不良商家欺诈”。
在技术层面，淘宝屏蔽百度的方法是，在网站的robots.txt文件中加上如下内容：
User-agent: Baiduspider
Disallow: /
但实际上这种方法并不能完全屏蔽百度的爬虫，至今在百度上输入site:taobao.com还是可以看到内容，要不要索引网站，还是由百度说了算，要是遵守robots协议，那才不会索引，因此要想完全屏蔽百度的爬虫，需要在.htaccess中加入一些语句才可以，下面介绍两种方法。
方法1：
RewriteEngine on
RewriteCond ％{HTTP_USER_AGENT} ^Baiduspider [NC]
RewriteRule .* - [F]
方法2：
SetEnvIfNoCase User-Agent "^Baiduspider" bad_bot
<Limit GET POST>
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</Limit>
当然，对于普通中文网站来说，还是不建议屏蔽百度的爬虫，通常情况下做一些大型的英文网站，才有必要这么做，以节省流量。
0
投稿猜你喜欢
- 最近google补充材料特别多，我个人感觉是google的算法有所调整，更多的网页被打入冷宫成为补充材料。在“Google“补充资料”成因及
全新推出的Discuz! 7.2版本从用户注册登陆应用、社区论坛前后管理两方面着眼，增加和改进了30多处与社区门户运营密切的功能与细节，实现- 在忙活了一段时间后，网站建成了，接下来作为一个新站站长的你首先想到要做的可能就是让自己的网站早点被搜索引擎收录，早点让访问者通过搜索引擎找到
- 11月11日早间消息，腾讯官方宣布，今天正式启用QQ群等级功能。QQ群等级将采用金色皇冠和数字作为标识。腾讯正式推出QQ群等级功能据了解，Q
- IDS是英文“Intrusion Detection Systems”的缩写，中文意思是&l
- 昨天IT龙门阵又一次请到了校内的负责人许朝军，上次他来龙门阵是2007年的圣诞节，上次来龙门阵的时候，他还没有这么牛X。这次来明显感觉不一样
- 你是否期待着你的博客蒸蒸日上，你是否热衷于建立一个大型的读者社区，甚至成为一个全职的职业博客作家，这些都需要博客有更大的影响力和更大的声誉，
- 自从唐骏先生出任金和软件董事之后，媒体记者问得我最多的问题是：金和软件接下来还要做什么？我要说的是，金和有很多事情会引起大家关注，有的事情还
- 世界上总有些事物值得大家去反复玩味，比如“美女”这码子事。古时候的《陌上桑》里写罗敷，只写“少年见罗敷，脱帽著鞘头……耕者忘其田，锄者忘其锄
- 【WordPress（或者说任何一个web-based app）可以参考的优化策略】单服务器优化策略：DB优化；缓存优化和页面加载速度优化（
- 北京时间11月8日消息，据国外媒体报道，微博客Twitter近日开始测试更便捷的信息转发功能，部分Twitter.com用户已经可以看到&a
- 对从事SEO（搜索引擎优化）的朋友来说，最难的就是当遇到挫折和问题的时候。文章里将列举出几种典型的情况，主要关注那些不是被搜索引擎惩罚的情况
- 由于提供了FTP下载而又限制了线程，所以总发现有人不断用多线程进行尝试，这样会大大增加服务器的负荷，这种事“损人不利己”！为了“惩罚”这种人
- 在寂寞天涯老师滴提点下，自己加了一个函数。现分享一下：本人只会ASP，不懂PHP，只能用举一反三的方法加自己想要的功能了。。。修改/incl
- 在网上看了一大堆资料，昨天终于在阿唐哥的帮助下配成了Linux（RH9）下的subversion。总结各路经验将安装配置过程写在下面：一、所
- 第一阶段 此阶段主要是能熟练地使用某种语言。这就相当于练武中的套路和架式这些表面的东西。 第二阶段 此阶段能精
- PJBlog自带附件上传功能每次只能传送一个文件，对于上传大量附件来说是一件比较麻烦的事情。最近发现一直有人在找在PJBlog中实现多附件上
- 北京10月16日电2008年12月24日台湾异想数位娱乐有限公司和大陆淘米公司签订合同。《摩尔庄园》在台正式上线。初期推广与大玩国配合，将摩
- 广告的位置完全决定了广告的点击率，以文章网站为例，文章正文放336*280是公认点击率最高的。有的人总是抱怨某项广告收益太低，也许就是因为广
- 7月PR更新前的准备工作1)PR更新前收集数据的时间:对于这个时间的把握不可能很准确，只是一个大概的推测，本次pr更新的时间可能是7月底 或
