屏蔽百度爬虫的方法
作者：williamlong 来源：月光博客 发布时间：2009-04-08 12:42:00
标签：淘宝,百度,屏蔽
在百度C2C产品“百度有啊”即将上线的时候，淘宝网站曾经屏蔽百度搜索爬虫，禁止百度搜索引擎抓取淘宝网站的网页内容，淘宝官方的解释是“杜绝不良商家欺诈”。
在技术层面，淘宝屏蔽百度的方法是，在网站的robots.txt文件中加上如下内容：
User-agent: Baiduspider
Disallow: /
但实际上这种方法并不能完全屏蔽百度的爬虫，至今在百度上输入site:taobao.com还是可以看到内容，要不要索引网站，还是由百度说了算，要是遵守robots协议，那才不会索引，因此要想完全屏蔽百度的爬虫，需要在.htaccess中加入一些语句才可以，下面介绍两种方法。
方法1：
RewriteEngine on
RewriteCond ％{HTTP_USER_AGENT} ^Baiduspider [NC]
RewriteRule .* - [F]
方法2：
SetEnvIfNoCase User-Agent "^Baiduspider" bad_bot
<Limit GET POST>
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</Limit>
当然，对于普通中文网站来说，还是不建议屏蔽百度的爬虫，通常情况下做一些大型的英文网站，才有必要这么做，以节省流量。
0
投稿猜你喜欢
- 本人亲身经验,站长建站,百度最快11天3号就收录了,google慢点11月9号才收录,不过10天之内能收录还是归功于以下方法!1.在忙活了一
- Typecho默认情况是，评论列表里也列出博主的回复和评论，这个完全没有必要嘛。好在Typecho 0.8-10.8.15 正式版已加了评论
- 在本文中，作者主要介绍了黑客用于攻击网络的一些工具。通过了解这些黑客工具的使用方法，读者可以更好地保护自己网络的安全。为了帮助你更好地防范时
本次教程的前提条件是您得安装好VM软件和Xshell。对应软件的下载请自行百度！如果exe都不会安装，请关闭本页面！第一步、下载镜像阿里云开- 在主从复制模式的集群里，主节点一般是一个，从节点一般是两个或多个，写入主节点的数据会被复制到从节点上，这样一旦主节点出现故障，应用系统能切换
- 目前，在广大站长的殷切期盼下，康盛创想(Comsenz)旗下的UCenter Home(简称UCHome)体验站陆续推出了涂鸦版、凑热闹、在
- Google AdSense相信大家都很熟悉,想实实在在的通过做Google AdSense赚取美金,我们必须充分的了解Goog
- Oracle/支付宝/旺旺淘宝网作为个人网站发展的时间其实并不长，由于它太引人注目了，马云在2003年7月就宣布了这个是阿里巴巴旗下的网站，
- 簇是指可分配的用来保存文件的最小磁盘空间，计算机中所有的信息都保存在簇中。簇越小，保存信息的效率就越高。在FAT16文件系统中，每个分区最多
- Godaddy主机的Update Contact Information部分使你能够更新域名的联系信息。私人或者在设置中的域名联系信息无法更
- 从PHP5.2.10版本开始（现在有PHP5.2.10和5.3两个版本），有None-Thread Safe与Thread Safe两种版本
- 万千游戏玩家瞩目的“金翎奖”已经落下了帷幕，多项大奖花落各家，几家欢喜几家愁。金山软件一如既往的为玩
- 一，nfs服务优缺点NFS服务简介NFS 是Network File System的缩写，即网络文件系统。一种使用于分散式文件系统的协定，由
- 1、把系统安装光盘插入，重启机器，启动时迅速按下Del键，进入CMOS，把启动顺序改为光盘先启动，这样就启动了Linux安装程序，按F5，按
- 前言：最近在学习Linux和.Net Core，学习一些跨平台的知识。首先我用的虚拟机软件是VMware-15.1.0，Linux系统是Ce
- 最近在看腾讯新闻的时候，无意中发现，当我选中新闻中的文字的时候，鼠标右上角会显示一个“转播至微博”的按钮，点击后就会将选中的文字转发到微博上
- 一、按照网上的教程，安装Ubuntu 18.04还是会安装不上去，有同学就有疑问了，明明按教程来做，就是不成功报错如下：二、执行命令时加入s
- 现象大家在使用 Apache Spark 2.x 的时候可能会遇到这种现象：虽然我们的 Spark
- 男子刘某利用系统漏洞，骗购近10万元物品。昨天上午，他在朝阳法院少年审判庭受审时，面对检察官出示的口供和书证，坚称不认罪。检方指控称，去年4
- 目前在中文搜索引擎领域，国内的搜索引擎已经和国外的搜索引擎效果上相差不远。但是SWJ认为其技术能力等方面还是相差国外先进水平有一定的距离 不
