禁止某些垃圾搜索的蜘蛛访问跟图片访问
发布时间:2012-03-20 21:53:02
标签:禁止,蜘蛛,抓取
最近流量飙升,而且半夜的时候服务器居然居然报错连接太多,查了下日志发现有道蜘蛛也在爬,当然Sosospider也是比较臭名昭著的,因为这些搜索用的人不多,价值也不大,所以我决定用robots.txt来禁止蜘蛛,不知道有用没有?据说Sosospider是照样无视robots.txt直接抓取的...
根目录public_html/下上传robots.txt,而public_html/bbs是我的PW论坛.
我的robots.txt写法:
User-agent: sogou spider2
Disallow: /
User-agent: YodaoBot
Disallow: /
User-agent: Sosospider
Disallow: /
User-agent: *
Disallow: /bbs/attachment/
Disallow: /bbs/attachment/.jpg$
Disallow: /bbs/attachment/.jpeg$
Disallow: /bbs/attachment/.gif$
Disallow: /bbs/attachment/.png$
Disallow: /bbs/attachment/.bmp$
意思是:禁止了搜狗,SoSO,还有有道的蜘蛛,另外PW bbs下的附件禁止所有蜘蛛访问,禁止采集图片..
不知道我这样写法有无错误?知道的来说说~
0
投稿
猜你喜欢
- 在Google Earth 5.1测试版发布时就已改进了软件运行的速度,尤其是移动和转换地点时地图的更新速度明显提高。近日官方发布5.1正式
- 之所以说做网站站长就是这样一步一步练成的是因为是这样的,好好做下去,每天都坚持不懈的更新网站应该会有好回报。2007年在一朋友的介绍下我加入
- 据 * 的报道,最近数以万计的Web站点被黑,并挂马。这些站点中甚至包括一些来自UN和英国政府的站点。攻击者很有可能是在借助IIS漏洞进
- 现在搜索引擎越来越重视网站的质量了,对于一些小网站的惩罚更是毫不手软,很多站长都被搜索引擎惩罚过,也有一部分网站经过改善后又重新被收录,并且
- 概要 本文分步介绍如何使用 Internet 信息服务 (IIS) 5.0 授予对 Web 内容的 Web 服务器权限。 您可以对服务器
- 5月26日消息,据国外媒体报道,意大利的一位独立互联网安全研究人员Rosario Valotta发现微软IE浏览器中有一个安全漏洞,能够让黑
- 9岁上中学,14岁以650分的高分考入电子科大,大学期间参加国际科学计算机组织程序设计大赛获银奖,17岁被百度以10万元起步年薪相中……电子
- 对于URL渠道,大家可能比较熟悉,当您有多个网站的时候,URL渠道可以跟踪不同网站的表现。而对于自定义渠道,可能有些人还不太熟悉。自定义渠道
- 网站要有好的排名。除了网站内部结构合理外。外链也是一个非常重要的因素。因为外链是提高网站PR值很重要的一步。而PR值直接影响网站的排名。说到
- SNMP(Simple Network Management Protocol,简单网络管理协议),用来对通信线路进行管理。在Windows
- 百度知道在9月25日发公告表示,部分“分类管理员”开始试用转移问题分类权限。今天,我们找到了两张转移
- 现在主机商是遍地开花,怎么去选择主机?一个网站,选择一个质量好的虚拟主机就有关重要。因为很多主机商,在购买之前,和购买后所能实现的东西是根本
- 通常,你可以通过模块设置中的“菜单分配(Menu Assignment)”将模块分配给某些菜单项,以在它们对应的页面里显示。但有时你想将模块
- Godaddy主机用户使用Hosting Control Center里的File Manager,可以以名称、大小、修改的数据或者文档类型
- 今天闲来无事搜索自己的网名,这一搜不要紧竟然发现自己的一篇文章被n多人转载了,这之前我都没看到自己投递的文章通过了,(大半夜随手写完就睡觉了
- 无论是按照点击付费的广告还是按照展示付费的广告,google AdSense广告投放的位置对广告收益都至关重要。广告位置处于网页的注意力强势
- 见到论坛里有部分朋友反映发布内容,内容缩略图选择为“站内选择”方式上传图片,上
- 好久没写博客,懒得写。自己不写,倒是看了很多。基本都不靠谱。越发觉得国内的互联网业界浮躁,很少出现让我惊艳如美国的danah boyd。她在
- Linux系统中的Netfilter提供了一个抽象、通用化的框架,该框架定义的一个子功能的实现就是包过滤子系统,框架包含以下五部分:1. 为
- 跨站脚本的名称源自于这样一个事实,即一个Web 站点(或者人)可以把他们的选择的代码越过安全边界线注射到另一个不同的、有漏洞的Web 站点中