展现最优质内容 正确配置Robots文件
作者：佚名 来源：互联网 发布时间：2009-01-14 17:13:00
标签：
核心提示： 一个网站要建立好良好的形象，必定要“扬长避短”。通过robots.txt来限制蜘蛛的爬行页面，不让蜘蛛爬行质量比较低劣的网页。
Google，雅虎，微软就合作共同遵守统一的Sitemaps标准，又宣布，共同遵守的robots.txt文件标准。Google，雅虎，微软各自在自己的官方博客上发了一篇帖子，公布三家都支持的robots.txt文件及Meta标签的标准，以及一些各自特有的标准。下面做一个总结。
三家都支持的robots文件记录包括：
Disallow - 告诉蜘蛛不要抓取某些文件或目录。如下面代码将阻止蜘蛛抓取所有的网站文件：
User-agent: *
Disallow: /
Allow - 告诉蜘蛛应该抓取某些文件。Allow和Disallow配合使用，可以告诉蜘蛛某个目录下，大部分都不抓取，只抓取一部分。如下面代码将使蜘蛛不抓取ab目录下其他文件，而只抓取其中cd下的文件：
User-agent: *
Disallow: /ab/
Allow: /ab/cd
$通配符 - 匹配URL结尾的字符。如下面代码将允许蜘蛛访问以.htm为后缀的URL：
User-agent: *
Allow: .htm$
*通配符 - 告诉蜘蛛匹配任意一段字符。如下面一段代码将禁止蜘蛛抓取所有htm文件：
User-agent: *
Disallow: /*.htm
Sitemaps位置 - 告诉蜘蛛你的网站地图在哪里，格式为：
Sitemap:
0
投稿猜你喜欢
- Google的成功首先是技术的成功，Google的服务创造了无可争辩的社会价值。但是，公司的商业成功与否并不总是由其创造的社会价值所决定的(
- 我们在浏览某些网站的时候，看到不错的网页可能就想把上面的内容给复制下来，但是有的网站就是为了防止别人复制，而在每段文字的结尾处增加了干扰码—
- 在不少人眼里，登录服务器也许是一件简单得几乎不值得一提的事情！可事实并非想象中那样简单轻松，在不同的服务器登录环境中，我们或许会遇到许多不同
- C.对表的内容的一些说明 mysql> use po
- 你是否在计划给网站换一个新的域名？（比如，从www.doumiao.net换成www.doumiao.com）更换域名和更换服务器空间是完全
- 如果你的服务器是2003的，它默认只支持.net,不支持asp所以须进行以下操作：打开iis6.0里面的本地计算机->web服务扩展把
为了满足广大企事业用户的人才招聘管理需求，动易SiteFactory™ BizIdea™ 2.5企业版特别增加了人才招聘管理模块，从发布招聘- 下述设置以时钟源服务器IP地址为192.168.0.1为例。可以命令ntpstat 和 ntpq -p 查看本机NTPD服务状态。配置完成后
- 内容摘要：今天检测网页收录情况时，惊讶的发现，google补充材料更新了，谷歌取消了网页补充材料标记了，从表面看，原先被列为补充材料的大量网
- Apache根据著名的WWW服务器调查公司所作的调查，世界上百分之五十以上的WWW服务器都在使用Apache，是世界排名第一的WEB服务器。
- 本规则支持白名单排除式防盗链，搜索引擎友好不屏蔽，被盗链后的错误提示转向，支持各种文件类型，经作者亲验真的能用。近来小站遇到了盗链问题，至使
- 站长网今天接到一位站长紧急求助，说其所租用某著名IDC的一台服务器被关闭，连数据也不给转。经过站长网与其客服联系过后得知，其所在的服务器被查
- Google广告管理系统是一套在线广告管理系统，可以帮助广大网站主全面提高网站广告收益。通过这个系统，网站可以很方便的管理和投放网站广告，包
- 如果要设置新建网站默认.NET版本，就在这里修改在确保你已经安装两个以上的.NET版本后如果看到ASP.NET选项卡的ASP.NET版本为灰
- 最近做E-Markting难免提到SEO，本意不是想和SEO势不两立，相反我的SEO意识很好，而且一直认为SEO是技术含量很高的东西。零星了
- 本报讯(记者 敖祥菲) 昨日，在2008百度世界大会的开场发言中，百度公司总裁兼CEO李彦宏用将近一半的演讲篇幅来讲述大洋彼岸充满火药味的总
- 老谢今天来说说怎么找到新闻点来写软文.希望对大家企业软文推广提供些帮助!1、 产品。如果你的企业开发了非常有价值的新产品，这也许就是一个大大
- 今天上午在整理邮件的时候，看到谷奥的消息“Google Dashboard正式上线”，这样的一款服务
- 在谷歌于5月份推出的“搜索选项”中，有一个根据时间来限制搜索结果的功能，用户可以根据默认的“任何时间”、“去年”、“上周”、“最近”或者“过
- 最近有不少关于DNS Cache 的帖子，让我学到了不少技巧，汇总一下。Q：如何查看 BIND DNS Server 的 Cache：A：在
