展现网站最优质内容 正确配置Robots文件
作者：佚名 来源：互联网 发布时间：2009-01-14 17:13:00
标签：
核心提示： 一个网站要建立好良好的形象，必定要“扬长避短”。通过robots.txt来限制蜘蛛的爬行页面，不让蜘蛛爬行质量比较低劣的网页。
Google，雅虎，微软就合作共同遵守统一的Sitemaps标准，又宣布，共同遵守的robots.txt文件标准。Google，雅虎，微软各自在自己的官方博客上发了一篇帖子，公布三家都支持的robots.txt文件及Meta标签的标准，以及一些各自特有的标准。下面做一个总结。
三家都支持的robots文件记录包括：
Disallow - 告诉蜘蛛不要抓取某些文件或目录。如下面代码将阻止蜘蛛抓取所有的网站文件：
User-agent: *
Disallow: /
Allow - 告诉蜘蛛应该抓取某些文件。Allow和Disallow配合使用，可以告诉蜘蛛某个目录下，大部分都不抓取，只抓取一部分。如下面代码将使蜘蛛不抓取ab目录下其他文件，而只抓取其中cd下的文件：
User-agent: *
Disallow: /ab/
Allow: /ab/cd
$通配符 - 匹配URL结尾的字符。如下面代码将允许蜘蛛访问以.htm为后缀的URL：
User-agent: *
Allow: .htm$
*通配符 - 告诉蜘蛛匹配任意一段字符。如下面一段代码将禁止蜘蛛抓取所有htm文件：
User-agent: *
Disallow: /*.htm
Sitemaps位置 - 告诉蜘蛛你的网站地图在哪里，格式为：
Sitemap:
0
投稿猜你喜欢
- 作为一种资源的组织和表达机制，Web已成为Internet最主要的信息传送媒介。因此Web的性能已经成为判断一个网站成功与否的一个重要评估标
- 现在做行业网站推广的朋友们都不会忘了软文推广，发在各站长站。的确，这是会带来不少的流量，只是我很难想到这些流量最终沉淀下来，甚至进一步成为注
- 在网络营销实战密码读者交流网站上，一个朋友问了一个关于首页链接的问题：“关于网站的逻辑结构，应该是和树型物理结构相吻合，也就是也就是由首页到
- 千万捐赠区台塑集团 1亿润泰集团 6500万富士康6000万元匿名公司 5000万中国移动4455 万香港赛马会3000万 李嘉诚基金300
- 在副业上花了太多精力了，是要回归正轨的时候了，时间不多了，加油干啊！现在用笔写不习惯了，只有在电脑上打出来才舒服。把笔记传上来，有了新知识点
- 第一个：发现，就是说要善于寻找和发现机会。机不可失，失不再来，机会在哪里?中国有句俗语，叫“缺什么，补什么”，也就是看互联网上还需要什么，今
- 中国人民银行县支行服务器(Windows NT)一般既作为单位内部局域网的域控制器，又担负着网上公文处理、共享资源管理和收发电子邮件等重要任
如果想创建一个拥有忠实读者的博客，博客的设计是非常重要的。但如果想获得一个专业的设计，在博客主题类型上将要花费不少。但是，你也可以试着寻找一- 据说，世界上每年由于垃圾电子邮件给人们带来的损失就高达数亿美元。在Windows操作系统中也许您已经尝够了垃圾邮件给您带来的苦头，让您防不胜
- 最近以来，许多关系老百姓衣食住行的B2C网站开始大量涌现，有在网上卖童装、卖衬衫、卖内衣、卖鞋子、卖米面粮油的，一应俱全。而一家以鞋业行业网
- 相对于Windows98系统Windows2000在系统的稳定性方面大大加强了，相对于WindowsXP操作系统Windows2000在硬件
- 2008新春大假宣告落幕。日前百度发布“2008春节热点报告”，报告通过对亿万网民的检索数据分析，反映了春节期间人们关注的焦点话题，如，春运
- 12月3日上午消息，28商机在线（28.com）母公司中网在线（OTC:CHNT）已在美国纽约OTCBB市场通过借壳的方式悄然挂牌交易。财报
- 10月23日消息 一面高调叫嚣“反盗版”，一面被法院裁定网络影视盗版第一案，在网络视频维权大戏中，正
- 我们一直致力于为发布商提供充足的数据信息，从而让您更好地了解自己的网站运营和广告效果。现在我们很高兴地告诉大家，AdSense 帐户将会融入
- 对于网络游戏，本人历来是不怎么喜欢，只因下载的客户端庞大。98年至今本人还一直保留着一款红色警戒游戏，既可以单机，也可以偶尔联网对垒一下。随
- 前段时间自己的一个网站进沙盒了，心里很是着急，现在这个网站终于走出google的沙盒了，现在和大家分享下 ，其实对待网站进沙盒如何让网站尽快
- 继阿里巴巴集团与深圳签署协议、在深圳建国际总部和南方总部后，互联网最大的中文搜索引擎——百度也有意在
- 这里将按照PJBLOG投放广告位置来讲解。由于PJBLOG采用UTF-8编码，所以编辑代码时请使用支持UTF-8编码的编辑器。一.在PJBL
- 新手站长，做站前一定要明确自己的站点主题是什么，即要清楚自己的站大方向是什么。还是一句老话，新站起步，别好高骛远!别想着一步登天，做综合类站
