展现网站最优质内容 正确配置Robots文件
作者：佚名 来源：互联网 发布时间：2009-01-14 17:13:00
标签：
核心提示： 一个网站要建立好良好的形象，必定要“扬长避短”。通过robots.txt来限制蜘蛛的爬行页面，不让蜘蛛爬行质量比较低劣的网页。
Google，雅虎，微软就合作共同遵守统一的Sitemaps标准，又宣布，共同遵守的robots.txt文件标准。Google，雅虎，微软各自在自己的官方博客上发了一篇帖子，公布三家都支持的robots.txt文件及Meta标签的标准，以及一些各自特有的标准。下面做一个总结。
三家都支持的robots文件记录包括：
Disallow - 告诉蜘蛛不要抓取某些文件或目录。如下面代码将阻止蜘蛛抓取所有的网站文件：
User-agent: *
Disallow: /
Allow - 告诉蜘蛛应该抓取某些文件。Allow和Disallow配合使用，可以告诉蜘蛛某个目录下，大部分都不抓取，只抓取一部分。如下面代码将使蜘蛛不抓取ab目录下其他文件，而只抓取其中cd下的文件：
User-agent: *
Disallow: /ab/
Allow: /ab/cd
$通配符 - 匹配URL结尾的字符。如下面代码将允许蜘蛛访问以.htm为后缀的URL：
User-agent: *
Allow: .htm$
*通配符 - 告诉蜘蛛匹配任意一段字符。如下面一段代码将禁止蜘蛛抓取所有htm文件：
User-agent: *
Disallow: /*.htm
Sitemaps位置 - 告诉蜘蛛你的网站地图在哪里，格式为：
Sitemap:
0
投稿猜你喜欢
- 90年代末的网络广告商狂热的推崇条幅广告，他们把大笔的钱投入进来到这些大幅的五彩的广告上，许多网站主也因此实现了在海滩悠闲的吸吮龙舌兰酒的梦
- “人肉搜索”引擎是近年来在互联网兴起的一种资料搜索方式，很多人把它误会成单纯的“寻人”机制，而实际上“人肉”的内涵远不止如此，它更多时候代表
- 安装配置apache21.到apache(www.apache.org)官方网站下载最新的源代码包2.用tar -zxvf apache_[
- 首先，你的拥有一个有泛域名解析的顶级域名，例如： domain.com其次，在 httpd.conf 中打开 mod_rewrite之后，在
- 代理共享上网和控制 * 权限，界面友好，设置简单，功能强大。支持Modem代理/ADSL代理/宽带代理/Cable Modem代理等方式共
PCIE有四种不同的规格，通过下图来了解下PCIE的其中2种规格 查看主板上的PCI插槽# dmidecode | grep --- 从尊重开发者劳动成果来说，不应该去掉版权信息，但版权信息真的不美观，所以可以换成适合模板的美观的版权信息。同时本方法仅供学习使用，不得用于任
- 推荐一款“微软”出品增强型“日期和时间”（Microsoft Chinese Date & Time），我们现在用的系统，自带的“日
- WordPress绝对是CMS界的佼佼者，而且在去年一年取得了巨大的进步，用户数得到进一步的扩大。越来越多的站长普遍关注的一个问题就是SEO
- 花了半个多小时的时间输入，打得手都疼了，希望能对大家有所帮助。*/ ------------------------------------
- VMware 8虚拟机+汉化包+注册机下载地址：https://www.jb51.net/softs/377756.html可用序列号：MV
- 具备内置 Web 与虚拟化技术的 Microsoft Windows Server 2008 使企业能够大幅提升其服务器基础架构的可靠性与灵
- 在员工平均年龄非常年轻的网游企业，如何通过IT激励员工的创造力，并且创造稳定的工作环境？几乎每周五，盛大网络发展有限公司CEO陈天桥都会现身
- 1、apache中显示目录列表在http.conf中加入如下代码（如有虚拟主机配置，加在虚拟主机配置段内），并把主目录内的index.pho
- 一，VMware Workstation下的linux：1、更新源（非必须）vi /etc/apt/sources.list调整国内的源地址
- 硅谷IT初创型公司Cuil已经成功获得第二轮风投2500万用于开发“新型搜索引擎”Cuill.团队核心领导人表示将正式向google发出挑战
- 10月14日消息，据国外媒体报道，今年第二季度，中国网络游戏收入同比增长了39.5％至9.06亿美元，腾讯公司上升至榜首，领先于竞争对手盛大
- 做SEO的一个基本工作就是每天都要关注自己的网站以及竞争对手网站的数据更新，今天我也是毫不例外的打开查询工具，赫然发现PR上升、百度大更新、
- 作为草根的我们，在辛辛苦苦连续奋战几天几夜或更长时间后，自己的网站终于诞生了。他就像自己孩子一样，用自己全部的爱呵护着，培养他长成苍天大树。
- 最近看电脑太多了，少有活动，到处酸痛，看来要多做运动。正好看到这个电脑操，一起运动一下。1、伸伸懒腰，松松骨，每小时都要做 2、推
