展现网站最优质内容 正确配置Robots文件（2）
作者：佚名 来源：互联网 发布时间：2009-01-14 17:13:00
标签：
三家都支持的Meta标签包括：
NOINDEX - 告诉蜘蛛不要索引某个网页。
NOFOLLOW - 告诉蜘蛛不要跟踪网页上的链接。
NOSNIPPET - 告诉蜘蛛不要在搜索结果中显示说明文字。
NOARCHIVE - 告诉蜘蛛不要显示快照。
NOODP - 告诉蜘蛛不要使用开放目录中的标题和说明。
上面这些记录或标签，现在三家都共同支持。其中通配符好像以前雅虎微软并不支持。百度现在也支持Disallow，Allow及两种通配符。Meta标签我没有找到百度是否支持的官方说明。
只有Google支持的Meta标签有：
UNAVAILABLE_AFTER - 告诉蜘蛛网页什么时候过期。在这个日期之后，不应该再出现在搜索结果中。
NOIMAGEINDEX - 告诉蜘蛛不要索引页面上的图片。
NOTRANSLATE - 告诉蜘蛛不要翻译页面内容。
雅虎还支持Meta标签：
Crawl-Delay - 允许蜘蛛延时抓取的频率。
NOYDIR - 和NOODP标签相似，但是指雅虎目录，而不是开放目录。
Robots-nocontent - 告诉蜘蛛被标注的部分html不是网页内容的一部分，或者换个角度，告诉蜘蛛哪些部分是页面的主要内容(想被检索的内容)。
MSN还支持Meta标签：
Crawl-Delay
另外提醒大家注意的是，robots.txt文件可以不存在，返回404错误，意味着允许蜘蛛抓取所有内容。但抓取robots.txt文件时却发生超时之类的错误，可能导致搜索引擎不收录网站，因为蜘蛛不知道robots.txt文件是否存在或者里面有什么内容，这与确认文件不存在是不一样的。
0
投稿猜你喜欢
- 1、apache中显示目录列表在http.conf中加入如下代码（如有虚拟主机配置，加在虚拟主机配置段内），并把主目录内的index.pho
- 前几天在网上看到这篇文章觉得挺有用的，就转载过来与大家一起分享一下！下面的要点可以让你仅仅依靠Google，在一年的时间里，打造一个成功的网
前两天，登陆我们的discuz论坛，跳转到uchome后院的时候，状态不是已经登陆上的，但在uchome里面登陆，跳转到discuz论坛，就- Godaddy主机用户怎样将自己选择的文档，移动到选择的目的的地方呢？下面我来简单的讲解一下：首先. 登陆Account Manager.第
- 服务器群集功能最早是为 Microsoft Windows NT® Server 4.0 操作系统设计的，这一功能在 Mic
- 在网页挂马历史中，图片挂马是非常“古老”的。为什么古老的挂马技术到现在还在大量被使用?为什么它能肆无忌惮?我们又该怎么防范它?身为一名安全工
- 本文介绍了使用Docker部署 spring-boot maven应用，分享给大家，具体如下：部署过程分为以下几个步骤:创建一个简单的spr
- 近日，笔者将学校服务器的操作系统升级为Windows Server 2003，在Web服务器的配置过程中发现了许多与Windows 2000
- 关键词的选择对于一个网站来说可谓是重头戏，它直接影响整个网站的SEO效果，关键词选择不得当，花再多的精力去推广都是徒劳。今天SKY来讲下如何
- 5月26日消息，据国外媒体报道，意大利的一位独立互联网安全研究人员Rosario Valotta发现微软IE浏览器中有一个安全漏洞，能够让黑
- 随着网站的日益增多，统计系统的重要性已经凸现出来，本文选择了站长常用的或是很有特色的几个网站统计系统，并进行测试和分析，希望能给站长一些参考
- named查询使用的是UDP协议和端口53。响应通过UDP返回，除非他们大于512K，这种情况使用TCP。服务器之间的“区传送”则都使用TC
- 在用TCP/IP协议族架设的网络中，每一个节点都有一个唯一的IP地址，用来作为它们唯一的标志。然而，如果让使用者来记住这些毫无记忆规律的IP
- 打个比方我删除了id是41的栏目，生成HTML时，生成到这个栏目时就出错，很不爽！！现在我们调整一下栏目id，把后面的提上来弥补41，也就是
- 老马说，你现在混日子，小心将来日子混了你。我们中的很多站长都在混日子，也许，我们仿佛找到了理想，伸出一把手却又没有抓住，一点感觉都没有似的。
- 先说明下为什么要写这篇文章，以及纠结于这个“小问题”。首先开启静态文件的gzip压缩非常有利用提高网站的访问速度，并且有效减少蜘蛛爬行静态页
- nt4.0下，如果将文件拷贝到别处，则文件的acl欣喜就丢失了，必须借助resource kit里面的scopy.exe程序，而WIN200
- 1、单日志添加AD（如Google AD）WordPress中single.php是单篇日志模板，如果需要在单篇日志中加入GoogleAdS
- 前言VMware在设置centos6共享文件夹的时候，只需要安装vmware-tools，然后在vmware里面配置共享文件夹即可，但是对于
- 我是一个菜鸟，很菜的那种，在网上下载了个程序，然后放到了网上，就那样放着很少管它。期间我经历了网站被人挂马，idc服务商虚拟主机不稳定，网站
