展现网站最优质内容 正确配置Robots文件（2）
作者：佚名 来源：互联网 发布时间：2009-01-14 17:13:00
标签：
三家都支持的Meta标签包括：
NOINDEX - 告诉蜘蛛不要索引某个网页。
NOFOLLOW - 告诉蜘蛛不要跟踪网页上的链接。
NOSNIPPET - 告诉蜘蛛不要在搜索结果中显示说明文字。
NOARCHIVE - 告诉蜘蛛不要显示快照。
NOODP - 告诉蜘蛛不要使用开放目录中的标题和说明。
上面这些记录或标签，现在三家都共同支持。其中通配符好像以前雅虎微软并不支持。百度现在也支持Disallow，Allow及两种通配符。Meta标签我没有找到百度是否支持的官方说明。
只有Google支持的Meta标签有：
UNAVAILABLE_AFTER - 告诉蜘蛛网页什么时候过期。在这个日期之后，不应该再出现在搜索结果中。
NOIMAGEINDEX - 告诉蜘蛛不要索引页面上的图片。
NOTRANSLATE - 告诉蜘蛛不要翻译页面内容。
雅虎还支持Meta标签：
Crawl-Delay - 允许蜘蛛延时抓取的频率。
NOYDIR - 和NOODP标签相似，但是指雅虎目录，而不是开放目录。
Robots-nocontent - 告诉蜘蛛被标注的部分html不是网页内容的一部分，或者换个角度，告诉蜘蛛哪些部分是页面的主要内容(想被检索的内容)。
MSN还支持Meta标签：
Crawl-Delay
另外提醒大家注意的是，robots.txt文件可以不存在，返回404错误，意味着允许蜘蛛抓取所有内容。但抓取robots.txt文件时却发生超时之类的错误，可能导致搜索引擎不收录网站，因为蜘蛛不知道robots.txt文件是否存在或者里面有什么内容，这与确认文件不存在是不一样的。
0
投稿猜你喜欢
- 很显然，微软的放手并没有影响雅虎自己的计划。有消息称，雅虎将在本周中宣布与Google结成合作伙伴关系，在其搜索结果旁边放置Google提供
- 综述本文将讨论UNIX平台下，Apache WEB服务器安装和配置的安全问题。我们假定阅读本文的系统管理员已经针对自己站点的情况选择了相关的
- 资金不是第一难题记者：如何看待目前整个web2.0行业的问题？如资金短缺、盈利模式难题、风投相对缩减等。试用网徐乐：不要急躁，不要做虚假流量
- 网站备案是建立网站的当务之急。在各大论坛、QQ群都有人声称快速备案什么之类的。收费基本上载5RMB到20RMB不等。当然，如果你不会备案，出
- 程序，不仅在UNIX/LINUX平台上被大量使用，而且在Windows平台上也有许多站点放弃了IIS而转向Apache。.NET是微软推出的
- 在升级到WindowsSP2系统后，本人的电脑经常出现这种怪毛病，具体情况为:在上网时网关能够PING通，用Bitcomet下载文件也能够正
作为一个新站长,我实在不想写这篇文章. 但是今天我发现我的一个小炒作竟然成功了.所以还是和大家分享一下这20多天的建站历程.我的网站是一个图- 大多数人都有过这样的经历，在浏览网页的时候，经常不知误点哪个按钮，就会莫名其妙打开一个网站，这些网站或是“挂马网站”，只要点击就会中“木马病
- 当我们进入一个互联网信息社会的时候，我们忽然发觉已经离不开网络。网络由众多因素组成，其中很重要的一个元素就是网站。有个人网站、企业网站等等。
- 最近的一直为博客助手程序而烦恼操心。因为以前对于内容管理系统并不是太熟悉，只有初步的认识。先前使用国内空间时，也安装过动易、风汛等博友推荐的
- 最新消息，日前国内人气最高的非赢性互联网技术交流社区之一深度(http://bbs.deepin.org)成功升级。经过调整后的深度社区12
- 不同的站点对安全级别的要求不同，康盛创想(Comsenz)推出的Discuz!系统允许站点管理者，通过自定义配置文件中的 config.in
- Linux启动后出现boot:提示时，使用一个特殊的命令，如linuxsingle或linux 1，就能进入单用户模式(Single-Use
- 众所周知，QQ和MSN已经成为中国各阶层网民普遍使用的IM工具，而且这个市场还在扩大之中。根据中国互联网络信息中心(CNNIC)在今年1月发
- 这几天着实为sql注入漏洞伤了神，网上的代码好多不是很深奥就是麻烦。终于找到了万能防注代码，分享了，呵呵 。操作简单上手，只要来个包含或放入
- 1、添加网页标题（title）。为每页内容写5-8个字的描述性标题。标题要简练，去掉“the，” “and，”这些不重要的词汇，要说明该页面
- 在前段时间写过一篇是关于实际点击价格的计算的，最后得到de结论是，相对于无效点击，无效展示更加危险，这里我们将说一下无效展示的问题。什么是无
- 什么是ARP? ARP（Address Resolution Protocol，地址解析协议）是一个位于TCP/I
- Sun的Java系统Web服务器，是一款顶尖的关键任务级Web服务器。Sun的Java系统Web服务器（也就是以前的SunONEWebSer
- 1、单日志添加AD（如Google AD）WordPress中single.php是单篇日志模板，如果需要在单篇日志中加入GoogleAdS
