展现最优质内容 正确配置Robots文件（2）
作者：佚名 来源：互联网 发布时间：2009-01-14 17:13:00
标签：
三家都支持的Meta标签包括：
NOINDEX - 告诉蜘蛛不要索引某个网页。
NOFOLLOW - 告诉蜘蛛不要跟踪网页上的链接。
NOSNIPPET - 告诉蜘蛛不要在搜索结果中显示说明文字。
NOARCHIVE - 告诉蜘蛛不要显示快照。
NOODP - 告诉蜘蛛不要使用开放目录中的标题和说明。
上面这些记录或标签，现在三家都共同支持。其中通配符好像以前雅虎微软并不支持。百度现在也支持Disallow，Allow及两种通配符。Meta标签我没有找到百度是否支持的官方说明。
只有Google支持的Meta标签有：
UNAVAILABLE_AFTER - 告诉蜘蛛网页什么时候过期。在这个日期之后，不应该再出现在搜索结果中。
NOIMAGEINDEX - 告诉蜘蛛不要索引页面上的图片。
NOTRANSLATE - 告诉蜘蛛不要翻译页面内容。
雅虎还支持Meta标签：
Crawl-Delay - 允许蜘蛛延时抓取的频率。
NOYDIR - 和NOODP标签相似，但是指雅虎目录，而不是开放目录。
Robots-nocontent - 告诉蜘蛛被标注的部分html不是网页内容的一部分，或者换个角度，告诉蜘蛛哪些部分是页面的主要内容(想被检索的内容)。
MSN还支持Meta标签：
Crawl-Delay
另外提醒大家注意的是，robots.txt文件可以不存在，返回404错误，意味着允许蜘蛛抓取所有内容。但抓取robots.txt文件时却发生超时之类的错误，可能导致搜索引擎不收录网站，因为蜘蛛不知道robots.txt文件是否存在或者里面有什么内容，这与确认文件不存在是不一样的。
0
投稿猜你喜欢
- 一、前期准备一个成功的个人网站，先期的准备工作是很重要的，好的开始等于成功的一半。在这一阶段有两个主要的问题需要考虑。1、站点的定位：主题的
- 北京时间10月28日消息，据国外媒体报道，Facebook昨日召开了年度Facebook 开发者大会，表示Facebook用户十分热衷于游戏
- 选择“使用自定义共享和文件夹权限”，点击自定义按钮之后弹出自定义权限设置界面。在这里可以根据需要对不
织梦官方之前宣布将在7月31日发布旗下内容管理系统5.5GBK版，晚23时Dedecms 5.5 GBK版放出。5.31的升级版将在明日提供- 网赚网推荐的返佣赚钱项目以点击赚钱为主，点击赚钱虽说整体信誉不如冲浪赚钱，但做起来容易，单位时间收益高，加之一份时间可以同时做多个点击赚钱项
- 探讨观点：不要把网络营销当成公司唯一的销售渠道，请更加注重线上线下的“品牌建设及口碑营销”。首先，在这里我想强调一点：经营网站不要想着投机取
- ftp 文件传输服务，其余的不多讲了，直接进入主题。今天我给大家说的是使用vsftpd架设ftp服务器，希望对大家有所帮助。A 安装vsft
- 06下半年以来，对中国广大的站长来说，是具有特别意义的一年。中国的网络社区突然进入产业的冷静期，但是在这个艰苦阶段中，很多留下来的站长仍然坚
- 10月16日消息，AT&T昨天致函美国联邦通信委员会（以下简称“FCC”）称，谷歌试图忽悠忽
- DedeCms V5.3 发布后，相对于以前的版本，各方面都表现得比较完美，不过因为通用性原因，不可能同时满足所有用户的需求的，在以往，不少
- 正如我们之前所说的，我们一直在努力改进广告管理功能。现在，我们又推出了一些新的功能。隐藏功能我们收到很多发布商的反馈希望能够在管理广告页面添
- 瑞士数据保护专员星期五宣布，他将在有关于谷歌“街景”设施引起隐私担心的纠纷中把谷歌告上法庭。瑞士联邦
- 北京时间11月13日消息，据国外媒体报道，美国媒体巨头时代华纳周四在提交给美国证券交易委员会（SEC）的管理文件中称，旗下子公司AOL分拆工
- Windows系统内置的Internet 信息服务（IIS）对ASP具有良好的支持，因此在IIS中调试ASP网页是非常方便的。但有些朋友的网
- 您是否曾在查看报告时发现您展示的广告获得了一些点击次数，但却没有得到相应的收入？发布商经常就此问题向我们发送电子邮件或在我们的支持论坛上进行
- Windows Server自带的互联网信息服务器（Internet Information Server，IIS）是架设网站服务器的常用工
- 度过了经济危机最严重的时间，最近视频行业重新热闹起来。不过，我感到很纳闷——易观国际的数据说，200
- 登录到Godaddy，然后点解导航菜单 Domain Manager 然后在域名管理页面点击菜单中的 Panding Transfers 这
- 我做seo已经有些年头多了，做了一些比较成熟的网站，而且所在的网站公司相对来说也是还说的过去的。我现在在阿邦网做网站优化工作。在工作中，我会
- 2009年CNNIC的闹腾，把中国的CN域名给折腾OVER了，IDC的闹腾，把中国的网站给折腾OVER了，很多站长转战国外，购买国外主机的时
