Google教你正确设置robots.txt文件
作者：灵之舞 来源：hnfree.cn 发布时间：2007-12-18 17:06:00
一个正确的robots.txt文件，能让搜索引擎不抓取网站的某个不想让蜘蛛抓取的文件，也可以避免大量的复制网页对网站搜索引擎权重的影响。Robots.txt 协议标准介绍以前也已提到过，也可以访问robotstxt.org官方网站参考正确的设置方法，但对了一个新手来讲，正确设置一个robots.txt文件是一件比较头痛的事情。不必烦恼，google教你正确设置robots.txt文件。
对于一个网站管理者，拥有一个google帐号是非常有用的，google网站管理工具，全方位的为你诊断网页，google通过此工具，为你反馈网站存在的一些问题。至于google网站管理工具榜大的功能我就不一一介绍，这里来讲一下怎么利用google网站管理工具设置一个正确的robots.txt文件。
网站管理工具中工具下有一个分析robots.txt文件，此栏下google检查你网站是否有设置robots.txt文件，如果没有你也可以通过提供的测试robots.txt文件并试用更改功能来设置一个正确的robots.txt文件，把你想要禁止的文件或目录通过robots.txt格式制作好后，复制到google提供的robots区，然后你可以在robots.txt文件测网址区测试下你刚才写的robots.txt文件是否正确。此处还提供了移动索引抓取、图片索引抓取、抓取网以确定AdSense内容、抓取网页测量AdWords到达网页的品质等强大的功能。
有了googel网站管理工具，让你不必烦心robots.txt文件怎么去写，写得正不正确，也避免了写错robots而给网站带来不必要的创伤直接为网站管理者带来的经济损失!
0
投稿猜你喜欢
- 第一步：数据表修改首先将数据表中的keyword的varchar()改为varchar(任意长度，例如200)dede_archivesde
- 如今的网络日新月异，大大小小的网站层出不穷。各地方的网站，论坛也相继推出。地方网站的推出，要别于一般的网站。下面，跟大家一起分享关于地方网站
- Foxmail Server（FMS）是一款功能强大的邮件服务器软件，他提供了多种邮件服务，包括SMTP、POP3、LDAP等，并内建邮件扩
- 怎么知道域名是否被注册过或被K过呢？域名的注册也是有讲究的，其中最重要的就是看域名是否被搜索引擎k过。如果域名被注册过，且网站因为涉及到法律
- 现在做个人网站想成功，难也不难，不难也难。原因是现在网站太多了，想杀出一条大道是需要很大的魄力的，还有个人网站资金非常有限，不可能拿钱来砸，
- 虚拟服务器:对外它是单一的入口,对内有很多台计算机为它服务.对使用它的人来说,它是一台机器,有单一的入口点.具体的实现技术包括两种: 应用层
进入了web2.0后，apache的rewrite被广泛的应用，其中最方便的就是通过.htaccess文件来控制url转向、密码保护、自定义- 把日志安顿好之后，总结一下从PJBlog 搬家到 WordPress 的经验。首先感谢网友 NEO 陪我折腾，没有他的帮助我的搬家
- 很多站长都遇到过原先IIS6.0的配置被改变。这里我们详细介绍了在IIS6.0下怎么恢复配置IIS6.0有个导出配置的功能，但你却找不到界面
- 北京时间10月14日消息，据国外媒体报道，Twitter于昨日推出了“举报垃圾信息”的新功能，以打击
- 如果你是Godaddy主机用户，您想要您的帐户上有100个或者更多的域名，额外有些导航及组织特征可以帮助你管理你的域名。你可以使用BulkS
- 近期国内部分站点遭到了较大规模的拒绝服务(D.O.S)攻击(包括类似前期yahoo等大型国际网站所遭受的的DDoS攻击——分布式拒绝服务攻击
- 网络编辑，是网站内容的设计师和建设者，通过网络对信息进行收集、分类、编辑、审核，然后通过网络向世界范围的网民进行发布，并且通过网络从网民那里
- MDaemon Server 恢复被删除的垃圾邮件自学习目录：恢复方法：1、打开MD控制面板；2、工具栏 Security - Spam F
- 用过多的Flash要知道，由于搜索引擎技术原因，无法检索到Flash中的内容，因此，在网站中使用过多的Flash会适得其反。而且网站使用过多
- 写在前面标题党是网络上一小撮利用各种颇具创意的标题吸引眼球，以达到各种个人目的网民们的自发性组织。其主要行为简而言之即发帖的标题严重夸张，帖
- 访问iis时候出现一下错误服务器应用程序不可用 您试图在此 Web 服务器上访问的 Web 应用程序
- 世界上没有绝对安全的系统，即使是普遍认为稳定的Linux系统，在管理和安全方面也存在不足之处。我们期望让系统尽量在承担低风险的情况下工作，这
- 网站做了SEO优化，并且取得了好的搜索排名，如何让网站保持稳定排名防止被搜索引擎降权，是大多数站长关心的问题，今天向大家介绍一下如何防止网站
- 1、 要有坚定的恒心，“实验，实验，再实验”。做好搜索引擎优化不是一天两天的事情，要多改进网站的细节
