robots.txt使用技巧
作者：小可 来源：doumiao.net 发布时间：2008-04-28 13:06:00
robots.txt文件的功能非常有限，它并不能诱使蜘蛛在你的网站上花费更多的时间或者访问更多的页面。但如果你知道robots.txt的一些使用技巧，你可以更大的发挥robots.txt文件的作用。
1. 每当用户试图访问某个不存在的URL时，服务器都会在日志中记录404错误（无法找到文件）。每当搜索蜘蛛来寻找并不存在的robots.txt文件时，服务器也将在日志中记录一条404错误，所以你应该在网站中添加一个robots.txt。
2. 网站管理员必须使蜘蛛程序远离某些服务器上的目录——保证服务器性能。比如：大多数网站服务器都有程序储存在“cgi-bin”目录下，因此在robots.txt文件中加入“Disallow: /cgi-bin”是个好主意，这样能够避免将所有程序文件被蜘蛛索引，可以节省服务器资源。一般网站中不需要蜘蛛抓取的文件有：后台管理文件、程序脚本、附件、数据库文件、编码文件、样式表文件、模板文件、导航图片和背景图片等等。
下面是VeryCMS里的robots.txt文件：
User-agent: *
Disallow: /admin/ 后台管理文件
Disallow: /require/ 程序文件
Disallow: /attachment/ 附件
Disallow: /images/ 图片
Disallow: /data/ 数据库文件
Disallow: /template/ 模板文件
Disallow: /css/ 样式表文件
Disallow: /lang/ 编码文件
Disallow: /script/ 脚本文件
3. 如果你的网站是 * 页，并且你为这些 * 页创建了静态副本，以供搜索蜘蛛更容易抓取。那么你需要在robots.txt文件里设置避免 * 页被蜘蛛索引，以保证这些网页不会被视为含重复内容。
4. robots.txt文件里还可以直接包括在sitemap文件的链接。
目前对此表示支持的搜索引擎公司有Google, Yahoo, Ask and MSN。而中文搜索引擎公司，显然不在这个圈子内。这样做的好处就是，站长不用到每个搜索引擎的站长工具或者相似的站长部分，去提交自己的sitemap文件，搜索引擎的蜘蛛自己就会抓取robots.txt文件，读取其中的sitemap路径，接着抓取其中相链接的网页。
5. 合理使用robots.txt文件还能避免访问时出错。比如，不能让搜索者直接进入购物车页面。因为没有理由使购物车被收录，所以你可以在robots.txt文件里设置来阻止搜索者直接进入购物车页面。
0
投稿猜你喜欢
最新消息，康盛创想(Comsenz)官方计划将在近期发布一个Discuz! 7.1测试版本。该测试版本编码为GBK提供全新安装和升级程序，然- 如果你已经购买了一款服务器，但仍然觉得其“动力”不够强劲，不妨试试下面列出的几个办法，许多情况下，它们往往能够起到事半功倍的效果。1.增加内
- 今天我们继续介绍有关Godaddy主机的知识，现在要介绍的是有关Godaddy域名解析服务器地址的。假如在我们这里注册域名，我们就把你的域名
- 导入链接指的是从外部网站的页面上链回您的网站的链接。导入链接能够给您的网站带来新的用户，而且当这些链接是有价值的、网站编辑自愿选择的链接时，
- 百度指数（index.baidu.com）是百度搜索推出的一个用于分析关键词热度的工具，对站长的SEO策划非常有帮助。网趣在线将从各个方面挖
- 内容摘要：编写通用的SQL防注入程序一般的http请求不外乎get 和 post,所以只要我们在文件中过滤所有post或
- 今天到中国银行去取托收回来的Google$666.11美金时(比较吉利的数字^_^)，银行MM小心的问到：“7.4，确定兑?”我愣了一下，马
- 某商店正在压榨它的网络系统的最后生命。尽管那台很老的服务器几乎难以满足商店运营的需要，但经营者甚至连更换UPS中的电池都不愿意，事实上电池每
- 衡量一个网站是否运营的成功，我想都离不开这几个要素，专业，互动，用户体验，亮点(围绕以盈利模式确立的亮点).一个简单的公式，专业+互动+用户
- 08年4月，或者再晚些的6月，SNS开始真正成为互联网圈内的第一热衷话题，起到推波助澜作用的，kaixin001首当其冲。病毒式的营销、 *
- 做seo的人，接到一个新的网站，第一步肯定要先诊断一个网站，然后，才能针对网站中存在的问题进行分析，再制定相关的优化方案。再进行优化。所以，
- Windows Server 2008系统事件日志功能记录了服务器系统中发生的各种重要事情，比方说网络访问、系统登录、程序运行、资源调用等，
- “在查看您的帐户时，我们注意到您目前在展示 Google 广告时所采用的方式不符合我们的政策。例如，我们发现在类似 URL的网页上有违反 A
- 最近在优化韩国留学的网站，在讨论网站关键词时遇到一些技术以外的思维观念问题，拿出来与大家讨论。seoer都知道，优化网站在关键词的选择上是至
- 如何优化内存的管理，提高内存的使用效率，尽可能地提高运行速度，是我们所关心的问题。下面介绍在Windows操作系统中，提高内存的使用效率和优
- 傻瓜才花钱买没有价值的流量从最初的饱受质疑到如今逐渐走上正轨，谷歌中国打破了跨国公司在华总是失败的魔咒。日前，谷歌大中华区总裁李开复在广州对
- 一、链接的统一性搜索引擎排名最主要的因素就是网站内容和链接，假如网站内部链接不一致，在很大程度上直接影响着网站在搜索引擎中的排名。二、合理利
- 在开心网等垂直类社交网站（SNS）大获青睐后，搜狐、新浪、腾讯等门户网站相继推出了自己的SNS产品，而网易的SNS计划昨天也首度曝光。记者昨
- 有些朋友想要查看MySQL的IP地址，却不知道在那里查看，登录到Godaddy,在主机管理中的MySQL点击你要查询的Mysql的图标，进入
- WordPress有丰富的插件、主题，成功广大博主建博客利器，WordPress博客是由MySQL提供支持的，在博客的写作过程中，有时不得不
