轻松配置网站Robots.txt文件
作者:佚名 来源:互联网 发布时间:2009-01-15 09:12:00
标签:
核心提示: 在一个网站里,robots.txt是一个重要的文件,每个网站都应当有一个设置正确的robots.txt。
当搜索引擎来抓取你的网站文件之前,它们会先来看看你网站的robots.txt文件的设置,以了解你所允许它抓取的范围,包括哪些文件,哪些目录。那么如何配置您的robots.txt文件呢?
让我们看一个例子:
# robots.txt file start
# Exclude Files From All Robots:
User-agent: *
Disallow: /admin_login/
Disallow: /admin/
Disallow: /admin.htm
Disallow:/admin.aspx
# End robots.txt file
有#号的都是注释,方便阅读。
User-agent就是搜索引擎的蜘蛛,后面用了*号,表示对所有的蜘蛛有效。
Disallow就是表示不允许抓取,后面的目录或者文件,表示禁止抓取的范围。
编辑好这个文件,然后保存在你的网站的根目录下(一定是根目录下,当然你也可以调整),那么搜索引擎就会来看的。
如果你没有robots.txt文件,在你的网站访问日志文件里,你会看到蜘蛛访问robots.txt文件不成功的纪录。
好了,现在就去设置你的robots.txt文件吧。
0
投稿
猜你喜欢
- D.配置postfix.1.主要是main.cf的配置。virtual_alias_maps=mysql:/etc/postfix/mysq
- 又到月底了,年关将至,是许多站长朋友都在为GOOGLE公司汇出来的广告费奔走,目前国内支持西联汇款的只有中国邮政和中国农行两家公司,中国邮政
- Godaddy主机用户如果想使用ColdFusion连接到某个数据库的话,必须创建个ColdFusion DSN. To Create a
- 6月4日至6月10日,短短5个交易日内,腾讯控股累积重挫15%,放量击穿年线,而同期香港恒生指数基本保持持平。拥有同时在线人数超过 1亿的Q
- 开篇不废话直奔主题,小弟今年元旦刚做的新站,是关于网络免费资源的518免费网。做的时候抱着很大的勇气和信心,毕竟还是第一次嘛(俺的第一次就这
- 途牛网tuniu.com作为国内知名的旅游直销网站在国内还是很有名气的,也是南京本地为数不多的比较成功的互联网企业。去年大学刚毕业刚好认识途
- 在德国举行的Tech·Ed 2009大会上,微软商业软件部门总裁Stephen Elop正式发布了新一代企业电子邮件服务软件“Exchang
- 一. HTTP压缩概述HTTP压缩是在Web服务器和 浏览器间传输压缩文本内容的方法。HTTP压缩采用通用的压缩算法如gzip等压缩HTML
- 所谓入门级网站,就是访问量在500到5000之间的网站,一般来说,进入这个级数的网站需要了解alexa的排名原理,具体的情况请www.ale
- Apache服务器的设置文件位于/usr/local/apache/conf/目录下,传统上使用三个配置文件httpd.conf, acce
- 无论是对普通网络冲浪者还是网站管理员来说,Google都是目前世界范围内最受欢迎的搜索引擎。它每天处理的搜索请求高达1.5亿次,几乎占全球所
- 什么是POSH ?不,这不是一些新的网页设计上的时尚的宣传- POSH是Plain Old Semantic HTML(清晰老式语义化HTM
- 前端开发常见的安全问题就是会遭受 XSS 注入攻击,这里列举常见的代码注入方式。Javascript 代码注入Javascript 代码注入
- 最近,发现博客上的AdSense广告上显示的几乎是Google自己的广告。也就是“马上获得350元免费广告”,如下图。估计是因为关键词匹配不
- Google的Matt Cutts确认了AdSense的Mediabot的确是会帮助Googlebot抓取网页的消息,但有部分人不相信Mat
- 在新浪所有的产品线当中,还没有任何一款产品在诞生初期就能让如此多公司高层“亲力亲为”。或许是得益于此
- 有些使用的Godaddy主机的朋友会问我这样的问题,他购买的是Deluxe Plan+linux系统+SSL系列的主机,程序安装无误,但是在
- 10月2日消息,据国外媒体报道,微软公司和Adobe系统公司近日也加入了Google的行列,它们都推出了无需安装任何软件的文字处理器。微软公
- 裸设备,也叫裸分区(原始分区),是一种没有经过格式化,不被Unix通过文件系统来读取的特殊字符设备。本文收集裸设备和Oracle问答20例。
- 对于一个新手,我推荐虚拟主机这种方式。虚拟主机是把一台高性能的服务器分成一台台“虚拟”的服务器,每一台虚拟主机都具有独立的域名,具有完整的