网站运营
位置:首页>> 网站运营>> 轻松配置网站Robots.txt文件

轻松配置网站Robots.txt文件

作者:佚名 来源:互联网 发布时间:2009-01-15 09:12:00 

标签:

核心提示: 在一个网站里,robots.txt是一个重要的文件,每个网站都应当有一个设置正确的robots.txt。

当搜索引擎来抓取你的网站文件之前,它们会先来看看你网站的robots.txt文件的设置,以了解你所允许它抓取的范围,包括哪些文件,哪些目录。那么如何配置您的robots.txt文件呢?

让我们看一个例子:

# robots.txt file start

# Exclude Files From All Robots:

User-agent: *

Disallow: /admin_login/

Disallow: /admin/

Disallow: /admin.htm

Disallow:/admin.aspx

# End robots.txt file

有#号的都是注释,方便阅读。

User-agent就是搜索引擎的蜘蛛,后面用了*号,表示对所有的蜘蛛有效。

Disallow就是表示不允许抓取,后面的目录或者文件,表示禁止抓取的范围。

编辑好这个文件,然后保存在你的网站的根目录下(一定是根目录下,当然你也可以调整),那么搜索引擎就会来看的。

如果你没有robots.txt文件,在你的网站访问日志文件里,你会看到蜘蛛访问robots.txt文件不成功的纪录。

好了,现在就去设置你的robots.txt文件吧。

0
投稿

猜你喜欢

  • 首先最大的亮点就是软文推广,目前用户比较喜欢的就是视频推广和软文推广,这样的推广也最不耗力气,而又最有效率的一种方式了。视频最好的例子就是最
  • # 程序崩溃时不记录 kern.coredump=0 # lo本地数据流接收和发送空间 net.local.stream.recvspace
  • 借上周推一把论坛举办《高手坐堂第一期宋建明:软文与网站优化的那点事》的机会,彭宇诚针对如何利用软文推广产品的问题与本期的嘉宾宋建明进行了一些
  • 产品页面搜索引擎优化的好处往往会被人们所忽视,仅仅提供一些基本的产品信息、图片和简要的描述。那么,怎么从搜索营销的角度去充分利用它呢?以下是
  • 前几日写了2010年可能会出现的一些常见的网络骗局,经过多日的思索,今天决定写剩下的那些骗局了。并不是因为不知道写什么,而且不知道要怎样写,
  • 1、后台用户名和密码是否是明文保存的?建议增加昵称字段,区别后台的用户,同时对用户名和密码进行非规范的md5加密,例如加密以后截取15位字串
  • 近来关注了一些做外贸的企业的英文网站,发现了一些以前没有关注的问题。这些问题在笔者看来,对做外贸来说应该说是非常重要的。在这里,写出来与大家
  • 匿名FTP的设定:匿名FTP若有正确地设定与管理,将是一项很有价值的服务。这份文件的第一节提供一般匿名FTP最起始的设定方式。第二节提出当一
  • 您是不是在为不知道怎样提高网站上的广告单价而烦恼?那么就好好学习一下我们今天的这篇文章吧!在Google AdSense 系统投放广告时,网
  • 自带的关于网络的命令行工具很多,比如大家熟悉的Ping、Tracert、Ipconfig、Telnet、Ftp、Tftp、Netstat,还
  • 不管是在局域网还是互联网上,人们也都面临着另外一个困惑:计算机在网络上通讯时本来只能识别如“221.130.187.119”之类的数字地址,
  • 从昨天22:00开始,在落伍者就不断有站长就在说自己的站点解封了,如果仅仅是几个站长在说的话我们会当作是正常范围内的小调整,但是越来越多的站
  • vscode目前发展的很快,易用性方面也远远超过其他文本编辑器如nodepad,这次在使用中发现vscode继承的git功能十分强大和方便,
  • 前言 NTP 网络时间协议用来同步网络上不同主机的系统时间。你管理的所有主机都可以和一个指定的被称为 NTP 服务器的时间服务器同
  • 做网站联盟做久了,在管理联盟中,看到有些站长做广告,是拼命申请广告联盟,总是以为东边不亮西边亮,这个没钱赚那个有钱赚,其实这是很错误的,敬请
  • 动态链接库与普通的程序相比而言,没有main函数,是一系列函数的实现。通过shared和fPIC编译参数生产so动态链接库文件。程序在调用库
  • 最近在研究本站:www.seocompany.sh.cn 网站优化的时候,发现本站内容不足,于是决定采取增加BLOG的策略。但,天下之大,B
  • 对一个行业类门户网站来说,如果保持一个稳定的流量是个很重要的问题。很多类似的站点都存在着今天IP5000,明天有可能IP2000,后天100
  • 近来小站遇到了盗链问题,至使网站的流量枉费流失,于是被迫准备为服务器安装防盗链机制以挽救本就不宽裕的带宽。通过G.CN和B.CN搜索后得出了
  • 破解目标:破解一经过加密的Asp木马登陆密码。由于木马里没有版本说明,具体也不知道这木马叫什么名。破解思路:两种,用加密后的密码替换密文和利
手机版 网站运营 asp之家 www.aspxhome.com