深度分析 谷歌搜索引擎蜘蛛等级那些事儿
作者：ehsy-sem团队 来源：SEO论坛 发布时间：2008-12-12 14:08:00
一、GOOGLE搜索引擎蜘蛛的等级
首先先谈下GOOGLE蜘蛛起源。
当GOOGLE搜索引擎刚建立之初，就拥有这一个非常强大的的服务器，其每天放出大量的蜘蛛，我们称为1号蜘蛛，其抓取量抓取速度是非常的快，对其整个互联网每天进行信息进行的采集，可见服务器的速度是多少快，其实最主要的是后期GOOGLE将服务器延伸到了很多城市，所以现在你能发现GOOGLE的运算速率是超前的快。
服务器将采集的信息分类，整理到庞大的数据库。其中有个数据库都是用来存网站域名的。域名只要被搜索引擎索引到，将自动存入此数据库。此数据库是1号蜘蛛的核心。
其内部分为10个PR各等级的小数据库，虽说小数据库，但也是大的可怕。10个等级的数据库 其周期也不同，基本上以一个PR=4的网站来讲 1号蜘蛛爬行的概率也在7天一次。所以基本你也会发现收录有大的幅度也是在7天内的某一天 。
细心的站长会发现其实有时候7天还是蛮准的，但只针对PR=4。越是PR高其周期越是短，越是PR低周期越长，当然说到这很多站长有这样的疑惑。会觉得蜘蛛有时天天收录他的站这里对其收录的也就是接下来要说的2号蜘蛛，2号蜘蛛往往是在1号蜘蛛爬行过程中放出去的，主要针对于被1号蜘蛛爬过的网站的外部链接。PS既然都说是2号蜘蛛 肯定其抓取力度要比1号小很多。
二、当然不只是有2号，还有3号蜘蛛
所谓3号也就 A站1号蜘蛛爬行到B站，B站的2号蜘蛛爬行到C站。
目前GOOGLE为了限制其无限的循环对于蜘蛛只分为这三个等级。并对其等级的抓取率有个很明确的标准，而且2号与3号蜘蛛有个抓取特点 基本以时间的先后顺序进行抓取。
三、 比方讲
A网站被1号蜘蛛爬行后的一篇文章最后时间为 2008-12-12，那当A网站被从别的网站过来的2号蜘蛛给爬行，首先有可能会对其收录的是，最近发表的几篇文章如： 2008-5-31等 2008-5-30等文章将会进行第2次，第3次的访问，之后再爬行2008-12-12以后的信息。如果你网站没有任何更新，它将对其近一个月内的更改内容进行2次爬行。
如果外部来的2号与3号蜘蛛越多，同一篇文章有可能会被爬上好几次。
以下为GOOGLE提供的官方数据。
0
投稿猜你喜欢
收到群里的消息，说Google AdSens又有新样式了——矩阵排列。现在应该是随机显示的，出现在336*280 的广告单元中。- 10月10日消息，淘宝内部人士向腾讯科技证实，淘宝已启用search.taobao.com域名，目前正在内测自己的独立搜索引擎。淘宝搜索内测
- 如何进行关键词分析?关键词怎么确定?从这篇文章，我们可以大体了解选择关键词的基本思路：1.选择符合自己实力的关键词2.不选择流量太低的关键词
- 搜狐近日公布了2009年度财务报告，总收入达5.152亿美元，年增长率达20％，其中子公司畅游所运营的游戏业务收入为2.676亿美元，超过母
- 把 member/config.php里的$cfg_ml = new MemberLogin();改成$cfg
- 晚上写的，思维有点乱，没怎么整理。大家仔细看看，别拍砖啊。说到SNS，想必在CHINAZ的网友应该都比我了解的多、懂的多。我才接触1个多月S
- 《站长》杂志本期挑选了国内站长界中数十个有一定知名度的站长论坛，经过对数百名站长进行的邮件和电话调查，再加上《站长》编辑部的综合评分，选出国
- 共享进行曲完成上面的WEB共享准备工作后，我们下面就需要将现成的IIS服务器改造成一个信息共享访问平台了，以后需要与他人交流的共享信息可以直
- 10月30日消息，UCWEB董事长近日在博客上表示，创业者必须牢记两个关键词：“专注”和“极致”。雷军表示，集中所有资源做一件事情，才能把这
- 人之患在好为人师。陈国华邀请我加入“创业圈”群，并讲讲创业，其实我没什么资格给大家讲创业。我只是觉得现在的年轻人在理解别人说过的话的方面比较
- 今天下午消息，美国域名注册公司GoDaddy目前已经支付中国用户通过支付宝购买GoDaddy域名和主机，这给中国大陆用户带来了很大的便利，此
- 11月9日下午消息，继涉足电子杂志、淘宝开店后，徐静蕾旗下的开啦零束缚配饰品牌今日正式上线，并选择服装垂直销售公司VANCL凡客诚品作为独家
- 如果您非菜鸟请跳过.一个网站的内容好坏决定大多数站的的流量,但是对于新手站长来说,写几篇原创没问题,但是天天写?每天几篇的原创文章就没那么容
- DedeCMS系统V5.7版本默认的文档标题长度仍然有60的限制（30个汉字），可能对于有些长标题或者英文标题不够用。修改下DedeCMS文
- WWW，也有人称它为WEB，是应用目前互联网上增长最快的网络信息服务，也是最方便和最受欢迎的信息服务类型。其最大的特点为集成性，它可以集成多
- SEO的效果即是让小说网在搜索引擎中能有个理想的排名。SEO与品牌间是有关系的，可以这么说，SEO能造就一个品牌，但一个小说网站能成了品牌后
- 无论是企业还是站长，做网站都是要给人看的。如果没人看，那么网站也就白做了。这次，我不引用“根据叉叉部门权威统计，现在百度
- 随着Web数据库的应用越来越广泛，Web数据库的安全问题日益突出，如何才能保证和加强数据库的安全性已成为目前必须要解决的问题。数据库系统安全
- 北京时间10月14日消息，据国外媒体报道，Google近两年来遭遇了高管离职潮，仅在今年9月就有两位高管先后离开。业内人士认为，员工离职的原
- 今天有个朋友找我，说他们公司网站服务器不稳定，想从原来服务商转出来，重新找个虚拟主机提供商的，但原来的服务公司不给他他们公司网站的源代码，而
