蜘蛛抓取静态页面与触发gzip压缩的实验结果
发布时间：2011-09-13 18:48:52
利用google管理员工具模拟googlebot抓取某静态页面，得到的HTTP头信息中没有Content-Encoding:gzip的标志，查看了content-length也是未压缩前的大小，所以很疑惑，是否蜘蛛的抓取不会触发gzip压缩，这是问题一。
问题一自己解决了，googlebot在向服务期发送http请求的过程中，Accept-Encoding项不出意外应该为空，我做了如下的实验，首先利用googlebot抓取该静态页面，确定得到的HTTP头信息中不存在Content-Encoding:gzip该项，并核对了content-length的大小。然后，使用浏览器访问触发服务器端对静态页面进行gzip压缩，用firebug确定返回了Content-Encoding:gzip以及content-length后，再次利用模拟googlebot抓取该页面，得到的头文件中终于出现了gzip的身影并且对比第一次抓取返回的content-length可以明确该页面被gzip大幅压缩过。
好吧，那我自问自答了。
得出的结论就是googlebot（应该也能适用到其他蜘蛛上）在抓取页面发送头信息的时候并不会触发gzip压缩，但是它的确读得懂被gzip压缩后的html文件，也就是如果你的网站本身有较高并且较深的访问流量，那么这个反而会大大的提高蜘蛛的抓取效率，所以这个有可能会成为SE判断一个网站流量乃至质量的一个因素
但接着我又有了问题二，那就是，gzip对静态页面的压缩版本在服务器上保存时间能有多久呢？
于是我拿了自己的一个美国站点以及一个国内站点进行了对比，发现同样都支持静态页面gzip压缩的两个站点反应却完全不同，国内的虚拟主机抽样查询了一些静态页面，发现全部为gzip压缩后的版本，也就是说，除非原页面发生了变动，那么国内该主机gzip压缩后的版本不出意外会永久性的保留在服务器端，但是美国的主机让我着实觉得被坑爹了一回，抽样的静态页面，初次访问全部没有gzip压缩版本，第二次重新访问才返回gzip压缩结果，打开速度提升，但是此后该压缩版本在一分钟左右会被删除，于是页面的打开速度又回到了原来的水平，我勒个去，这和没有开启gzip有什么区别啊。晚些回去检查下服务器设置，看是服务商坑爹还是自己美设置好。
关于问题二，找到了一张图片，应该能解释为什么美国主机上的gzip静态文件只会存在一会，不出意外应该和对方对临时目录大小的设置有关。
0
投稿猜你喜欢
- 有很多发布商不能确定自己的网页投放哪一种广告格式和颜色效果最好。也有些发布商认为自己目前投放的广告格式就是最好的，而事实是不是真的是这样呢？
配置环境硬件：家用计算机一台（含网卡），当然，速度越快越好；ADSL调制解调器，这个服务商一般会提供；ADSL路由器，不是必备的，但如果你处- 10月14日下午消息，继数月前推出芒果手机游戏乐园之后，湖南卫视金鹰网又推出“芒果游戏乐园”的网络游
- Text Link Ads 是一家专门销售博客文字链接的国外联盟，网赚老鸟应该对它并不陌生，很多人靠它很轻松的赚了不少钱，对于网赚新手来说，
- Adobe Dreamweaver支持HTML5 Xtalk社区聊天插件 v1.2 正式版5月19日发布。Xtalk是为Discuz！/UC
- Linux启动后出现boot:提示时，使用一个特殊的命令，如linuxsingle或linux 1，就能进入单用户模式(Single-Use
- 被认为是资本“避风港”的中国网络游戏市场在全球经济风暴中可谓大放异彩。日前，易观国际发布的《2009年第2季度中国网络游戏市场季度监测》显示
- 接着学习Godaddy主机有关的问题，今天要介绍的是怎样使用Microsoft Publisher 2003上载站点内容
- 阻止隐形杀手入侵 随着计算机及网络应用的扩展，电脑信息安全所面临的危险和已造成的损失也在成倍地增长，特别是各种黑客的增多，一些个人用户也时常
- 北京时间12月3日消息，据国外媒体报道，MySpace音乐（MySpace Music）将于当地时间周四登陆英国。MySpace Music
- 这样， root 就可以直接进入 Linux 主机了。不过，建议不要这样做。也可以在普通用户进入后，切换到root用户,拥有root的权限。
- 软文炒作是生命力最强的一种广告形式。也是很有技巧性的广告形式，软文是相对于硬性广告而言，由企业的市场策划人员或广告公司的文案人员来负责撰写的
- 这里有一个数据库文档，和大家分享一下第一个表_admin （管理员）userid
- 很多Google AdSense发布商在达到了付款标准之后，对我们的付款过程有着很多的好奇和关注，在这里就大家普遍关心的问题，向大家略作说明
- Windows2003服务器安装及设置教程好久没有更新了，正好最近上了一台服务器，正好把剩下的几篇补全，今天先说的是MSSQL安全篇第二篇—
- “牌照虽然还没正式发，但应该快了吧。”记者昨日从业内了解到，不少第三方支付企业正等着领“身份证”。第三方支付行业的迅猛发展为大量消费者网络购
- 一提到网上搜索信息，大家马上就会想到百度（Baidu）、谷歌（Google）或者是雅虎（Yahoo）等知名搜索网站。然而最近，一款综合了百度
- 随着信息化办公的普及，远程访问的需求也水涨船高。一些远程访问工具，也纷纷面世。如电子邮件、FTP、远程桌面等工具为流离在外的企业员工，提供了
- Discuz!官方论坛消息，Discuz! 将于5月5日提供Discuz! X2 RC版，届时站长可以提供的升级程序进行升级。Discuz!
- 如果你是一个拥有服务器的站长，如果你是在公司负责服务器维护的技术人员，如果你对服务器的安全很有兴趣，您可以看看作者总结的一些windows
