5条Linux命令分析搜索引擎蜘蛛的爬行行为（2）
来源：asp之家 发布时间：2009-09-20 20:15:00
标签：命令,linux,搜索引擎,蜘蛛
三 百度蜘蛛抓取首页的详细记录
cat access.log.2009-04-18 | grep Baiduspider+ | grep "GET / HTTP"
初步研究发现，百度蜘蛛对首页非常热爱，24小时每小时都要看我的某个新站的首页，而googe和yahoo蜘蛛更喜欢内页，一天中各自只看了2次首页。不知道是真的有这个规律还是只是我的小站这样。
四 Baidu蜘蛛派性记录时间点分布
cat access.log.2009-04-18 | grep "Baiduspider+" | awk '{print $4}'
五 Baidu蜘蛛爬行页面按次数降序列表
cat access.log.2009-04-18 | grep "Baiduspider+" | awk '{print $7}' | sort | uniq -c | sort -r
本文中的每条命令把Baiduspider+改成Googlebot都可以查看Google的对应的数据。
Mediapartners-Google是什么?Google adsense广告之所以能与内容相关，就是因为每个包含着adsense的广告被访问后，几秒钟内就有一个Mediapartners-Google蜘蛛来到这个页面，所以几分钟后再刷新就能显示相关性广告了。
0
投稿猜你喜欢
- 为了更好地保护发布商的利益，我们最近对修改收款人姓名政策进行了更新。从现在开始，AdSense 账户将不能变更收款人姓名。如果您需要变更收款
- 这个系统是国内非常流行的视频点播系统，之前的1.5版本漏洞非常多，2.0版本在安全方面有所提高，但是依然有漏洞存在。看代码\inc\ajax
- 做流量，效果最好的还是靠搜索引擎，那么怎样能够使网站在搜索引擎的排名上升？怎样能让搜索引擎快速的抓取网站的页面？要做到上面这些，我们有必要了
通常，微软IE工作过程描述如下：作为网页挂马的散布者，其目的是将木马下载到用户本地，并进一步执行，当木马获得执行之后，就意味着会有更多的木马- 说微软的IE系列产品都被众多的前端开发者臭骂，除去其对于WEB标准化的支持问题外，再者是因为其同一款产品的存活型号太多，从IE6.0-IE8
- 下述设置以时钟源服务器IP地址为192.168.0.1为例。可以命令ntpstat 和 ntpq -p 查看本机NTPD服务状态。配置完成后
- 我们继续来了解Godaddy主机，今天我们要介绍的是Godaddy主机的管理帐户如何变更。Pending Account Changes页面
- 网址：http://www.google.cn/intl/zh-CN/renrou/index.html什么是人肉搜索？人肉搜索与刺青、美白
- 康盛创想(Comsenz)旗下的UCenter Home(简称UCHome)新版本即将推出，本期笔者给大家分享下道具“道具转让许可证”功能。
- Godaddy主机用户怎样下载Account Manager里的文件呢？首先、登陆你的Account Manager.其次、在My Prod
- 今年开始到未来的3年，是我国电子商务进入高速发展期的核心时期，电子商务低成本、高效率、信息对称这些优势会迅速地爆发出来，并被大家所接受。电子
- 伟大的点子使网络发生改变，这已经不是密秘了。社区网站和网络应用迅速的变得越来越炙手可热。年轻的企业家通过联系人和地的简单的点子赚了很多钱。您
- 一、什么是权重网站在seo中的重要性，权威性。SEO给一个网站的一种待遇。英文：Page Strrngth1. 权重不等于排名2. 权重对排
- 在Discuz! 7.0中发布多媒体，比如引用其他网站的视频、mp3 等。需要设置三个地方。首先，对编辑器设置。打开后台，界面=>编辑
- 随着时代的不断发展和推进，我们看到了今天的互联网也在逐渐的完善和成熟，回眸一下05年前的站长圈子，那个时候大家都很单纯的在讨论网络技术，没有
- 这年头推广网站真是难！我们不像那些有钱的站长！他们直接用钱砸进去推广开来！而我们呢。只有靠自己手工推广了！多难啊！我一开始是在百度上推广的，
- 在网页运营改版过程中，经常有设计师或者运营同事有这样的疑问：我的页面到底产生了多大价值？这个页面引导的用户接下来访问了多少商品的页面？有没有
- 先在硬盘建立域和虚拟主机的实际目录，建立以下三个实际目录：c: \ inetpub\ wwwroot\ mywebc: \ inetpub\
- 我从linuxaid下载的3.2桌面版，在红旗网站得到的注册码。在几台机器上安装过程中 都遇到了问题，其中最多的是安装过程正常，但重新启动不
- 由于DedeCms没有将文章的生成地址保存在数据库中，因此需要做的就是索引一个字段:LinkUrl来保存文章生成地址。1、通过Mysql运行
