5条Linux命令分析搜索引擎蜘蛛的爬行行为（2）
来源：asp之家 发布时间：2009-09-20 20:15:00
标签：命令,linux,搜索引擎,蜘蛛
三 百度蜘蛛抓取首页的详细记录
cat access.log.2009-04-18 | grep Baiduspider+ | grep "GET / HTTP"
初步研究发现，百度蜘蛛对首页非常热爱，24小时每小时都要看我的某个新站的首页，而googe和yahoo蜘蛛更喜欢内页，一天中各自只看了2次首页。不知道是真的有这个规律还是只是我的小站这样。
四 Baidu蜘蛛派性记录时间点分布
cat access.log.2009-04-18 | grep "Baiduspider+" | awk '{print $4}'
五 Baidu蜘蛛爬行页面按次数降序列表
cat access.log.2009-04-18 | grep "Baiduspider+" | awk '{print $7}' | sort | uniq -c | sort -r
本文中的每条命令把Baiduspider+改成Googlebot都可以查看Google的对应的数据。
Mediapartners-Google是什么?Google adsense广告之所以能与内容相关，就是因为每个包含着adsense的广告被访问后，几秒钟内就有一个Mediapartners-Google蜘蛛来到这个页面，所以几分钟后再刷新就能显示相关性广告了。
0
投稿猜你喜欢
- 在计算机网络日益普及的今天，计算机安全不但要求防治计算机病毒，而且要提高系统抵抗黑客非法入侵的能力，还要提高对远程数据传输的保密性，避免在传
因为需要更改电子邮件，你也许想加强多个电子邮件帐户或者把不同的地址组织到不同的帐户里。要这样做，你不需要取消或者重新创建你的电子邮件帐户或者- 花时间流连社交网站Facebook有助训练脑力，这是研究“工作记忆力”的苏格兰史特灵大学心理学家亚洛
- 在上一篇对活动目录有个基本了解之后下面我就来接触一下活动目录实质上的一面——活动目录的结构。上篇我们讲到活动目录是包括两方面：目录和目录相关
- SEO需要灵活运用。SEO技术是死的，但是我们的大脑不是死的！！！最近在好多地方见到朋友说自己的站已经好久没有被百度更新了。还有一个关系比较
- IDC里的一台服务器的/分区使用率爆满了！已达到100％！经查看发现有个文件过大（80G），于是在跟有关同事确认后rm -f果断删除该文件。
- 1、常用的时间存储方式 1）time_t类型，这本质上是一个长整数，表示从1970-01-01 00:00:00到目前
- 在 azure 上创建的虚机默认会分配两个磁盘，分别是系统盘和一个临时磁盘。如果我们要在系统中安装使用 mysql 等软件，需要再创建并挂载
- 准备一个CentOS6的安装盘（任意版本），或准备一张其他pnux的安装盘，此处以CentOS6为例。本文都已经经过实践，在Windows虚
- 今日淘特Asp.Net CMs推出2.0版，系统新增加了Tag标签，会员投稿，发布网站地图等功能。淘特Asp.Net Cms（V2.0） 2
- 在博客上与朋友分享心情和梦想已是很多现代人生活的重要部分。而现在，“迷你博客”服务使人们不用电脑也能发布博文。人们可以用手机随时随地记录生活
- mod_limitipconn，这个是Apache的一个非官方模块，根据同一个来源IP进行并发连接控制，Bw_mod，它可以根据来源IP进行
- 一、概念篇在介绍排查DHCP故障之前首先为大家阐明几个概念性的东西，只有理论上充实了，才能更好的理解下面介绍的故障排除的思路。第一:DHCP
- 企业最有价值的资产通常是其数据库中的客户或产品信息。因此，在这些企业中，数据库管理的一个重要部分就是保护这些数据免受外部攻击，及修复软/硬件
- 1、御载以前的版本yum remove docker docker-client docker-client-latest docker-c
- Discuz由于其易用，免费而成为现在站长们使用最多的论坛，本站的小站http://www.kaixin0018.com（开心网001）也运
- 动易其实也是一个很强大的CMS,但是听说PHP+SQL的速度比Access的速度要快.关键是,我现在动易的Access数据库已经过了300M
- 处理器总处于以下状态中的一种：１、内核态，运行于进程上下文，内核代表进程运行于内核空间；２、内核态，运行于中断上下文，内核代表硬件运行于内核
- 库文件在连接(静态库和共享库)和运行(仅限于使用共享库的程序)时被使用，其搜索路径是在系统中进行设置的。一般 Linux 系统把 /lib
- 很多人想优化自己的FreeBSD，特别是在网络性能以及内核调整上，因为这些是最直接的优化方式。在这里我收集整理并用中文注释了一下，相信很多人
