5条Linux命令分析搜索引擎蜘蛛的爬行行为
来源：asp之家 发布时间：2009-09-20 20:15:00
标签：命令,linux,搜索引擎,蜘蛛
百度和google是站长们的衣食父母，而做好搜索引擎优化的第一步就是蜘蛛的抓取，以下5条简单的Linux命令可以让你清楚的了解蜘蛛的爬行情况做到有的放矢。
请首先看看日志文件的大小，如果特别大的话(比如：超过50MB)建议不要用这些命令分析，因为这些命令较消耗CPU，或者抓下来放到分析机上执行，以免影响网站的速度。如果是Dreamhost等共享主机的话，分析大日志很消耗CPU，进程很容易被Kill掉。
这些命令都是Linux下的shell命令，在Windows主机下无法执行。
一 百度蜘蛛爬行的次数
cat access.log.2009-04-18 | grep Baiduspider+ | wc
这代表百度蜘蛛一共爬行了173次
二 百度蜘蛛的详细记录(如果记录很长不想看了可以Ctrl+C终止)
cat access.log.2009-04-18 | grep Baiduspider+
你也可以用如下命令：
cat access.log.2009-04-18 | grep Baiduspider+ | tail -n 100
cat access.log.2009-04-18 | grep Baiduspider+ | head -n 100
只看最后100条或者最前100条
0
投稿猜你喜欢
- 随着首届派代电子商务年会的成功举办，不论是传统行业还是互联网行业，目光都集中在了如何来分享“电子商务&rdquo
- Apache服务器的设置文件位于/usr/local/apache/conf/目录下，传统上使用三个配置文件httpd.conf,acces
- 核心提示：SEO是一项相当复杂、精细的工作，成功的SEO涉及主动营销型网站建设从网站品牌的确立到ROI （Return on Investm
- 由于周边环境的原因，我接触网络不是很久，可以这样说，高中以前连电脑是什么样子也没见过，只听同学讲过，以及课外书上描述的。电脑于我来说似乎是可
- 北京时间11月8日消息，据国外媒体报道，微博客Twitter近日开始测试更便捷的信息转发功能，部分Twitter.com用户已经可以看到&a
北京时间11月14日消息，据国外媒体报道，微软Office 2010 beta版提前泄露，用户不必等到下周微软正式发布，现在就可以在P2P网- 去朋友单位时发现，该单位NETWARE服务器内存由16M升为32M，但性能没有多大改善，服务器硬盘仍然转个不停，究其原因发现其硬件内存方面虽
- 10月16日消息，15日，身为电子商务教育界“黄埔军校”的阿里学院宣布，为帮助中小企业解决人才缺口问
- 怕七夕，年年又七夕！明个就是七夕了！站长们打算怎么过？农历七月初七的夜晚，天气温暖，草木飘香，这就是人们俗称的七夕节，这是中国传统节日中最具
- 成功的网站意味着您的企业能够从互联网上获得更多客户，迅速扩大企业知名度，创造更多生意机会。如果您依旧认为网站就是放在互联网上的产品手册，那它
- 我的小站刚刚上线才20天。已经被百度收录（原因：内容全是原创）。做了点外链，每天IP约300个。GG广告每天约5-10次。广告单价总是在0.
- 在支付宝昨天宣布邀请50万用户参与其个人版公测之后，今天已经陆续有部分用户得以进入该新系统进行体验。以下为支付宝个人版相关页面：一、体验版欢
- 友情链接，刚开始是以友情和推荐的身份展示给大家的。随着商业气息的逐渐变浓以及互联网的发展，慢慢地也就演变成一种有价资源。因为交换友情链接这项
- 近日，中国雅虎网站筹划已久的新首页发布上线。新版页面采用了三栏式结构，在页面用色上更加清新淡雅，强化了内容导航和引导，整个页面更便于用户的浏
- 为了建设二级网站建设，我考察了多个开源和商业的虚拟主机和控制面板。主要察看了Linux下的。很多工具，例如开源的VHCS，商业的Plesk功
- 如果想为WP找一个相册插件，我想NextGEN Gallery最适合了，我觉得这是我用过的最好的WP插件之一，功能很强大，提供了很完美的照片
- Linux中增加软路由的方法一:route add -net 172.16.6.0 netmask 255.255.255.0 gw 172
- Apache服务器的设置文件位于/usr/local/apache/conf/目录下，传统上使用三个配置文件httpd.conf,acces
- 11月9日下午消息，继涉足电子杂志、淘宝开店后，徐静蕾旗下的开啦零束缚配饰品牌今日正式上线，并选择服装垂直销售公司VANCL凡客诚品作为独家
- 假设您的服务器IP是211.147.9.1061) 首先您要知道这个IP的反向域名解析是由哪台DNS服务器负责的。您可以用这个网页查询反向域
