python实现爬虫统计学校BBS男女比例(一)
作者:学习编程知识 发布时间:2023-06-24 17:48:28
一、项目需求
前言:BBS上每个id对应一个用户,他们注册时候会填写性别(男、女、保密三选一)。
经过检查,BBS注册用户的id对应1-300000,大概是30万的用户
笔者想用Python统计BBS上有多少注册用户,以及这些用户的性别分布
顺带可以统计最近活动用户是多少,其中男、女、保密各占多少
活动用户的限定为“上次活动时间”为 2015年
二、最终结果
性别信息保存在文本里,一行表示一个用户的信息,各列分别表示
【行数,id(涂掉了),性别,最后活跃时间】
三、实现思路
用户性别信息在哪个页面?
得到下面个人主页
把后面的uid=256730数字改成其他数字,就可以得到其他人的主页。
另外,如果上面的链接无法得到性别,可以再通过这个链接,也是修改uid可以访问其他人主页。
http://rs.xidian.edu.cn/home.php?mod=space&uid=256730&do=profile
四、数据如何存储?
用数据库还是其他方案?
为了阅读方便,我们考虑用文本文件存储。
30万的用户存储在一个文本里会导致文本过大。如果程序被意外终止,30 万的用户数据需要重新爬取。
我们我们考虑一个文本里存放1000条记录,理论上可以用30个文本来存放30万条数据。
文本名称为correct1-1001.txt correct47001-48001.txt,注意:1-1001是[1,1001),包含1,不包含1001
1、使用正则匹配找出性别
查看网页源代码
<!-- 找出性别这一栏-->
<li><em>性别</em>女</li>
还可以找到活动时间-->
<li><em>上次发表时间</em>2015-11-4 20:04</li>
<!-- 有些id不存在相应的用户,会有这样的提示-->
<p>抱歉,您指定的用户空间不存在</p>
我们可以利用re模块来进行正则匹配
sexRe = re.compile(u'em>\u6027\u522b</em>(.*?)</li')
timeRe = re.compile(u'em>\u4e0a\u6b21\u6d3b\u52a8\u65f6\u95f4</em>(.*?)</li')
notexistRe = re.compile(u'(p>)\u62b1\u6b49\uff0c\u60a8\u6307\u5b9a\u7684\u7528\u6237\u7a7a\u95f4\u4e0d\u5b58\u5728<')
因为中文的原因,需要Unicode 转换 中文工具,可以用站长工具 Unicode 转换 ASCII,ASCII 转换 Unicode,比如下面这个链接: http://tool.chinaz.com/Tools/Unicode.aspx
性别的Unicode 是 \u6027\u522b
上次活动时间 \u4e0a\u6b21\u6d3b\u52a8\u65f6\u95f4
抱歉,您指定的用户空间不存在
\u62b1\u6b49\uff0c\u60a8\u6307\u5b9a\u7684\u7528\u6237\u7a7a\u95f4\u4e0d\u5b58\u5728
这儿是简单获取性别的源代码,通过urllib2对链接myurl发送一个get请求,将得到的html保存下来。注意编码问题unicode(html, 'utf-8'),然后对html正则匹配seWord。
如果该用户有性别信息,返回对应的性别;否则,返回None
#对myurl页面进行seWord匹配查找
#seWord是用unicode表示
def getInfo(myurl, seWord):
headers = {
'User-Agent': 'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'
}
req = urllib2.Request(
url=myurl,
headers=headers
)
time.sleep(0.3)
response = urllib2.urlopen(req)
html = response.read()
html = unicode(html, 'utf-8') #需要进行编码,否则找不到信息
timeMatch = seWord.search(html) #因为seWord是用unicode表示
if timeMatch:
s = timeMatch.groups()
return s[0]
else:
return None
五、错误处理
1、断网情况(热修复方案)
总共爬虫需要几天时间,用的校园网,中间可能有断网的可能。
如果发现断网,我们可以重新连上互联网,这中间有些用户的性别没有获取到。
程序运行时间较长,断一次网就重新从id=1开始跑是不科学的。而且你也不能保证这次就网一直是好的。
为了不让程序重头开始跑,所以我们是记录下断网中漏掉的用户id。
等一次程序跑完了(这需要几天的时间),我们再跑记录下来的id重新跑一次。
2、无法获取性别
这种有两种情况:
一是真的没有性别(用户没有填写)
二是服务器抽了,咱们请求网页失败了。
这种咱们也是和上面类似,记录下失败的id,后面再重新跑。
知识点小结
对于这种错误,SyntaxError: Non-ASCII character '\xe5' in file
需要在文件开头加上# -*- coding: UTF-8 -*-
因为 python 的默认编码文件是用的 ANSCII 码
<meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
BBS网页源代码使用utf-8进行编码的。
本项目设计到中文字符,自然会遇到编码问题。
import sys
print sys.getdefaultencoding()
输出 ascii
从上面的代码可以看出 sys.defaultencoding 是 ANSCII,ANSCII是无法对中文字符进行编码的。UTF-8是Unicode的实现方式之一,可以对中文字符进行编码。遇到中文字符,我们需要加上这行代码
reload(sys)
# sys.setdefaultencoding('utf-8')
更改 sys.defaultencoding 为'utf-8'
后期整理的时候发现了自己一个小问题,因为正则表达式当时用unicode来表示的,所以需要把html进行unicode转换进行查找。
后来发现可以直接用汉字对原来的html进行查找。
# -*- coding: UTF-8 -*-
html = response.read()
sexRe = re.compile('em>性别</em>(.*?)</li')
timeMatch = sexRe.search(html)
if timeMatch:
s = timeMatch.groups()
print "字符串 "+s[0]
html = unicode(html, 'utf-8')
sexRe = re.compile(u'em>\u6027\u522b</em>(.*?)</li')
timeMatch = sexRe.search(html)
if timeMatch:
s = timeMatch.groups()
print "unicode " +s[0]
输出
字符串 女
unicode 女
html = response.read()
print len(html)
html = unicode(html, 'utf-8') #
print len(html)
输出
html = response.read()
print len(html)
html = unicode(html, 'utf-8') #
print len(html)
输出
35423
33658
猜你喜欢
- 线程实现Python中线程有两种方式:函数或者用类来包装线程对象。threading模块中包含了丰富的多线程支持功能:threading.c
- 本文实例讲述了PHP使用flock实现文件加锁的方法。分享给大家供大家参考。具体分析如下:flock在官方文档里的解释是:flock() 允
- 数据规整化:合并、清理、过滤pandas和python标准库提供了一整套高级、灵活的、高效的核心函数和算法将数据规整化为你想要的形式!本篇博
- 学习目的: 掌握文本框的用法 初次接触try…catch…语法 今天内容很轻松,用一个例子,输入年月日,判断输入是否正确 图片如下: 用个
- swagger介绍Swagger本质上是一种用于描述使用JSON表示的RESTful API的接口描述语言。Swagger与一组开源软件工具
- 1.字典的概念字典和列表类似,也是可变序列,不过和列表不同,它是无序的可变序列,保存的内容是以键值对(key:value)形式存放的 字典的
- 信号(signals)Flask信号(signals, or event hooking)允许特定的发送端通知订阅者发生了什么(既然知道发生
- 一、线程队列queue队列:使用方法同进程的Queue一样如果必须在多个线程之间安全地交换信息时,队列在线程编程中尤其有用。重要:q.put
- 对于小数据量,xml文件在检索更新上于ACCESS有很多优势。我曾经测试过不用数据库,把网站的会员信息,商品数据信息,交易信息,网站定制信息
- 目录前言环境依赖代码前言本文主要分享一个可以将图片或者视频模糊化的工具代码。技术路线主要是使用ffmpeg滤镜。环境依赖ffmpeg环境部署
- 先来看个例子:#-*- coding:utf8 -*-s = u'中文截取's.decode('utf8')
- 环境: windows 7 + Python 3.5.2 + Selenium 3.4.2 + Chrome Driver 2.29 + C
- UCHOME的代码还是很不错的,学习一下! <?php /** * 定义一些常量 */ @define('IN_UCHOME&
- 使用ASP处理XSLT转换XML比较简单,思路如下:创建一个XSLTemplate的对象,再创建一个XMLDOM对象,然后在家Xml文件和X
- 引子之前在学习Django时,对状态保持这个概念很模糊,不知道怎么去保持,通过什么去实现保持都不太清楚;稍微花了一点时间,把状态保持的基本概
- 最近,为了能在数据库服务器中运行其他应用程序,在保持数据库操作系统版本不变的前提下对数据库服务器进行了软、硬件上的升级。在软件上,将操作系统
- 一、PL/SQL出现的目的 结构化查询语言(Structured Query Language,简称SQL)是用来访问关系型数据库一种通用语
- 大家都知道,Dreamweaver是是一款专业的网页设计工具,提供了许多方便、实用的功能,使得以前许多网页效果的实现从繁琐的代码
- 在Web 开发中,JavaScript的一个很重要的作用就是对DOM进行操作,可你知道么?对DOM的操作是非常昂贵的,因为这会导致浏览器执行
- 我们打开Google的时候可能大家会发现,无论你输入Google的任何网址,它都根据你使用的语言自动判断并跳转到不同的语言界面。也就是你用不