python书籍信息爬虫实例
作者:moxiaomomo 发布时间:2023-11-17 11:15:49
标签:python,爬虫
python书籍信息爬虫示例,供大家参考,具体内容如下
背景说明
需要收集一些书籍信息,以豆瓣书籍条目作为源,得到一些有效书籍信息,并保存到本地数据库。
获取书籍分类标签
具体可参考这个链接:
https://book.douban.com/tag/?view=type
然后将这些分类标签链接存到本地某个文件,存储内容如下
https://book.douban.com/tag/小说
https://book.douban.com/tag/外国文学
https://book.douban.com/tag/文学
https://book.douban.com/tag/随笔
https://book.douban.com/tag/中国文学
https://book.douban.com/tag/经典
https://book.douban.com/tag/日本文学
https://book.douban.com/tag/散文
https://book.douban.com/tag/村上春树
https://book.douban.com/tag/诗歌
https://book.douban.com/tag/童话
......
获取书籍信息,并保存本地数据库
假设已经建好mysql表,如下:
CREATE TABLE `book_info` (
`id` int(11) NOT NULL AUTO_INCREMENT,
`bookid` varchar(64) NOT NULL COMMENT 'book ID',
`tag` varchar(32) DEFAULT '' COMMENT '分类目录',
`bookname` varchar(256) NOT NULL COMMENT '书名',
`subname` varchar(256) NOT NULL COMMENT '二级书名',
`author` varchar(256) DEFAULT '' COMMENT '作者',
`translator` varchar(256) DEFAULT '' COMMENT '译者',
`press` varchar(128) DEFAULT '' COMMENT '出版社',
`publishAt` date DEFAULT '0000-00-00' COMMENT '出版日期',
`stars` float DEFAULT '0' COMMENT '评分',
`price_str` varchar(32) DEFAULT '' COMMENT '价格string',
`hotcnt` int(11) DEFAULT '0' COMMENT '评论人数',
`bookdesc` varchar(8192) DEFAULT NULL COMMENT '简介',
`updateAt` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP COMMENT '修改日期',
PRIMARY KEY (`id`),
UNIQUE KEY `idx_bookid` (`bookid`),
KEY `idx_bookname` (`bookname`),
KEY `hotcnt` (`hotcnt`),
KEY `stars` (`stars`),
KEY `idx_tag` (`tag`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='书籍信息';
并已实现相关爬虫逻辑,主要用到了BeautifulSoup包,如下:
#!/usr/bin/python
# coding: utf-8
import re
import logging
import requests
import pymysql
import random
import time
import datetime
from hashlib import md5
from bs4 import BeautifulSoup
logging.basicConfig(level=logging.INFO,
format='[%(levelname)s][%(name)s][%(asctime)s]%(message)s',
datefmt='%Y-%m-%d %H:%M:%S')
class DestDB:
Host = "192.168.1.10"
DB = "spider"
Table = "book_info"
User = "test"
Pwd = "123456"
def connect_db(host, db, user, pwd):
conn = pymysql.connect(
host=host,
user=user,
passwd=pwd,
db=db,
charset='utf8',
connect_timeout=3600) #,
# cursorclass=pymysql.cursors.DictCursor)
conn.autocommit(True)
return conn
def disconnect_db(conn, cursor):
cursor.close()
conn.close()
#提取评价人数,如果评价人数少于10人,按10人处理
def hotratings(person):
try:
ptext = person.get_text().split()[0]
pc = int(ptext[1:len(ptext)-4])
except ValueError:
pc = int(10)
return pc
# 持久化到数据库
def save_to_db(tag, book_reslist):
dest_conn = connect_db(DestDB.Host, DestDB.DB, DestDB.User, DestDB.Pwd)
dest_cursor = dest_conn.cursor()
isql = "insert ignore into book_info "
isql += "(`bookid`,`tag`,`author`,`translator`,`bookname`,`subname`,`press`,"
isql += "`publishAt`,`price_str`,`stars`,`hotcnt`,`bookdesc`) values "
isql += ",".join(["(%s)" % ",".join(['%s']*12)]*len(book_reslist))
values = []
for row in book_reslist:
# 暂时将md5(bookname+author)作为bookid唯一指
bookid = md5(("%s_%s"%(row[0],row[2])).encode('utf-8')).hexdigest()
values.extend([bookid, tag]+row[:10])
dest_cursor.execute(isql, tuple(values))
disconnect_db(dest_conn, dest_cursor)
# 处理每一次访问的页面
def do_parse(tag, url):
page_data = requests.get(url)
soup = BeautifulSoup(page_data.text.encode("utf-8"), "lxml")
# 提取标签信息
tag = url.split("?")[0].split("/")[-1]
# 抓取作者,出版社信息
details = soup.select("#subject_list > ul > li > div.info > div.pub")
# 抓取评分
scores = soup.select("#subject_list > ul > li > div.info > div.star.clearfix > span.rating_nums")
# 抓取评价人数
persons = soup.select("#subject_list > ul > li > div.info > div.star.clearfix > span.pl")
# 抓取书名
booknames = soup.select("#subject_list > ul > li > div.info > h2 > a")
# 抓取简介
descs = soup.select("#subject_list > ul > li > div.info > p")
# 从标签信息中分离内容
book_reslist = []
for detail, score, personCnt, bookname, desc in zip(details, scores, persons, booknames, descs):
try:
subtitle = ""
title_strs = [s.replace('\n', '').strip() for s in bookname.strings]
title_strs = [s for s in title_strs if s]
# 部分书籍有二级书名
if not title_strs:
continue
elif len(title_strs) >= 2:
bookname, subtitle = title_strs[:2]
else:
bookname = title_strs[0]
# 评分人数
hotcnt = hotratings(personCnt)
desc = desc.get_text()
stars = float('%.1f' % float(score.get_text() if score.get_text() else "-1"))
author, translator, press, publishAt, price = [""]*5
detail_texts = detail.get_text().replace('\n', '').split("/")
detail_texts = [s.strip() for s in detail_texts]
# 部分书籍无译者信息
if len(detail_texts) == 4:
author, press, publishAt, price = detail_texts[:4]
elif len(detail_texts) >= 5:
author, translator, press, publishAt, price = detail_texts[:5]
else:
continue
# 转换出版日期为date类型
if re.match('^[\d]{4}-[\d]{1,2}', publishAt):
dts = publishAt.split('-')
publishAt = datetime.date(int(dts[0]), int(dts[1]), 1)
else:
publishAt = datetime.date(1000, 1, 1)
book_reslist.append([author, translator, bookname, subtitle, press,
publishAt, price, stars, hotcnt, desc])
except Exception as e:
logging.error(e)
logging.info("insert count: %d" % len(book_reslist))
if len(book_reslist) > 0:
save_to_db(tag, book_reslist)
book_reslist = []
return len(details)
def main():
with open("book_tags.txt") as fd:
tags = fd.readlines()
for tag in tags:
tag = tag.strip()
logging.info("current tag url: %s" % tag)
for idx in range(0, 1000000, 20):
try:
url = "%s?start=%d&type=T" % (tag.strip(), idx)
cnt = do_parse(tag.split('/')[-1], url)
if cnt < 10:
break
# 睡眠若干秒,降低访问频率
time.sleep(random.randint(10, 15))
except Exception as e:
logging.warn("outer_err: %s" % e)
time.sleep(300)
if __name__ == "__main__":
main()
小结
以上代码基于python3环境来运行;
需要首先安装BeautifulSoup: pip install bs4
爬取过程中需要控制好访问频率;
需要对一些信息进行异常处理,比如译者信息、评论人数等。
来源:http://blog.csdn.net/moxiaomomo/article/details/79023873
0
投稿
猜你喜欢
- 随着互联网的快速发展和数据交换的广泛应用,各种数据格式的处理成为软件开发中的关键问题。JSON 作为一种通用的数据交换格式,在各种应用场景中
- It's well-known.Microsoft SQL Server 7.0增加了一个语句top,可以限制返回的记录数。但是在使
- Postman生成okhttp代码依赖<dependency>  
- 本文实例讲述了python中list循环语句用法。分享给大家供大家参考。具体用法分析如下:Python 的强大特性之一就是其对 list 的
- 一个拖动层和Onmouse自动下拉效果,IE支持,不支持ff。下面所示的效果四个小块可以拖动到页面任意点,大黑块可以连同四个小块随动。<
- 一、发送消息import smtplibfrom email.mime.text import MIMETextfrom email.hea
- 本文实例讲述了微信公众平台实现获取用户OpenID的方法。分享给大家供大家参考。具体分析如下:用户点击微信自定义菜单view类型按钮后,微信
- <?php/* Function Written by Nelson Neoh @3/2004. For th
- 可以使用 XDR(简化 XML-Data)架构创建关系数据的 XML 视图。然后可以使用 XPath 查询来查询这些视图。这类似于使用 CR
- 随机生成四位数验证码,包括汉字,数字,英文大小写。1.Servlet类package servlet;import java.awt.Bas
- eval 是干嘛的?解析字符串表达式并执行,并返回一个值语法格式eval(expression[, globals[, locals]])
- RegMail是用来存放注册邮件的表,现以创建时间(CreateTime)字段来给表进行分区,具体步骤如下:--为分区创建存储文件 
- 这个问题对于规模稍微大些的项目而言,显得尤其重要了,数据库中如果有几百个存储过程, 难道还一个个找不成,即使自己很了解业务和系统,时间长了,
- 导语昨晚玩起了小时候玩的游戏“吃豆豆”,但是我发现,一局游戏三条命,我根本不能吃完所有的豆豆,总是被
- 本文实例讲述了Python网络编程基于多线程实现多用户全双工聊天功能。分享给大家供大家参考,具体如下:在前面一篇《Python网络编程使用s
- 根据不同配置文件调用不同的验证函数检查输入。可以根据需求更改验证函数的逻辑。def VerifyData(func):  
- 为什么要指定swagger的api参数api的参数有多种类型:query 参数,如 /users?role=adminpath 参数,如 /
- 一、算法 1、算法的主要思想就是将一个中缀表达式(Infix expression)转换成便
- 以下是涉及到插入表格的查询的5种改进方法:1)使用LOAD DATA INFILE从文本下载数据这将比使用插入语句快20倍。2)使用带有多个
- 说明1、将两个原本不相关的类结合在一起,然后利用两个类中的方法和属性,输出一份新的结果。2、结构分为Abstraction抽象类、Refin