详解Scrapy Redis入门实战
作者:pengjunlee 发布时间:2023-04-14 11:39:08
简介
scrapy-redis是一个基于redis的scrapy组件,用于快速实现scrapy项目的分布式部署和数据爬取,其运行原理如下图所示。
Scrapy-Redis特性
分布式爬取
你可以启动多个共享同一redis队列的爬虫实例,多个爬虫实例将各自提取到或者已请求的Requests在队列中统一进行登记,使得Scheduler在请求调度时能够对重复Requests进行过滤,即保证已经由某一个爬虫实例请求过的Request将不会再被其他的爬虫实例重复请求。
分布式数据处理
将scrapy爬取到的items汇聚到同一个redis队列中,意味着你可以根据你的需要启动尽可能多的共享这个items队列的后处理程序。
Scrapy即插即用组件
Scheduler调度器 + Duplication重复过滤器、Item Pipeline、基础Spider爬虫
Scrapy-Redis示例
本文将以爬取京东所有图书分类下的图书信息为例对Scrapy-Redis的用法进行示例。
开发环境
Python 3.7
Redis 3.2.100
下面列举出了 Python 中 Scrapy-Redis 所需要的各个模块及其版本:
redis 2.10.6
redis-py-cluster 1.3.6
scrapy-redis 0.6.8
scrapy-redis-cluster 0.4
在开发之前需要先安装好以上模块,以scrapy-redis-cluster模块为例,使用pip进行安装的命令如下:
pip install scrapy-redis-cluster # 安装模块
pip install scrapy-redis-cluster==0.4 # 安装模块时指定版本
pip install --upgrade scrapy-redis-cluster # 升级模块版本
创建项目
在Windows命令行执行如下命令完成项目创建:
d:\scrapy>scrapy startproject jd_book
执行完该命令后,将会在当前目录下创建包含下列内容的 jd_book 目录:
定义Item
在items.py中把我们将要爬取的图书字段预先定义好。
# -*- coding: utf-8 -*-
import scrapy
class JdBookItem(scrapy.Item):
b_cate = scrapy.Field() # 图书所属一级分类名称
s_cate = scrapy.Field() # 图书所属二级分类名称
s_href = scrapy.Field() # 图书所属二级分类地址
book_name = scrapy.Field() # 名称
book_img = scrapy.Field() # 封面图片地址
book_author = scrapy.Field() # 作者
book_press = scrapy.Field() # 出版社
book_publish_date = scrapy.Field() # 出版日期
book_sku = scrapy.Field() # 商品编号
book_price = scrapy.Field() # 价格
创建Spider
在Windows命令行执行如下命令完成Spider创建:
d:\scrapy\jd_book>cd jd_book
d:\scrapy\jd_book>scrapy genspider jdbook jd.com
执行完该命令后,将会在 jd_book 的 spiders 目录下生成一个 jdbook.py 文件 :
jdbook.py的完整爬虫代码如下。
# -*- coding: utf-8 -*-
import scrapy
import json
import urllib
from copy import deepcopy
from jd_book.items import JdBookItem
class JdbookSpider(scrapy.Spider):
name = 'jdbook'
allowed_domains = ['jd.com','3.cn']
start_urls = ['https://book.jd.com/booksort.html']
def parse(self, response): # 处理图书分类页
dt_list = response.xpath("//div[@class='mc']/dl/dt") # 提取一级分类元素
for dt in dt_list:
item = JdBookItem()
item["b_cate"] = dt.xpath("./a/text()").extract_first() # 提取一级分类名称
em_list = dt.xpath("./following-sibling::dd[1]/em") # 提取二级分类元素
for em in em_list:
item["s_cate"] = em.xpath("./a/text()").extract_first() # 提取二级分类名称
item["s_href"] = em.xpath("./a/@href").extract_first() # 提取二级分类地址
if item["s_href"] is not None:
item['s_href'] = "https:" + item['s_href'] # 补全二级分类地址
yield scrapy.Request(item['s_href'], callback=self.parse_book_list, meta={"item": deepcopy(item)})
def parse_book_list(self, response): # 处理二级分类下图书列表页
item = response.meta['item']
li_list = response.xpath("//div[@id='plist']/ul/li") # 提取所有的图书元素
for li in li_list:
item["book_img"] = li.xpath(".//div[@class='p-img']//img/@data-lazy-img").extract_first()
if item["book_img"] is None:
item["book_img"] = li.xpath(".//div[@class='p-img']//img/@src").extract_first()
if item["book_img"] is not None:
item["book_img"] = "https:"+item["book_img"]
item["book_name"] = li.xpath(".//div[@class='p-name']/a/em/text()").extract_first().strip()
item["book_author"] = li.xpath(".//span[@class='author_type_1']/a/text()").extract()
item["book_press"] = li.xpath(".//span[@class='p-bi-store']/a/@title").extract_first()
item["book_publish_date"] = li.xpath(".//span[@class='p-bi-date']/text()").extract_first().strip()
item["book_sku"] = li.xpath("./div/@data-sku").extract_first()
price_url = "https://p.3.cn/prices/mgets?skuIds=j_{}".format(item["book_sku"]) # 提取图书价格请求地址
yield scrapy.Request(price_url, callback=self.parse_book_price, meta={"item": deepcopy(item)})
# 提取列表页下一页地址
next_url = response.xpath("//a[@class='pn-next']/@href").extract_first()
if next_url is not None:
next_url = urllib.parse.urljoin(response.url, next_url)
# yield scrapy.Request(next_url,callback=self.parse_book_list,meta={"item":item})
def parse_book_price(self, response):
item = response.meta['item']
item["book_price"] = json.loads(response.body.decode())[0]["op"]
yield item
修改配置
在settings.py 中增加Scrapy-Redis相关配置。
# -*- coding: utf-8 -*-
BOT_NAME = 'jd_book'
SPIDER_MODULES = ['jd_book.spiders']
NEWSPIDER_MODULE = 'jd_book.spiders'
# Crawl responsibly by identifying yourself (and your website) on the user-agent
USER_AGENT = 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'
# Obey robots.txt rules
ROBOTSTXT_OBEY = False
######################################################
##############下面是Scrapy-Redis相关配置################
######################################################
# 指定Redis的主机名和端口
REDIS_HOST = 'localhost'
REDIS_PORT = 6379
# 调度器启用Redis存储Requests队列
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
# 确保所有的爬虫实例使用Redis进行重复过滤
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
# 将Requests队列持久化到Redis,可支持暂停或重启爬虫
SCHEDULER_PERSIST = True
# Requests的调度策略,默认优先级队列
SCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.PriorityQueue'
# 将爬取到的items保存到Redis 以便进行后续处理
ITEM_PIPELINES = {
'scrapy_redis.pipelines.RedisPipeline': 300
}
启动爬虫
至此京东图书项目就算配置完成了,你可以将项目部署到多台服务器中去,并使用如下命令来启动爬虫:
d:\scrapy\jd_book>scrapy crawl jdbook
爬取到的图书数据结构如下:
相应地,在Redis数据库中同时生成了如下3个键:
其中,jdbook:requests 中保存了待爬取的Request对象;jdbook:dupefilter 中保存了已经爬取过的Request对象的指纹;jdbook:items中保存了爬取到的Item对象。
通过上述京东图书项目不难看出,scrapy-redis项目与普通的scrapy项目相比,除了在settings.py配置时额外增加了一些scrapy-redis的专属配置外,其他环节完全相同。
参考文章
https://scrapy-redis.readthedocs.io/en/stable/index.html
来源:https://blog.csdn.net/pengjunlee/article/details/89853550
猜你喜欢
- 前面写过一篇关于python多线程的实现的文章, 但是效果不是最佳的,写法也不是很好。通过网上学习,也了解到了semaphore这个东西。百
- 一起画图吧为什么突然想搞这个画图软件呢不瞒各位,是因为最近接到了一个很小很小很小小得不能再小的小项目就是基于Tkinter,做一个简易的画图
- bytes 和 bytearraybytes 和 bytearray 都是二进制世界的成员,用二进制的方式去理解才能看清他的本质。理解byt
- 本文实例讲述了php中对象引用和复制。分享给大家供大家参考,具体如下:引用$tv2 = $tv1;或者$tv2 = &$tv1;以上
- 本文实例为大家分享了opencv实现图像旋转效果的具体代码,供大家参考,具体内容如下图像旋转:在opencv中首先根据旋转角度和中心获取旋转
- 外联接。外联接可以是左向外联接、右向外联接或完整外部联接。 在 FROM 子句中指定外联接时,可以由下列几组关键字中的一组指定:LEFT J
- 要很好地领会Ajax技术的关键是了解超文本传输协议(HTTP),该协议用来传输网页、图像以及因特网上在浏览器与服务器间传输的其他类型文件。只
- 编写程序的时候,经常要处理字符串,最基本就是字符串的查找,在php检测字符串中是否包含指定字符串可以使用正则,如果你对正则不了解,那么有几个
- 漏洞的产生原因代码层过滤不严。应用程序直接或间接使用了动态执行命令的危险函数,并且这个函数的运行参数是可控的系统的漏洞造成命令注入漏洞的本质
- 完美的渐变透明效果。支持IE,Firefox渐变,自己写的JS框架中用的东西,发出来了。修正完全隐藏时,偶尔不display = "
- 熟悉网页设计的网友就知道,调用Style的方法很多,我们可以单击鼠标右键选择Custon Style来调用Style标准,也可以在状态栏中的
- <title>:一个优质网页最重要的元素HTML 中的 <title> 元素用于在下列情况中提供一小段能够代表该网页
- 我设了个排卖的起始时间然后设了一个结束时间现在要精确到小时比如提示 “离到期时间:1天XX小时”大家有什么想法吗?我就是在小时总是不能实现,
- 功能:实现网页内容的即时编辑,增加页面的可用性、交互性。方法1:直接通过textarea标签实现,请运行下边代码:<!DOCTYPE
- IFRAME 元素 | iframe 对象创建内嵌浮动框架。成员表下面的表格列出了 iframe 对象引出的成员。请单击左侧的标签来选择你想
- 一、将PHP数组转换为JSON格式在PHP中,我们可以直接使用数组来存储数据。但是在JS中,数组通常以JSON(JavaScript Obj
- 这是写给web设计者和前端开发者的教程,我们将演示如何使用Photoshop创建按钮的sprite图,然后是如何使用jQurey打造动态渐变
- 首先此问题来自向这个帖子http://hi.baidu.com/fire_love_live/item/247276cfda421217b6
- 2007年1月,国务院 * 了中央“一号文件”,文件中对加快农业信息化建设有了更明确的部署,为新农村建
- 三种方法:①直接使用dict②使用defaultdict③使用Counter ps:`int()`函数默认返回0 ①di