Scrapy基于scrapy_redis实现分布式爬虫部署的示例
作者：mankvis 发布时间：2023-06-24 18:12:20
准备工作
1.安装scrapy_redis包,打开cmd工具,执行命令pip install scrapy_redis
2.准备好一个没有BUG,没有报错的爬虫项目
3.准备好redis主服务器还有跟程序相关的mysql数据库
前提mysql数据库要打开允许远程连接,因为mysql安装后root用户默认只允许本地连接,详情请看此文章
部署过程
1.修改爬虫项目的settings文件
在下载的scrapy_redis包中,有一个scheduler.py文件,里面有一个Scheduler类,是用来调度url,还有一个dupefilter.py文件,里面有个类是RFPDupeFilter,是用来去重,所以要在settings任意位置文件中添加上它们
还有在scrapy_redis包中,有一个pipelines文件,里面的RedisPipeline类可以把爬虫的数据写入redis,更稳定安全,所以要在settings中启动pipelines的地方启动此pipeline
最后修改redis连接配置
2.修改spider爬虫文件
首先我们要引入一个scrapy_redis.spider文件中的一个RedisSpider类,然后把spider爬虫文件原来继承的scrapy.Spider类改为引入的RedisSpider这个类
接着把原来的start_urls这句代码注释掉,加入redis_key = '自定义key值',一般以爬虫名:urls命名
测试部署是否成功
直接运行我们的项目,
打开redis客户端在redis添加key为yunqi:start_urls的列表,值为地址
添加成功后,程序直接跑了起来
查看数据是否插入
分布式用到的代码应该是同一套代码
1） 先把项目配置为分布式
2） 把项目拷贝到多台服务器中
3） 把所有爬虫项目都跑起来
4） 在主redis-cli中lpush你的网址即可
5） 效果：所有爬虫都开始运行，并且数据还都不一样
来源：https://blog.csdn.net/baoshuowl/article/details/79701303
0
投稿猜你喜欢
- 1，IE使用attachEvent/detachEvent方法来添加和删除事件 * ；w3c使用addEventListener/remov
- clear()方法将删除字典中的所有项目(清空字典)语法以下是clear()方法的语法：dict.clear()参数
- 随着技术的不断升级，微软的王牌数据库SQL Server 2000正在逐渐淡出人们的视线，而新版的SQL Server 2005正成为企业和
- python版本和ssl版本都会导致 requests在请求https网站时候会出一些错误，最好使用新版本。1 Python2.6x use
- 本文实例讲述了PHP队列用法。分享给大家供大家参考。具体分析如下：什么是队列，是先进先出的线性表，在具体应用中通常用链表或者数组来实现，队列
- 这篇文章主要介绍了mysql数据迁徙方法工具解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以
- 最近做了一个系统由于部分接口需要进行耗时操作，因而不希望用户进行频繁访问，需要进行访问频率限制。如果要自己实现一个访问限制功能相对来说也不会
一，概要需求： 实现一个GUI界面下的 6+1体育彩票选号器.(1) 要求界面可以加载系统时间及开奖时间(2)功能区完成人选及机选的功能 人- 参考网址构建网络我们可以通过torch.nn包来构建网络，现在你已经看过了autograd，nn在autograd的基础上定义模型和求微分。
- QSpinBox 是一个计数器控件，允许用户选择一个整数值，通过单击向上/向下按钮或按键盘上的上/下箭头来增加/减少当前显示的值，当然用户也
- 若你使用过 Shell 中的 awk 工具，会发现用它来分割字符串是非常方便的。特别是多个连续空格会被当做一个处理。[root@localh
- Linux终端里面可谓是奇妙无限，很多优秀的软件都诞生在终端里面。相较之下，Windows本身的理念和Linux就不一致，所以，你懂得。 下
- 前言第一次尝试用Pyinstaller打包Pytorch，碰见了很多问题，耗费了许多时间！想把这个过程中碰到的问题与解决方法记录一下，方便后
- 一、字典转dataFrame1、字典转dataFrame比较简单，直接给出示例：import pandas as pddic = {'
- 开发网站，往往需要用数据库保存数据。我们该如何创建数据库与创建数据表呢？方法其实很简单，下面就由小编教你如何用Navicat for MyS
- 由于Caffe使用的存储图像的数据库是lmdb，因此有时候需要对lmdb文件进行操作，本文主要讲解如何用Python合并lmdb文件。没有l
- 直接上代码定义一个upload_img来返回显示图片的html定义显示图片说明和allow_tagsmark_safe方法于django.u
- 概要 简单介绍几种用于判断numpy数组是否全
- 定义：select语句中嵌套select语句，被嵌套的select语句是子查询。子查询可以出现在：select ....(select)..
- 1、全局对象所有模块都可以调用1）global：表示Node所在的全局环境，类似于浏览器中的window对象。2）process：指向Nod
