scrapy-redis的安装部署步骤讲解
作者：世纪殇 发布时间：2023-03-18 11:53:41
标签：scrapy,redis,安装部署
先说下自己的环境，redis是部署在centos上的，爬虫运行在windows上，
1. 安装redis
yum install -y redis
2. 修改配置文件
vi /etc/redis.conf
将 protected-mode no解注释，否则的话，在不设置密码情况下远程无法连接redis
3. 重启redis
systemctl restart redis
4. 关闭防火墙
systemctl stop firewalld.service
5. 开始创建scrapy-redis的相关，和普通的scrapy一样的创建，只不过修改setting.py文件，添加一行
REDIS_URL = 'redis://192.168.61.130:6379'
6. 修改spiders.py文件
# -*- coding: utf-8 -*-
from scrapy_redis.spiders import RedisSpider
class ExampleSpider(RedisSpider):
name = 'myspider'
redis_key = 'test_key'
allowed_domains = ['www.example.com']
def parse(self, response):
print(1111)
pass
7. 可以执行这个爬虫了
scrapy runspider example.py
8. 进入redis
redis-cli -h 127.0.0.1 -p
rpush test_key http://test.com
即可看到爬虫开始运行了
来源：https://blog.csdn.net/dasgk/article/details/79883627
0
投稿猜你喜欢
- python中使用.py配置文件 一、格式：创建一个config.py文件在文件中加配置:DEBUG=Truedm_connect = {
- SQL Server 的扩展存储过程，其实就是一个普通的 Windows DLL,只不过按照某种规则实现了某些函数而已。近日在写一个扩展存储
正确安装python中的wordcloud（词云库）第一步：这里的√一定要勾选上。第二步：（检查是否有python的环境- 问题：编写一个在1，2，…，9（顺序不能变）数字之间插入+或-或什么都不插入，使得计算结果总是100的程序，并输出所有的可能性。例如：1 +
- 前言copy()与deepcopy()之间的区分必须要涉及到python对于数据的存储方式。深复制被复制对象完全再复制一遍作为独立的新个体单
- 这篇文章主要介绍了python获取网络图片方法及整理过程详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需
- 1. 先介绍几个常用的 MySQL 函数RAND() 随机生成 0~1 之间的小数（0<1）CEI
- 1 concatconcat函数是在pandas底下的方法，可以将数据根据不同的轴作简单的融合pd.concat(objs, axis=0,
- 一、 功能Android端或者Android终端的远程截图至本地电脑中二、使用说明1.adb截图工具可用于Android手机及Android
- 这篇文章主要介绍了python matplotlib拟合直线的实现,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价
- 这里讲解是图片上传和图片预览。主要是围绕我们常用功能的列子做讲解 ,并且没有格外引入其他js 所以你复制过去做简单修改便可以看到效果效果图：
- 最近使用Django来进行图像的传输，由于要求需要使用Json格式进行请求，所以我们尝试了二进制编码放在json里，发现bytes格式不能打
- 一个表单焦点效果javascript函数，可以用在美化表单界面，挺好看的。function validForms(){
- 性能监控一、web项目（如gin中）1.使用ginpprofimport "github.com/DeanThompson/gin
- 本文实例讲述了php计算两个整数的最大公约数常用算法。分享给大家供大家参考。具体如下：<?php//计时，返回秒function&nb
- sort 包源码解读前言我们的代码业务中很多地方需要我们自己进行排序操作，go 标准库中是提供了 sort 包是实现排序功能的，这里来看下生
- 目录原生 JS怎么发送一个 get 请求怎么发送一个 post 请求发送一个带有参数的 get 请求发送一个带有参数的 post 请求jQu
- 目录一、什么是连接池，连接池有什么用二、代码展示一、什么是连接池，连接池有什么用先看看别人是怎么介绍连接池的吧:连接池基本的思想是在系统初始
- 最近有点审美疲劳，以往看起来觉得漂亮的界面现在觉得很一般，以前觉得看来还行的界面现在觉得很丑了。想来是时候休息一下了。唯美觉得上次做的OA登
- tempfile 模块专门用于创建临时文件和临时目录，它既可以在 UNIX 平台上运行良好，也可以在 Windows 平台上运行良好。tem
