Scrapy 配置 * IP的实现
作者：BradyCC 发布时间：2023-12-10 19:06:22
标签：Scrapy, , IP
应用 Scrapy框架 ，配置动态IP处理反爬。
# settings 配置中间件
DOWNLOADER_MIDDLEWARES = {
'text.middlewares.TextDownloaderMiddleware': 543,
# 'text.middlewares.RandomUserAgentMiddleware': 544,
# 'text.middlewares.CheckUserAgentMiddleware': 545,
'text.middlewares.ProxyMiddleware': 546,
'text.middlewares.CheckProxyMiddleware': 547
}
# settings 配置可用动态IP
PROXIES = [
"http://101.231.104.82:80",
"http://39.137.69.6:8080",
"http://39.137.69.10:8080",
"http://39.137.69.7:80",
"http://39.137.77.66:8080",
"http://117.191.11.102:80",
"http://117.191.11.113:8080",
"http://117.191.11.113:80",
"http://120.210.219.103:8080",
"http://120.210.219.104:80",
"http://120.210.219.102:80",
"http://119.41.236.180:8010",
"http://117.191.11.80:8080"
]
# middlewares 配置中间件
import random
class ProxyMiddleware(object):
def process_request(self, request, spider):
ip = random.choice(spider.settings.get('PROXIES'))
print('测试IP:', ip)
request.meta['proxy'] = ip
class CheckProxyMiddleware(object):
def process_response(self, request, response, spider):
print(' * :', request.meta['proxy'])
return response
来源：https://blog.csdn.net/BradyCC/article/details/90759341
0
投稿猜你喜欢
- <script language="JavaScript"> //得到字符总数function getCha
- MS SQL数据库日志压缩方法 MS SQL性能是很不错的，但是数据库用了一段时间之后，数据库却变得很大，实际的数据量不
昨天写了一段用来做分层随机抽样的代码，很粗糙，不过用公司的2万名导购名单试了一下，结果感人，我觉得此刻的我已经要上天了，哈哈哈哈哈哈代码如下- 使用pip安装python库的几种方式1、使用pip在线安装1.1 安装单个package格式如下：pip install SomePack
- 使用Django静态设置时，遇到很多问题，经过艰苦的Baidu, stack overflow, Django原档阅读，终于把静态图片给搞出
- 每位SQL Server开发员都有自己的首选操作方法。我的方法叫做分子查询。这些是由原子查询组合起来的查询，通过它们我可以处理一个表格。将原
- 这篇文章主要介绍了django-多对多表的创建和插入代码实现,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需
- HTML代码： <div class="float" id="float"> 我是个腼腆
- 在我们想要对不同变量进行判断的时候，会分析其中的之间的联系。这种理念同样也被用在实例生活中，最常见到的是做一个地理的热力图。很多人对画热力图
- 如下所示：区别ArrayTensor类型uint8，float32系列{}各类型相互转换uint8转float64：image = imag
- 这里假设你是通过models的ImageField上传图片，并期望在前台img标签中能显示。能否访问图片关键在于，是否能通过正确的路径访问。
- 如下所示：from tkinter import *class Reg (Frame): def __init__(self,m
- 前提条件：需要安装easy-install模块，这是一个python的模块打包工具。首先下载easy_setup.py的源代码，下载地址：
- 本文实例讲述了python实现美团订单推送到测试环境，提供便利操作。分享给大家供大家参考，具体如下：背景： 有时候需要在测试环境下一个美团的
- 本文实例讲述了python版本的读写锁操作方法。分享给大家供大家参考，具体如下：最近要用到读写锁的机制,但是python2.7的自带库里居然
- 什么是随机数随机数并不意味着每次都有不同的数字。随机意味着无法在逻辑上预测的事物。伪随机和真随机计算机在程序上工作，程序是权威的指令集。因此
- StreamReader sr = new StreamReader("E:\\123.txt");//文件路径 str
- 代码如下:arr = array(12,52,14,43,24,58,15,64,24,57,17,56,45)&nbs
- 本文实例讲述了python网络编程之读取网站根目录的方法，分享给大家供大家参考。具体实现方法如下：import socket, sys po
- SELECTSELECT 语句用于从表中选取数据，是 SQL 最基本的操作之一。通过 SELECT 查询的结果被存储在一个结果表中（称为结果
