python3 Scrapy爬虫框架ip代理配置的方法
作者：Tyrion_Gong 发布时间：2021-03-01 00:39:11
什么是Scrapy？
Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，非常出名，非常强悍。所谓的框架就是一个已经被集成了各种功能（高性能异步下载，队列，分布式，解析，持久化等）的具有很强通用性的项目模板。对于框架的学习，重点是要学习其框架的特性、各个功能的用法即可。
一、背景
在做爬虫项目的过程中遇到ip代理的问题，网上搜了一些，要么是用阿里云的ip代理，要么是搜一些网上现有的ip资源，然后配置在setting文件中。这两个方法都存在一些问题。
1、阿里云ip代理方法，网上大都是配置阿里云的ip代理的用户名、密码然后加密、解密。我按照上面的方面操作，发现阿里云上面的ip代理的参数里面没有用户名、密码相关的参数配置了。
2、至于网上查到的另外一种方法是在setting文件里面添加 * 资源池，然后再在middlewares.py文件里面添加上一些代码来实现，但代理ip不一定是可用的。
二、改进方法
1、基于背景中提到的网上两种方法的局限性，我在此综合了两种方法。
2、改进方法：
1）利用阿里云的ip代理API生成50个 * 资源池（用自己的阿里云账号登陆生成的，ip有效性得到保障）
2）直接在middlewares.py中添加如下函数，PROXIES为在阿里云上面生成的ip，此处涉及到个人隐私，故用****代替。
class my_proxy(object):
def process_request(self, request, spider):
PROXIES = ['http://****.****.****.****:8080']
ip = random.choice(PROXIES)
request.meta['Proxy-Authorization'] = ip
注意：request.meta的方括号里面的关键字需要写对，不然无法正常运行。
总结
以上所述是小编给大家介绍的python3 Scrapy爬虫框架ip代理配置的方法网站的支持！
如果你觉得本文对你有帮助，欢迎转载，烦请注明出处，谢谢！
来源：https://blog.csdn.net/sinat_29217765/article/details/103994307
0
投稿猜你喜欢
- ECMAScript 3在Array.prototype中定义了一些很有用的操作数组的函数，这意味着这些函数作为任何数组的方法都是可用的。1
导包效果展示以下截图显示的撤回消息类型依次是文字消息、微信自带表情、图片、语音、定位地图、名片、公众号文章、音乐、视频。有群里撤回的，也有个- 画矩形函数调用:cv2.rectangle(img,pt1,pt2,color,thickness,line_type,shift)img:
- 本文实例讲述了python和mysql交互操作。分享给大家供大家参考，具体如下：python要和mysql交互，我们利用pymysql这个库
- 本文实例讲述了python使用cPickle模块序列化的方法，分享给大家供大家参考。具体方法如下：import cPickledata1 =
- 在Unix和NetWare中推荐使用mysqld_safe来启动mysqld服务器。mysqld_safe增加了一些安全特性，例如当出现错误
- 阅读本文能够帮助你什么？在学习vue源码的时候发现组件化过程很绕？在响应式过程中Observer、Dep、Watcher三大对象傻傻分不清？
- 目录使用软件问题描述搭建神经网络训练参数损失函数参数优化代码数据集参数训练测试结语Hello,兄弟们，开始搞深度学习了，今天出第一篇博客，小
- Cookie简介首先，我们对Cookie做一个简单的介绍，说明如何利用ASP来维护cookie。Cookie是存储在客户端计算机中的一个小文
- 在服务器上生成动态内容是使用ASP最主要的原因之一，所以我们选择的第一个测试项目是确定把动态内容发送到应答流使用什么方法最好。基本的选择有两
- 一、介绍使用pandas.DataFrame的plot方法绘制图像会按照数据的每一列绘制一条曲线，默认按照列columns的名称在适当的位置
- MySQL插件式存储引擎是MySQL数据库服务器中的组件，负责为数据库执行实际的数据I/O操作，并能允许和强制执行面向特殊应用需求的特定特性
- 正在看的ORACLE教程是:ORACLE常见错误代码的分析与解决（二）。
- 关于mysql数据库在Linux下的应用一直以来都是我认为比较棘手的，这次通过搭建Linux学习环境顺便研究和学习Mysql数据库在Linu
- 需求：需要在pycharm中跑一个深度学习的项目但是tensorflow包导不入问题分析：当前使用的是anaconda的3.8版本，无法正常
- 这只是个asp小技巧类的东西，它虽然适合在每个不同文件名里调用这个函数，但是也是有前提的，下面让我们来仔细看看其中的原委。 &n
- 递归是以相似的方式重复项目的过程。同样适用于编程语言中，如果一个程序可以让你调用同一个函数被调用的函数，递归调用函数内使用如下。func r
- 12306火车票购票软件大家都用过，怎么用Python写一个命令行的火车票查看器，要求在命令行敲一行命令来获得你想要的火车票信息，下面通过本
- quiver绘制表示梯度变化非常有用，下面是学习过程中给出的两个例子，可以很好理解quiver的用法from pylab import *c
- 我们经常会发现网页中的许多数据并不是写死在HTML中的，而是通过js动态载入的。所以也就引出了什么是动态数据的概念，动态数据在这里指的是网页
