Python使用scrapy采集数据时为每个请求随机分配user-agent的方法
作者：pythoner 发布时间：2023-02-08 15:20:31
标签：Python,scrapy,采集
本文实例讲述了Python使用scrapy采集数据时为每个请求随机分配user-agent的方法。分享给大家供大家参考。具体分析如下：
通过这个方法可以每次请求更换不同的user-agent，防止网站根据user-agent屏蔽scrapy的蜘蛛
首先将下面的代码添加到settings.py文件，替换默认的user-agent处理模块
DOWNLOADER_MIDDLEWARES = {
'scraper.random_user_agent.RandomUserAgentMiddleware': 400,
'scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware': None,
}
自定义useragent处理模块
from scraper.settings import USER_AGENT_LIST
import random
from scrapy import log
class RandomUserAgentMiddleware(object):
def process_request(self, request, spider):
ua = random.choice(USER_AGENT_LIST)
if ua:
request.headers.setdefault('User-Agent', ua)
#log.msg('>>>> UA ％s'％request.headers)
希望本文所述对大家的Python程序设计有所帮助。
0
投稿猜你喜欢
- TensorFlow修改变量值后，需要重新赋值，assign用起来有点小技巧，就是需要需要弄个操作子，运行一下。下面这么用是不行的impor
- Python提供多种数据类型来存放数据项集合，主要包括序列（列表list和元组tuple），映射（如字典dict），集合（set），下面对这
- 正文开始if name == "main":可以看成是python程序的入口，就像java中的main（）方法，但不完全
- 本文主要记录了在Nodejs开发过程中遇到过的由数组特性引起的问题及解决方式，以及对数组的灵活应用。本文代码测试结果均基于node v6.9
- 循环结构的应用场景如果在程序中我们需要重复的执行某条或某些指令，例如用程序控制机器人踢足球，如果机器人持球而且还没有进入射门范围，那么我们就
本文实例讲述了Python排序搜索基本算法之归并排序。分享给大家供大家参考，具体如下：归并排序最令人兴奋的特点是：不论输入是什么样的，它对N- 这篇文章主要介绍了python识别html主要文本框过程解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需
- ChatGPT 是 OpenAI 开发的 GPT（Generative Pre-trained Transformer）语言模型的变体。它是
- 1、ElementUi文档已经说了，如果需要后端排序，需将sortable设置为custom，同时在 Table 上监听sort-chang
- 做前端也有几年时间了，不敢说能把他看地多透，但是多多少少还是有些自己的东西。下面以 Tudou.com 的首页为例，总结总结。就制作而言，我
- 问：怎样才能取得局域网中所有SQL Server的实例?答：请参考以下的具体步骤：SmoApplication.EnumAvailableS
- 本文主要参考：http://element.eleme.io/#/zh-CN/component/menu在使用elementUI的时候发现
- 翻译整理：Young.J；官方网站：http://jquery.comjQuery是一款同prototype一样优秀js开发库类，特别是对c
- 在大多数语音识别任务中，我们都缺少文本和音频特征的alignment，Connectionist Temporal Classificati
- 前言这篇文章主要介绍了pyinstaller打包opencv和numpy程序运行错误解决,文中通过示例代码介绍的非常详细，对大家的学习或者工
- MySQL中，有两种方式生成有序结果集：一是使用filesort，二是按索引顺序扫描。利用索引进行排序操作是非常快的，而且可以利用同一索引同
- 下面是代码class GroupInfos(models.Model): uid = models.AutoField(primary_ke
- SQL Server 2000安装问题集锦1、先把SQL Server卸载（卸载不掉也没有关系，继续下面的操作）2、把Microsoft S
- Python编写微信小游戏“跳一跳”的运行脚本，分享给大家。更新了微信后发现了一款小游戏跳一跳，但是玩了一下午最高才达到200，每次差点破纪
- //User 用户的基本信息，也是USERINFO表中的3个列package 登陆判断;public class User { &
