Python使用scrapy采集数据时为每个请求随机分配user-agent的方法
作者：pythoner 发布时间：2023-02-08 15:20:31
标签：Python,scrapy,采集
本文实例讲述了Python使用scrapy采集数据时为每个请求随机分配user-agent的方法。分享给大家供大家参考。具体分析如下：
通过这个方法可以每次请求更换不同的user-agent，防止网站根据user-agent屏蔽scrapy的蜘蛛
首先将下面的代码添加到settings.py文件，替换默认的user-agent处理模块
DOWNLOADER_MIDDLEWARES = {
'scraper.random_user_agent.RandomUserAgentMiddleware': 400,
'scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware': None,
}
自定义useragent处理模块
from scraper.settings import USER_AGENT_LIST
import random
from scrapy import log
class RandomUserAgentMiddleware(object):
def process_request(self, request, spider):
ua = random.choice(USER_AGENT_LIST)
if ua:
request.headers.setdefault('User-Agent', ua)
#log.msg('>>>> UA ％s'％request.headers)
希望本文所述对大家的Python程序设计有所帮助。
0
投稿猜你喜欢
你一定想下载一下感兴趣的网页，以便慢慢欣赏吧！利用FrontPage能够轻松做到这一点，甚至可以下载整个站点，当然这里只能下载静态的页面。启- 前言thinkphp3.1.2 需要使用cli方法运行脚本折腾了一天才搞定3.1.2的版本真的很古老解决增加cli.php入口文件defin
- 当点了链接后，跳出的网页地址是https://www.aspxhome.com/ 或https://www.cidianwang.
- 这篇文章主要介绍了python字符串替换re.sub()实例解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值
- 在进行大量数据训练神经网络的时候，可能需要批量读取数据。于是参考了这篇文章的代码，结果发现数据一直批量循环输出，不会在数据的末尾自动停止。然
- 本文实例讲述了Python常见字符串操作函数。分享给大家供大家参考，具体如下：str.split(' ')1.按某一个字符分
- '/***' 作 者 ：冻结回忆'修改时间：2007-10-17'功能说明
- 1.游标方式 代码如下:DECLARE @Data NVARCHAR(max) SET @Data='1,tanw,2,
- 在一些网站上，特别是小说网站经常我们会看到这个功能，就是自动滚动屏幕的功能，方便了大家阅读文章，增强了用户体验。下面的javascript代
- reindex更多的不是修改pandas对象的索引，而只是修改索引的顺序，如果修改的索引不存在就会使用默认的None代替此行。且不会修改原数
- 现象：生产中心进行拷机任务下了300个任务，过了一阵时间后发现任务不再被调度起来，查看后台日志发现日志输出停在某个时间点。分析：1、首先确认
- 修改list中所有元素类型：方法一：new = list()a = ['1', '2', '3
- 本文通过实例为大家分享了python实现批量提取指定文件夹下同类型文件，供大家参考，具体内容如下代码import osimport shut
- Oracle text是Oracle的全文检索技术，是9i版本标准版和企业版的一部分。Oracle text使用标准的sql语言索引、查找、
- 在web开发中经常遇到多关键词对对单个字段查询，我一般是通过动态数组来实现的。当然多个关键词的一般是用空格或,隔开，我这几假设多个关键词用空
- 缓存(Cache)对于创建一个高性能的网站和提升用户体验来说是非常重要的，然而对我们这种只用得起拼多多的码农而言最重要的是学会如何使用缓存。
- 【译者的话】我们曾经在《透视色轮》一文中探讨过色轮的构成及作用，但你可能更多的只是将其作为了解颜色关系的一个工具，却不一定将其作为实际设计中
- 本文实例为大家分享了python实现学生管理系统的具体代码，供大家参考，具体内容如下一.面向过程版import osstu_list = [
- 我就废话不多说了，大家还是直接看代码吧！'''Created on 2018-4-4'''k
- OL定义有序列表的时候，除非指定list-style-position:inside;，否则文字和前导符是有缩进的。但有的时候，OL定义的列
