python爬虫框架scrapy下载中间件的编写方法
作者:S++ 发布时间:2021-10-16 13:37:19
标签:python,scrapy,中间件
下载中间件
在每一个scrapy工程中都有一个名为 middlewares.py 的文件,这个就是中间件文件
其中下载中间件的类为 XxxDownloaderMiddleware
其中有这么几个方法
def process_request(self, request, spider):
return None
def process_response(self, request, response, spider):
return response
def process_exception(self, request, exception, spider):
pass
process_request
这个方法是用来拦截请求的,我们可以将UA伪装写在这个方法中。
UA池这个属性需要自己编写
def process_request(self, request, spider):
# UA伪装,从UA池随机一个
request.headers['User-Agent'] = random.choice(self.user_agent_list)
return None
process_response
这个方法是用来拦截响应的,我们可以在这里篡改响应数据。
如果我们将selenium和scrapy结合就可以请求那些动态加载的数据了。
def process_response(self, request, response, spider):
# 浏览器对象
bro = spider.bro
# 参数spider是爬虫对象
# 挑选出指定响应对象进行篡改url->request->response
bro.get(request.url)
page_text = bro.page_source # 包含了动态加载的数据
# 针对定位到的response篡改
# 实例化新的响应对象(包含动态加载的数据)
response = HtmlResponse(url=bro.current_url, body=page_text, encoding='utf-8', request=request)
return response
在爬虫文件中需要预先创建selenium的浏览器对象
import scrapy
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver import ChromeOptions
class XxxSpider(scrapy.Spider):
name = 'xxx'
# allowed_domains = ['www.xxx.com']
start_urls = ['……']
def __init__(self):
service = Service('/Users/soutsukyou/PyCharm_Workspace/网络爬虫/study_selenium/chromedriver')
chrome_options = ChromeOptions()
# 规避检测
chrome_options.add_experimental_option('excludeSwitches', ['enable-automation'])
# 实例化浏览器
self.bro = webdriver.Chrome(service=service, options=chrome_options)
process_exception
这是用来拦截发生异常的请求对象,一般我们可以在这里写代理ip。
两个代理ip池属性需要自己编写
def process_exception(self, request, exception, spider):
# 可以设置代理ip
if request.url.split(':')[0] == 'http':
request.meta['proxy'] = 'http://'+random.choice(self.PROXY_http)
if request.url.split(':')[0] == 'https':
request.meta['proxy'] = 'https://'+random.choice(self.PROXY_https)
# 重新请求发送
return request
其它
我们需要在settings.py中开启下载中间件才能使其生效
# Enable or disable downloader middlewares
# See https://docs.scrapy.org/en/latest/topics/downloader-middleware.html
DOWNLOADER_MIDDLEWARES = {
'xxx.middlewares.XxxDownloaderMiddleware': 543,
}
来源:https://www.cnblogs.com/S2Jgogo/p/16052157.html
0
投稿
猜你喜欢
- MySQL Group By用法我们现在回到函数上。记得我们用 SUM 这个指令来算出所有的 Sales (营业额)吧!如果我们的需求变成是
- 对python中的控制条件、循环和跳出详解代码缩进(代码块):python用缩进表示代码块,没有其他语言的大括号缩进是强制检查,整个代码缩进
- 人工生命—群集智能—蚁群算法js版前言(摘自网上,代码是自己想出来的)对于普通大众来说,“人工生命”、“群集智能”、“仿生机器人”等等可能是
- 前言在《Python中if语句的使用方法》中提到,对于一种可能性、两种可能性或者多种可能性的情况,可以通过if语句来实现。而用if语句实现多
- ul设置浮动后不能自适应高度,也就是不能撑开父容器,不能自适应内容的高度。解决方法是在ul结束标签前加个清除浮动。 &
- function commafy() { var num = document.getElementById("NumA"
- 现在有一个xml,格式如下: 代码如下:<date> <item> <id>&nbs
- 不用切图,只要设置基本的 图片及其属性即可!用鼠标右键控制图片翻转!<style>*{ FONT-SIZE: 12px; }se
- 一般开发,SQL Server的数据库所有者为dbo.但是为了安全,有时候可能把它换成其它的名称,所有者变换不是很方便.这里列出两种供参考
- 以前没见过这个效果,滚动纵向滚动条看看效果就明白了这样的效果,广告商应该比较喜欢。<!DOCTYPE html PUBLIC &quo
- 这是由十几位视觉设计师设计的挂历,每个月份都是不同的风格,就像每个月都有不同温度和心情一样,思维跳跃性很大,可以作为挂历设计参考。当然,如果
- Selenium 是一个可以让浏览器自动化地执行一系列任务的工具,常用于自动化测试。不过,也可以用来给网页截图。目前,它支持 Java、C#
- 前面介绍过vSQLAlchemy中的 Engine 和 Connection,这两个对象用在row SQL (原生的sql语句)上操作,而
- 在网站建设中,分类算法的应用非常的普遍。在设计一个电子商店时,要涉及到商品分类;在设计发布系统时,要涉及到栏目或者频道分类;在设计软件下载这
- 两个文章,放在一块了。第二个比较强。====================================================
- 聚合函数 count,max,min,avg,sum... select count (*) from T_Employee select
- FCKeditor的样式设置涉及到了两个文件,一个是你定义好的样式表文件.css,另一个是告诉fck样式表如何使用的xml文件,两个文件确一
- 如果不清楚字符串的编码格式的话,就可以将这段字符这样检查:$encode = mb_detect_encoding($string, arr
- 今天从网上学习了有关SQL注入的基本技能。SQL注入的重点就是构造SQL语句,只有灵活的运用SQL 语句才能构造出牛比的注入字符串。学完之后
- 继续我们的 Javascript 优化计划,上期已经做到怎么尽可能的缩小 Javascript 脚本的文件体积便于传输。不过这样做仅仅是不够