Python爬虫scrapy框架Cookie池(微博Cookie池)的使用
作者：MXuDong 发布时间：2023-03-25 00:27:03
标签：scrapy,Cookie
下载代码Cookie池（这里主要是微博登录，也可以自己配置置其他的站点网址）
下载代码GitHub：https://github.com/Python3WebSpider/CookiesPool
下载安装过后注意看网页下面的相关基础配置和操作！！！！！！！！！！！！！
自己的设置主要有下面几步：
1、配置其他设置
2、设置使用的浏览器
3、设置模拟登陆
源码cookies.py的修改（以下两处不修改可能会产生bug）：
4、获取cookie
随机获取Cookies： http://localhost:5000/weibo/random（注意：cookie使用时是需要后期处理的！！）
简单的处理方式，如下代码（偶尔需要对获取的cookie处理）：
def get_cookie(self):
return requests.get('http://127.0.0.1:5000/weibo/random').text
def stringToDict(self,cookie):
itemDict = {}
items = cookie.replace(':', '=').split(',')
for item in items:
key = item.split('=')[0].replace(' ', '').strip(' "')
value = item.split('=')[1].strip(' "')
itemDict[key] = value
return itemDict
scrapy爬虫的使用示例（爬取微博）：
middlewares.py中自定义请求中间件
def start_requests(self):
ua = UserAgent()
headers = {
'User-Agent': ua.random,
}
cookies = self.stringToDict(str(self.get_cookie().strip('{|}')))
yield scrapy.Request(url=self.start_urls[0], headers=headers,
cookies=cookies, callback=self.parse)
cookies = self.stringToDict(str(self.get_cookie().strip('{|}')))
yield scrapy.Request(url=self.start_urls[0], headers=headers,
cookies=cookies, callback=self.parse)
settings.py 中的配置：
5、录入账号和密码：
格式规定（账号----密码）
6、验证：（注意：使用cmd）
7、使用时注意保持cmd打开运行！！
使用时一定要打开cmd,并运行如第6步。
得到Cookie是判断是否处理处理Cookie（几乎都需要！！）类比第4步！！！
来源：https://blog.csdn.net/qq_33472765/article/details/80957853
0
投稿猜你喜欢
- 这篇文章主要介绍了python被修饰的函数消失问题解决(基于wraps函数),文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的
在网上看了很多解决方法，都没有解决，后来我自己解决了这个问题：出现的问题：在cmd上 “pip install package” 时显示 s- 引言在 web 项目中，我们经常使用自定义状态码来告知请求方请求结果以及请求状态；在 Python 中该如何设计自定义的状态码信息呢？普通类
- typora介绍Typora是一款Markdown编辑器和阅读器风格极简/多种主题/支持 macOS，Windows 及 Linux实时预览
- 程序出错的时候，我们往往需要根据异常信息来找到具体出错的代码。简单地用print打印异常信息并不能很好地追溯出错的代码：# -*- codi
- 一，什么是JSON文件JSON和XML都是互联网上数据交换的主要载体。在JSON出现之前，大家一直用XML来传递数据。因为XML是一种纯文本
- 异常详细信息: System.Web.HttpException: 无法向会话状态服务器发出会话状态请求。请确保已启动 ASP.NET St
- 修改python plot折线图的坐标轴刻度，这里修改为整数：代码如下：from matplotlib import pyplot as p
- yolov5训练命令python .\train.py --data my.yaml --workers 8 --batch-size 32
- 本文实例讲述了jQuery选择器用法。分享给大家供大家参考，具体如下：jQuery 使用两种方式来选择 html 的 element，第一种
- 我的长博文不少，比较影响阅读体验，有必要添加一个文章目录功能。相比 Wordpress， Typecho 的插件就比较少了。我想找一个像掘金
- 方法对比:使用df[(df[“a”] > 3) & (df[“b&
- 前言很多中后台业务的系统中，表格是最高频的组件之一，其中一般包括搜索条件、表格展示、表格操作列、分页等。那么我们二次封装的这个表格组件就需要
- 一、问题本人在使用layui使用了select按钮，点击是js脚本会异步请求后台接口获取json数据，然后layui将json数据渲染到se
- 做了一个Python的小项目。利用了一点python的可视化技巧，做出烟花绽放的效果，文章的灵感来自网络上一位大神。一.编译环境Pychar
- python创建一个类很简单只需要定义它就可以了.class Cat: pass就像这样就可以了，通过创建子类我们可以继承他的父
- window.onload = function(){ var gaga = document.getElementById( "
- 目录分析问题音频url搜索urlJS代码实现分析问题音频url点入某个音乐的播放界面，通过F12-Network，分析数据，可以看到有一个i
- 说明本例子利用TensorFlow搭建一个全连接神经网络，实现对MNIST手写数字的识别。先上代码from tensorflow.examp
- 项目环境：python3.6，django2.1接口功能： 将传入参数a和b字符串相加，返回结果1.新建一个django项目# 新建一个名为
