python cookie反爬处理的实现
作者：corei5tj 发布时间：2021-10-16 23:33:17
标签：python,cookie,反爬
Cookies的处理
作用
保存客户端的相关状态
在爬虫中如果遇到了cookie的反爬如何处理?
手动处理
在抓包工具中捕获cookie,将其封装在headers中
应用场景:cookie没有有效时长且不是动态变化
自动处理
使用session机制
使用场景:动态变化的cookie
session对象:该对象和requests模块用法几乎一致.如果在请求的过程中产生了cookie,如果该请求使用session发起的,则cookie会被自动存储到session中.
案例
爬取雪球网中的新闻资讯数据:https://xueqiu.com/
#获取一个session对象
import requests
headers = {
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36'
}
session = requests.Session()
main_url = 'https://xueqiu.com' #推测对该url发起请求会产生cookie
session.get(main_url,headers=headers)
url = 'https://xueqiu.com/v4/statuses/public_timeline_by_category.json'
params = {
'since_id': '-1',
'max_id': '20346152',
'count': '15',
'category': '-1',
}
page_text = session.get(url,headers=headers,params=params).json()
page_text
来源：https://www.cnblogs.com/tangjian219/p/12183195.html
0
投稿猜你喜欢
摘要: 前端框架 Bootstrap 的模态对话框，可以使用 remote 选项指定一个 URL，这样对话框在第一次弹出的时候就会自动从这个- 均匀性度量图像分割是图像像素分割的一种方法，当然还有其他很多的方法。这里简单的介绍下其原理和实现代码【有源码】其流程大概分为一下几步1、确定
- 想要一个这玩意，可是找了网上许多着色器，要么是兼容性成问题，要么是匹配不精确，比如说：1、注释里包含字符串、关键词，类似于：/* xxxx&
- 对于“XOR”大家应该都不陌生，我们在各种课程中都会遇到，它是一个数学逻辑运算符号，在计算机中表示为“XOR”，在数学中表示为“”，学名为“
- 本文实例讲述了python实现删除文件与目录的方法。分享给大家供大家参考。具体实现方法如下：os.remove(path)删除文件 path
- 如今，基本每个网站都会需要到Tab切换展示内容的滑动门效果应用，这种效果可以在更少的页面空间内，展示更多的网站内容，节约空间，方便用户集中操
- 本文实例讲述了es6函数之严格模式用法。分享给大家供大家参考，具体如下：从es5开始，函数内部可以设定为严格模式。function doSo
- 有两种方法供参考.一种是实实在在的将图片先用ASPJPEG组件做成想要的尺寸,再读取好处是节省服务器带宽,速度快坏处是处理起来较为麻烦,并网
- 本文为大家分享了Eclipse开发python脚本的具体方法，供大家参考，具体内容如下一、安装python1.访问网址，可以看到如下图所示界
- Turtle库是Python内置的图形化模块，属于标准库之一，位于Python安装目录的lib文件夹下，常用函数有以下几种：画笔控制函数pe
- 最近因工作需要，要学习PHP的基础编程，于是学习架设PHP工作环境。但按照教材上介绍的那样，安装了WMAP后，一直无法运行成功。后发现Apa
- 客户/服务器体系结构图形化的用户界面，使系统的管理更加直观和简单。丰富的编程接口，为用户进行应用程序设计提供了更大的选择余地。与Window
- 具体代码如下：Function ASTCreateFtpSite(IPAddress, RootDirectory,&n
- 在数据库中，字符型的数据是最多的，可以占到整个数据库的80％以上。为此正确处理字符型的数据，对于提高数据库的性能有很大的作用。在字符型数据中
- 一、定义集合中的元素是无序的、唯一的、不可变的类型。集合是一个特殊的列表，可以对数据去重。lists = [1,3,5,7,3,4,6,2,
- 构筑专业的网络站点和应用程序,先进的设计工具,功能强大，开放式集成系统；流畅的开发进程。Macromedia Dreamweaver MX
- “深入认识Python内建类型”这部分的内容会从源码角度为大家介绍Python中各种常用的内建类型。
- class Node: def __init__(self,dataval=None): self.d
- 1．问：在DW中如何设置页面边距为0？答：在DW中似乎没有直接设置的方法，你只有在Html文档中插入以
- 1.反变换法设需产生分布函数为F(x)的连续随机数X。若已有[0,1]区间均匀分布随机数R,则产生X的反变换公式为：F(x)=r, 即x=F
