Python headers请求头如何实现快速添加
作者：15号计划 发布时间：2023-04-11 15:24:26
标签：Python,headers,请求,头
1、为什么要设置headers?
在请求网页爬取的时候，输出的text信息中会出现抱歉，无法访问等字眼，这就是禁止爬取，需要通过反爬机制去解决这个问题。
headers是解决requests请求反爬的方法之一，相当于我们进去这个网页的服务器本身，假装自己本身在爬取数据。
对反爬虫网页，可以设置一些headers信息，模拟成浏览器取访问网站 。
2、 headers在哪里找？
谷歌或者火狐浏览器，在网页面上点击：右键–>检查–>剩余按照图中显示操作，需要按Fn+F5刷新出网页来
有的浏览器是点击：右键->查看元素，刷新
Python爬虫中Requests设置请求头Headers的方法
注意：headers中有很多内容，主要常用的就是user-agent 和 host，他们是以键对的形式展现出来，如果user-agent 以字典键对形式作为headers的内容，就可以反爬成功，就不需要其他键对；否则，需要加入headers下的更多键对形式。
代码如下
import re
# 下方引号内添加替换掉请求头内容
headers_str = """
Accept: application/json, text/javascript, */*; q=0.01
Accept-Encoding: gzip, deflate, br
Accept-Language: zh-CN,zh;q=0.9,en;q=0.8
Cache-Control: no-cache
Connection: keep-alive
Content-Length: 77
Content-Type: application/json
User-Agent: Mozilla/5.0 (iPhone; CPU iPhone OS 13_2_3 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.0.3 Mobile/15E148 Safari/604.1
X-Apple-App-Id: 632
X-Apple-Frame-Id: daw-10beaddd-c22f-4fd4-8aba-ef4909a721dd
X-Requested-With: XMLHttpRequest
"""
pattern = '^(.*?):(.*)$'
for line in headers_str.splitlines():
print(re.sub(pattern,'\'\\1\':\'\\2\',',line).replace(' ',''))
结果
来源：https://www.cnblogs.com/san357/p/13873553.html
0
投稿猜你喜欢
- 作为一个mod_python模块的替代，你可以考虑使用mod_wsgi模块，此模块开发的时间比mod_python的开发时间离现在更近一些，
- odeJs 微信公众号功能开发,移动端 H5页面调用微信的支付功能。这几天根据公司的需要使用 node 和 h5页面调用微信的支付功能完成支
- Python是一种解释型、面向对象、动态数据类型的高级程序设计语言。Python由Guido van Rossum于 * 底发明，第一个
- Vue-router是伴随着Vue框架出现的路由系统，它也是公认的一种优秀的路由解决方案。在使用Vue-router时候，我们常常会使用其自
- 如下所示：#利用小波分析进行特征分析#参数初始化inputfile= 'C:/Users/Administrator/Desktop
- python用terminal输入参数import argparseif __name__ == '__main__':pa
前言首先线程和线程池不管在哪个语言里面，理论都是通用的。对于开发来说，解决高并发问题离不开对多个线程处理。我们先从线程到线程池，从每个线程的- 如何定义多对多关系Django 本身自带了一个很强大的ORM，支持自定义model并将其映射到数据库的表中model中可以定义各种类型的数据
- Mysql中的concat函数(拼接函数)概述很多时候，我们需要将不同地方获得的字符串拼接在一起，此时就需要使用CONCAT和CONCAT_
- 简述一开始觉得这个很有趣，然后就想来做一个来玩一下使用语言： Python3使用工具：opencv视频监控 + socket数据传输技术程序
- 设置某个字段的值自增由于某个业务需要手动操作数据库，并设置主键ID不重复。做个记录set @rownum=0;select a.id, @r
- Hello大家好，今天说一下python的socket编程，基于python的socket通信的文本框网络聊天首先，实验环境：一个云服务器（
- 1、通过将函数存储在独立的文件中，可隐藏程序代码的细节，将重点放在程序的高层逻辑上。2、能让你在众多不同的程序中重用函数。将函数存储在独立文
- 1. 基本环境安装 anaconda 环境， 由于国内登陆不了他的官网 https://www.continuum.io/downloads
- 1、简介APScheduler是一个 Python 定时任务框架，使用起来十分方便。提供了基于日期、固定时间间隔以及 crontab 类型的
- 本文实例讲述了Python找出文件中使用率最高的汉字的方法。分享给大家供大家参考。具体分析如下：这是我初学Python时写的，为了简便，我并
- 现有：班级表（A_CLASS）学生表( STUDENT)注：学生表(STUDENT)的classId关联班级表（A_CLASS）的主键ID代
- 这篇文章主要介绍了python numpy数组中的复制知识解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,
- 本文实例讲述了php以post形式发送xml的方法。分享给大家供大家参考。具体方法如下：方法一，使用curl：$xml_data = <
- 1. 稀疏矩阵的建立：coo_matrix()from scipy.sparse import coo_matrix# 建立稀疏矩阵data
