python requests模块的使用示例
作者:风` 发布时间:2022-06-22 14:29:38
标签:python,requests
目录
为什么使用requests:
模拟get请求:
模拟请求头部信息
模拟post请求
requests上传文件
requests设置代理
time模块设置请求超时
retrying模块设置刷新
cookie设置
处理证书认证错误
requests+jsonpath解析数据
为什么使用requests:
支持使用Cookie保持会话
支持文件上传
支持自动确定响应内容的编码
对用户来说比较人性化
模拟get请求:
获取token
# 使用微信公众平台举例
get_param_dict={
"grant_type":"**************",
"appid":"**************",
"secret":"**************",
}
response = requests.get(url='https://api.weixin.qq.com/cgi-bin/token', # url地址
params=get_param_dict) # 参数
print(response.content.decode('utf-8'))
模拟请求头部信息
注:因为requests请求头是以python,requests发起的,所以大部分接口都会需要手动添加头部信息
# get 模拟请求头部信息,(当你发现数据不对时,就模拟)
# 以百度举例
get_param_dict ={
"wd":"newdream"
}
# 添加头部信息字典(可以使用抓包抓取到头部信息)
header_info_dict = {
"User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36",
"Accpet":"text/plain, */*; q=0.01"
}
response = requests.get(url = 'https://www.baidu.com/s',
params=get_param_dict,headers=header_info_dict)
print(response.content.decode('utf-8'))
模拟post请求
import requests,json
# requests模拟发送post请求
# 使用微信公众平台举例
url_param_doct = {"access_token": "43_XcK_1rvR8VPgicGGzq7Vp2QrGx30Kwhy9SSShoVTQs11G_jP9aqhy2bwRQFuG2hYzkwVjphJFfPj8WYQR8vgfu5Xej7KaZBiyPDJ9sYoCKte78sqgtBdCf6N5S8QosNXBOFSEJnzLMbxJwCOTWAgAAANQU"}
post_param_data = {
"tag" : { "name" : "我是新标签" }
}
response = requests.post(url='https://api.weixin.qq.com/cgi-bin/tags/create',
params=url_param_doct,
# json=post_param_data # 可以使用json
data=json.dumps(post_param_data) # 也可以使用data,但是data要求是字符串,需要使用json模块dumps转化
)
print(response.content.decode('utf-8'))
requests上传文件
import requests,os
# post上传文件
current_path = os.path.dirname(__file__) # os模块定位当前路径
excel_path = os.path.join(current_path,'..','data','j.xlsx') # join拼接
excel_file = {'file':open(excel_path,'rb')} # 做成字典,open打开文件 rb:只读二进制
response = requests.post(url='https://2.python-requests.org/', # requests官方实例文档地址
files=excel_file) # files传文件
print( response.content.decode('utf-8') )
requests设置代理
import requests
# 设置代理:为什么设置代理?
# 爬虫类项目,有检测机制
# 防止公司系统有防灌水功能
# 需要翻墙做接口的时候
proxy_server = {'http':'http://127.0.0.1:8888',
'https':'http://127.0.0.1:8888'} # 做一个字典
proxy_user_pass = {
'https':'http://uesrname:password@127.0.0.1:8888' # 需要用户跟密码使用这个
}
response = requests.get(url= 'https://baidu.com',
proxies=proxy_server) # proxies设置代理关键字
print(response.status_code)
time模块设置请求超时
如果一个请求很久没有结果,就会让整个项目的效率变得非常低,这个时候我们就需要对请求进行强制要求
让他必须在特定的时间内返回结果,否则就报错。
# 设置请求超时
import requests
import time
print(time.time()) # 时间戳
response = requests.get(url='https://www.baidu.com',timeout=3) # timeout=3: 请求如果在规定时间之内(3秒钟内)没有得到响应,就会抛出超时错误
print(time.time())
retrying模块设置刷新
使用超时参数能够加快我们整体的请求速度,但是在正常的网页浏览过成功,如果发生速度很慢的情况,我们会做的选择是刷新页面
retrying模块就可以帮助我们解决。使用retrying模块提供的retry模块
通过装饰器的方式使用,让被装饰的函数反复执行retry中可以传入参数stop_max_attempt_number,让函数报错后继续重新执行
达到最大执行次数的上限,如果每次都报错,整个函数报错,如果中间有一个成功,程序继续往后执行。
import requests
from retrying import retry
# 如果函数连续调用三次都报错,才会报错,如果三次之中有一次成功,就成功
@retry(stop_max_attempt_number=3)
def get_response(url):
response = requests.get(url, timeout=2)
return response
retrying_requests = get_response("https://www.baidu.com")
print(retrying_requests.content.decode())
cookie设置
好处:能够访问登录后的页面
坏处:一套cookie往往对应的是一个用户的信息,请求太频繁有更大的可能性被对方识别为爬虫
如何解决 ?使用多个账号
# 使用requests提供的session模块
import requests
# 构造formdata表单数据,填写自己的账号和密码
post_data = {
"username": "xxxxx",
"password": "xxxxx"
}
# session的使用: 在请求之前创建session对象
session = requests.Session()
# 后续的请求都由session来发起,因为session中保存了用户的登陆信息
session.post(url="https://www.baidu.com", data=post_data)
response = session.get("https://www.baidu.com")
# 使用session请求登陆后的界面
print(response.content.decode())
处理证书认证错误
import requests
# 方式一:不验证证书,报警告,返回200
requests.packages.urllib3.disable_warnings()# 直接解决爆红警告
# 方式二不验证证书,报警告,返回200 ,后面拼接verify=False,加这个控制台报警的话,就在加上方式一
response = requests.get('https://www.12306.cn',verify=False)
print(response.content.decode('utf-8'))
# 方式三:安装pyopenssl 安装之后就不会报错# pip3 install -U requests[security]
response = requests.get('https://www.12306.cn')
print(response.content.decode('utf-8'))
# 方式四: 加上证书 公司内部 问开发要xxx.crt文件 ,最稳妥
response = requests.get('https://www.12306.cn',cert=('/path/server.crt', '/path/key'))
requests+jsonpath解析数据
hosts = 'https://api.weixin.qq.com' # 主机地址
# 获取token
get_param_dict = {
"grant_type":"**********",
"appid":"*************",
"secret":"***************"
}
response = requests.get('%s/cgi-bin/token'%hosts,params=get_param_dict)
json_obj = response.json()
# json数据解析:从一个json体中取出需要的数据,就叫json数据解析
token_id = jsonpath.jsonpath(json_obj,'$.access_token')[0] # 接口依赖,接口关联
print(token_id)
来源:https://www.cnblogs.com/feng-20/p/14624777.html
0
投稿
猜你喜欢
- 本文实例为大家分享了python实现飞船大战的具体代码,供大家参考,具体内容如下上篇博文我们一起实现了贪吃蛇与坦克大战200行python代
- 快速排序的基本思想:首先选定一个数组中的一个初始值,将数组中比该值小的放在左边,比该值大的放在右边,然后分别对左边的数组进行如上的操作,对右
- 本文实例讲述了Python面向对象类编写技术细节。分享给大家供大家参考,具体如下:类代码编写细节继续学习类、方法和继承。class语句以下是
- radians()方法把角度转化为弧度角x。语法以下是radians()方法的语法:radians(x)注意:此函数是无法直接访
- 字典转换为字符串if __name__ == '__main__': a = {'a' : 1,
- 模块:包含定义函数和变量的python文件,可以被别的程序引入。os模块是操作系统接口模块,提供了一些方便使用操作系统相关功能函数,这里介绍
- 本文实例为大家分享了Django下完成文件上传和下载功能的具体代码,供大家参考,具体内容如下一、文件上传Views.pydef upload
- 比如:Set Connobject=nothing nothing如同英文单词字面意思,没有,没有那个,没有这个,没有东西 Set Conn
- 一、背景最近有个需求是从一个后台的留言网站爬取留言数据,后台管理网站必然涉及到了登录,登录就有个验证码的问题必须得解决,由于验证码是从后端生
- 以下插件是我在项目中经常使用的jQuery插件,不见得是最好的,但是我目前接触到的jQuery插件中最适合我的。01. jQuery.Fle
- NICE!大家好,在上一章节,我们学习了 multiprocessing 模块 的关于进程的创建与进场常用的方法的相关知识。 通过在一个主进
- 又是一年春来到,看各大网站的新年Logo也成为了我们必不可少的新年餐点,为此,我们特别整理了部分网站的新年Logo秀,如果你看到了更加有意思
- 正文之前上午给爸爸打了个电话庆祝他50岁生日,在此之前搞了个大扫除,看了会知乎,到实验室已经十一点多了。约喜欢的妹子吃饭失败,以至于工作积极
- 如果一个模型里包含了ManyToManyField,在admin后台可能会显示成object,例如解决方法:在定义这个类的时候,加多一个函数
- 本文实例讲述了Golang排列组合算法问题之全排列实现方法。分享给大家供大家参考,具体如下:【排列组合问题】一共N辆火车(0<N<
- 第一种是进行多项式拟合,数学上可以证明,任意函数都可以表示为多项式形式。具体示例如下。###拟合年龄import numpy as npim
- 在这个教材中,我们假定你已经安装了Scrapy。假如你没有安装,你可以参考这个安装指南。我们将会用开放目录项目(dmoz)作为我
- excel写入数据,使用openpyxl库class WriteExcel: def __init__(self,path):
- 这篇博客将介绍使用Python,OpenCV获取、更改像素,修改图像通道,截取图像感兴趣ROI;单通道图,BGR三通道图,四通道透明图,不透
- 24小时内记录(即86400秒)$sql="Select video_id,count(id)as n FROM `rec_dow