python爬虫 urllib模块发起post请求过程解析
作者：minger_lcm 发布时间：2022-02-07 22:52:53
标签：python,爬虫,urllib,模块,post,请求
urllib模块发起的POST请求
案例：爬取百度翻译的翻译结果
1.通过浏览器捉包工具，找到POST请求的url
针对ajax页面请求的所对应url获取，需要用到浏览器的捉包工具。查看百度翻译针对某个字条发送ajax请求，所对应的url
点击clear按钮可以把抓包工具，所抓到请求清空
然后填上翻译字条发送ajax请求，红色框住的都是发送的ajax请求
抓包工具All按钮代表 显示抓到的所有请求 ，包括GET、POST请求 、基于ajax的POST请求
XHR代表 只显示抓到的基于ajax的POST请求
哪个才是我们所要的基于ajax的POST请求，这个POST请求是携带翻译字条的苹果请求参数
再看看这个POST请求 对应的请求URL ，这个URL是我们要请求的URL
发起POST请求之前，要处理POST请求携带的参数 3步流程:
一、将POST请求封装到字典
二、使用parse模块中的urlencode(返回值类型是字符串类型)进行编码处理
三、将步骤二的编码结果转换成byte类型
import urllib.request
import urllib.parse
# 1.指定url
url = 'https://fanyi.baidu.com/sug'
# 发起POST请求之前，要处理POST请求携带的参数 流程:
# 一、将POST请求封装到字典
data = {
# 将POST请求所有携带参数放到字典中
'kw':'苹果',
}
# 二、使用parse模块中的urlencode(返回值类型是字符串类型)进行编码处理
data = urllib.parse.urlencode(data)
# 三、将步骤二的编码结果转换成byte类型
data = data.encode()
'''2. 发起POST请求:urlopen函数的data参数表示的就是经过处理之后的
POST请求携带的参数
'''
response = urllib.request.urlopen(url=url,data=data)
data = response.read()
print(data)
把拿到的翻译结果 去json在线格式校验(在线JSON校验格式化工具(Be JSON)),
点击格式化校验和unicode转中文
来源：https://www.cnblogs.com/mingerlcm/p/11369444.html
0
投稿猜你喜欢
使用python进行图片处理，现在需要读出图片的任意一块区域，并将其转化为一维数组，方便后续卷积操作的使用。 下面使用两种方法进行处理：co- 一.相关说明：1、openpyxl（可读写excel表）专门处理Excel2007及以上版本产生的xlsx文件；2007一下的版本为xls结
- 一. 抛出异常Python用异常对象(exception object)表示异常情况，遇到错误后，会引发异常。如果异常对象并未被处理或捕捉，
- sysbench是一款非常优秀的基准测试工具，它能够精准的模拟MySQL数据库存储引擎InnoDB的磁盘的I/O模式。因此，基于sysben
- MySQL内外连接表的连接分为内连接和外连接。内连接内连接内连接的SQL如下：SELECT ... FROM t1 INNER JOIN t
- antd form表单使用setFildesValue 赋值失效加上this.$nextTick(()=>{})即可this.$nex
- 最多16列。 create table test ( f1 int, f2 int, f3 int, f4 int, f5 int, f6
- pythonDES加密与解密以及hex输出和bs64格式输出具体代码如下所示：import pyDesimport base64Key =
- Python有许多吸引力，如效率，代码可读性和速度，使其成为数据科学爱好者的首选编程语言。Python通常是希望升级其应用程序功能的数据科学
- Python支持多种图形界面的第三方库，包括：wxWidgetsQtGTKTkinter： Tkinter 模块(Tk 接口)是 Pytho
- 前言在前几篇博客中，分别就棋子的颜色识别、模板匹配等定位方式进行了介绍和实践，这一篇博客就来验证一下github中最热门的跳一跳 * 中采用的
- “到底是什么将艺术和设计分开的？”这样一个话题听起来费解，长时间以来， 也已经被讨论过无数次。艺术家和设计师都是通过共通的知识和素养来创造视
- 对于一些复杂的hdf5文件，通过可视化的方法可以比较容易的了解文件的内部结构，下面介绍基于python的一个hdf5文件的安装使用方法1 安
- 今天来说说xml那些事儿.如何批量修改指定文件夹下的xml文件的指定属性.分三步走,首先,我们先看看如何读写单个的xml文件;第二步,来看看
- 核心提示：本文针对mysql-noinstall版本，也就是解压缩版的安装配置应用做了个总结，这些操作都是平时很常用的操作。文章中不对mys
- 1.Quiz有如下一个例子：package mainimport ("encoding/json""fmt&q
- 最近更新了VS Code之后，发现Remote-ssh拓展里的端口转发功能没了，很伤心，在探索的同时，顺手配置了一下VS Code ssh免
- JavaScript 代码一般最常见的语法格式就是定义函数 function xxx(){/*code...*/}，经常有这样的一大堆函数定
- 一. np.dot()1.同线性代数中矩阵乘法的定义。np.dot(A, B)表示：对二维矩阵，计算真正意义上的矩阵乘积。对于一
- 解决tensoflow如何在已训练模型上继续训练fineturn的问题。训练代码任务描述： x = 3.0, y = 100.0， 运算公式
