基于python爬取有道翻译过程图解
作者：何梦吉他 发布时间：2021-11-03 23:57:27
标签：python,爬取,有道,翻译
1.准备工作
先来到有道在线翻译的界面http://fanyi.youdao.com/
F12 审查元素 ->选Network一栏，然后F5刷新 （如果看不到Method一栏，右键Name栏，选中Method）
输入文字自动翻译后发现Method一栏有GET还有POST；GET是指从服务器请求和获得数据，POST是向指定服务器提交被处理的数据、
随便打开一个POST，找到preview可以看到我们输入的“我爱你一生一世”数据,可以证明post的提交数据的
下面分析一下Headers各个字段的意义；User-agent字段很重要
下面来看一下request模块中urlopen方法，查看文档；
发现urlopen有一个data参数，如果参数没赋值（默认None）就是GET形式，如果data参数被赋值了，就以POST形式提交
在这里，data参数其实是一个字典 ；就是源代码中From Data的数据
下面一篇文章是对urlencode与unquote的详细解释：（urllib库里可惜没有urldecode函数）
https://www.jb51.net/article/183857.htm
为什么要进行编码和解码呢？------》对于一些中文或者字符，url是不识别的，需要进行编码转换！encode('utf-8')把unicode的形式变成utf-8decode('utf-8')把utf-8形式变成Unicode编码形式2.下面进行敲！
来源：https://www.cnblogs.com/hemengjita/p/12341762.html
0
投稿猜你喜欢
- 执行 datax 作业，创建执行文件，在 crontab 中每天1点（下面有关系）执行：其中 job_start 及 job_finish
哈喽兄弟们，今天来分享一下，Python初学者必须要学会的技能，Python进行debug操作。本文用的测试代码：from torchvis- Zabbix没有报表导出的功能，于是通过编写脚本导出zabbix数据并发邮件。效果如下：下面是脚本，可根据自己的具体情况修改：#!/usr/
- 核心代码是：browser.execute_cdp_cmd('Network.setUserAgentOverride',
- 递归和尾递归简单的说，递归就是函数自己调用自己，它做为一种算法在程序设计语言中广泛应用。其核心思想是把一个大型复杂的问题层层转化为一个与原问
- go module 是Go1.11版本之后官方推出的版本管理工具，并且从 Go1.13 版本开始， go module
- varint今天本来在研究 OpenTelemetry 的基准性能测试 github.com/zdyj3170101…
- Python 语句语句是 Python 解释器解析和处理的基本指令单元。通常解释器按顺序一个接一个的执行语句。在 REPL 会话中，语句在输
- 查询学生步骤1：设置导航 步骤2：添加路由步骤3：创建页面步骤：步骤1：准备2个变量（pageInfo、studentVo）步骤2
- 废话不多说，直接上代码create database mydbuse mydbgocreate table account( i
- Pytorch的数据类型为各式各样的Tensor,Tensor可以理解为高维矩阵。与Numpy中的Array类似。Pytorch中的tens
- 锁，在现实生活中是为我们想要隐藏于外界所使用的一种工具。在计算机中，是协调多个进程或县城并发访问某一资源的一种机制。在数据库当中，除了传统的
- 我就废话不多说了，大家还是直接看代码吧！import requestsimport jsonraw = {}headers中添加上conte
- 选择排序选择排序（selection sort）是一种原地（in-place)排序算法，适用于数据量较少的情况。由于选择操作是基于
- 本章内容，我们主要来讲一下Python内置的HTML解析库HTMLParser模块，基本上也是应用于页面抓取上，假设，我们需要去收集页面上已
- 用来制作甘特图的专业工具也不少，常见的有：Microsoft Office Project、GanttProject、WARCHART XG
- 最近有网友在留言板里问到jRaiser和jQuery的冲突问题，特此写一篇文章进行解释。冲突的根源众所周知，jQuery是通过一个全局变量$
- 在Python3环境下，调试实现了《大话设计模式》中简单工厂模式，通过定义单独的工厂类，完成对具体的产品的实例化,参考链接具体实现见代码：#
- 我们平时接触的长乘法，按位相乘，是一种时间复杂度为 O(n ^ 2) 的算法。今天，我们来介绍一种时间复杂度为 O (n ^ log 3)
- .游标方式 1 DECLARE @Data NVARCHAR(max) SET @Data='1,tanw;2,keen
