Python爬虫urllib和requests的区别详解
作者：梦子mengy7762 发布时间：2023-04-24 23:25:27
标签：Python,urllib,requests
我们讲了requests的用法以及利用requests简单爬取、保存网页的方法，这节课我们主要讲urllib和requests的区别。
1、获取网页数据
第一步，引入模块。
两者引入的模块是不一样的，这一点显而易见。
第二步，简单网页发起的请求。
urllib是通过urlopen方法获取数据。
requests需要通过网页的响应类型获取数据。
第三步，数据封装。
对于复杂的数据请求，我们只是简单的通过urlopen方法肯定是不行的。最后，如果你的时间不是很紧张，并且又想快速的提高，最重要的是不怕吃苦，建议你可以联系维：762459510 ，那个真的很不错，很多人进步都很快，需要你不怕吃苦哦！大家可以去添加上看一下~
urllib中，我们知道对于有反爬虫机制的网站，我们需要对URL进行封装，以获取到数据。我们可以回顾下前几节课的内容：
requests模块中，就不需要这么复杂的操作，直接在第二步中，加入参数headers即可：
2、解析网页数据
urllib和requests都可以通过bs4和re进行数据的解析，requests还可以通过xpath进行解析。具体解析方法之后会详解
3.保存数据
urllib需要引入xlwt模块进行新建表格、sheet表格写入数据.最后，如果你的时间不是很紧张，并且又想快速的提高，最重要的是不怕吃苦，建议你可以联系维：762459510 ，那个真的很不错，很多人进步都很快，需要你不怕吃苦哦！大家可以去添加上看一下~
requests通过with…as直接虚入数据：
来源：https://blog.csdn.net/ITF_001/article/details/120139406
0
投稿猜你喜欢
一、求解方法、算法和编程方案线性规划 （Linear Programming，LP） 是很多数模培训讲的第一个算法，算法很简单，思想很深刻。- Python发送email的三种方式，分别为使用登录邮件服务器、使用smtp服务、调用sendmail命令来发送三种方法Python发送em
- 我们在编写 JS 代码时，经常会遇到逻辑判断复杂的情况。一般情况下，可以用 if/else 或 switch 来实现多个条件判断，但会出现一
- 之前使用django+mysql建立的一个站点，发现向数据库中写入中文字符时总会报错，尝试了修改settings文件和更改数据表的字符集后仍
- 1、文档使用numpy的 concatenate 拼接矩阵，文档里面这样解释：numpy.concatenate((a1, a2, ...)
- 转眼间上次写文章已经是 2022年12月15日的事情啦，本来从2022年7月份开始写作之后保持着每周一篇，然而从12月15日后断更了这么久，
- 最近一段时间一直在研究yolo物体检测，基于网络上很少有yolo的分类预训练和yolo9000的联合数据的训练方法，经过本人的真实实验，对这
- Memento备忘录模式 备忘录模式一个最好想象的例子：undo! 它对对象的一个状态进行了'快照'， 在你需要的时候恢复原
- 本文实例讲述了Python企业编码生成系统之主程序模块。分享给大家供大家参考，具体如下：一 点睛主程序模块包括三部分：1 主程序初始化2 主
- 在一些特殊的业务场景中，我们需要一次性提取一张图片中的色卡信息，并且需要使用十六进制的颜色表示方法进行展示。今天得空做了一个小工具，用来自定
- 开发环境与配置win_x64Ubuntu14.04Python3.xpip安装pymysql模块直接使用pip安装 pip install
- 前言favicon.ico是网站的图标也是网站的头像，简单来说，就是让我们的网站更加好看。本文主要给大家介绍了关于优雅处理Django中fa
- 题目要求1.后台管理员只有一个用户：admin, 密码： admin2.当管理员登陆成功后，可以管理前台会员信息。3.会员信息管
- 目录一、scrapy 分析1. 解析函数或数据入库出错，不会重试，会造成一定的数据丢失2. 运行方式，需借助命令行，不方便调试3. 入库 p
- 大家好，我又回来了。昨天在上厕所的时候突发奇想，当你把usb插进去的时候，能不能自动执行usb上的程序。查了一下，发现只有windows上可
- 本文实例讲述了利用PHP函数计算中英文字符串长度的方法。分享给大家供大家参考。具体实现方法如下：一般来说大家知道英文字符占一个字节,而中文字
- 一种有意思的数据结构-默克树（Merkle tree）默克树（Merkle tree）又叫hash树。程序员可以说自己不知道默克树，但是不能
- 我们知道Python的内置dictionary数据类型是无序的，通过key来获取对应的value。可是有时我们需要对dictionary中
- 本文将介绍如何使用 Vue 和第三方组件库 Element UI 实现轮播图功能。我们将从以下几个方面进行讲解：安装 Element UI创
- Python 是支持面向对象的，很多情况下使用面向对象编程会使得代码更加容易扩展，并且可维护性更高，但是如果你写的多了或者某一对象非常复杂了
