Python urllib 入门使用详细教程
作者：卡尔特斯 发布时间：2023-03-02 10:48:35
标签：Python,urllib,使用
一、简介
urllib 库，它是 Python 内置的 HTTP 请求库，不需要额外安装即可使用，它包含四个模块：
`request` 请求模块，提供最基本的 `HTTP` 请求处理。
`parse` 工具模块，提供处理 `url` 的很多方法：拆分、解析、合并等等。
`error` 异常处理模块，如果出现请求错误，可以捕获这些错误，保证程序不会意外终止。
`robotparser` 模块，主要用来识别网站的 `robots.txt` 文件，判断哪些网站可以爬取，用的比较少。
二、 request 模块
1、urlopen：打开一个指定 URL，然后使用 read() 获取网页的 HTML 实体代码。
# 使用 urllib
import urllib.request
# 1、定义一个 url
url = 'http://www.baidu.com'
# 2、模拟浏览器向服务器发送请求
response = urllib.request.urlopen(url)
# 3、获取响应数据中的页面源码（注意：read() 返回的是字节形式的二进制数据，返回数据会被 b'xxx' 进行包裹）
content = response.read()
# 4、输出二进制数据 content
print(content)
# 输出结果：b'<html>\r\n<head>\r\n\t<script>\r\n\t\tlocation.replace(location.href.replace("https://","http://"));\r\n\t</script>\r\n</head>\r\n<body>\r\n\t<noscript><meta http-equiv="refresh" content="0;url=http://www.baidu.com/"></noscript>\r\n</body>\r\n</html>'
# 5、将二进制数据转成字符串，这里需要网页对应的编码格式（例如：<meta http-equiv="Content-Type" content="text/html;charset=utf-8">），charset= 的就是编码格式 utf-8
content = content.decode('utf-8')
# 6、输出字符串 content
print(content)
2、response：响应的数据对象 HTTPResponse 类型
# 使用 urllib
import urllib.request
# 1、定义一个 url
url = 'http://www.baidu.com'
# 2、模拟浏览器向服务器发送请求
response = urllib.request.urlopen(url)
# response 是 http.client.HTTPResponse 类型
print(type(response))
# read 方法是按照一个字节一个字节的去读取内容
content = response.read()
print(content)
# read 方法可以指定读取多少个字节
content = response.read(50)
print(content)
# 读取一行
content = response.readline()
print(content)
# 读取所有行
content = response.readlines()
print(content)
# 获取状态码
print(response.getcode())
# 获取访问的链接地址
print(response.geturl())
# 获取 headers
print(response.getheaders())
3、Request：自定义请求对象
# 使用 urllib
import urllib.request
# url 的组成
# https://www.baidu.com/s?wd=123
# 协议 主机 端口号 路径 参数 锚点
# http/https www.baidu.com 80 s wd #
# http 80
# https 443
# mysql 3306
# oracle 1521
# redis 6379
# mongdb 27017
# 1、定义一个 https 的 url
url = 'https://www.baidu.com'
# 2、模拟浏览器向服务器发送请求
response = urllib.request.urlopen(url)
# 3、获取内容字符串
content = response.read().decode('utf-8')
# 4 会发现直接这么拿回来的数据不完整，这就是反扒的其中一种，代表给到服务器识别的信息不完整，比如 header 头里面的请求信息缺少。
print(content)
# 解决方式：
# 定义 header
headers = {
# UA 最基本的防爬识别
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36'
}
# 1、定义一个 https 的 url
url = 'https://www.baidu.com'
# 2、定义一个 Request 对象，urlopen 方法并不能直接带 header。
# 细节：为什么这里需要写 url=url 而有的地方不需要？因为 Request 构造方法传参顺序问题 Request(url, data=None, headers={} ...)
request = urllib.request.Request(url=url, headers=headers)
# 3、模拟浏览器向服务器发送请求
response = urllib.request.urlopen(request)
# 3、获取内容字符串
content = response.read().decode('utf-8')
# 4 输出
print(content)
4、urlretrieve：下载（例如：图片、视频、网页源码…）
# 使用 urllib
import urllib.request
# 下载网页
url = 'http://www.baidu.com'
# 参数1：页面地址，参数2：文件名称（或路径与名称，例如：./test/baidu.html、baidu.html，不指定路径默认当前）
urllib.request.urlretrieve(url, 'baidu.html')
# 下载图片
url = 'https://gimg2.baidu.com/image_search/src=http％3A％2F％2Fpic1.win4000.com％2Fwallpaper％2F8％2F55402f62682e3.jpg&refer=http％3A％2F％2Fpic1.win4000.com&app=2002&size=f9999,10000&q=a80&n=0&g=0n&fmt=auto?sec=1670904201&t=2dc001fbd959432efe8b8ee0792589ba'
# 参数1：页面地址，参数2：文件名称（或路径与名称，例如：./test/baidu.html、baidu.html，不指定路径默认当前）
urllib.request.urlretrieve(url, 'dzm.jpg')
二、 parse 模块
1、quote：（GET）参数进行 unicode 编码
quote 会对参数进行 unicode 编码，但是得一个一个参数的进行转换，在进行拼接，在多个参数时使用起来比较麻烦。
# 使用 urllib
import urllib.request
# 定义 header
headers = {
# UA 最基本的防爬识别
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36'
}
# 1、定义一个 https 的 url
# 这种中文写法会报错，因为 ascii 检索不到
# url = 'https://www.baidu.com/s?wd=卡尔特斯CSDN'
# 也就是需要 `卡尔特斯CSDN` 变成 unicode 编码格式，例如这样：
# url = 'https://www.baidu.com/s?wd=％E5％8D％A1％E5％B0％94％E7％89％B9％E6％96％AFCSDN'
# 准备基础地址（不能整个链接去进行 quote 转换）(GET)
url = 'https://www.baidu.com/s?wd='
# 通过 urllib.parse.quote() 进行转换
wd = urllib.parse.quote('卡尔特斯CSDN')
# print(wd) # ％E5％8D％A1％E5％B0％94％E7％89％B9％E6％96％AFCSDN
# 拼接起来
url = url + wd
# 2、定义一个 Request 对象，urlopen 方法并不能直接带 header。
# 细节：为什么这里需要写 url=url 而有的地方不需要？因为 Request 构造方法传参顺序问题 Request(url, data=None, headers={} ...)
request = urllib.request.Request(url=url, headers=headers)
# 3、模拟浏览器向服务器发送请求
response = urllib.request.urlopen(request)
# 3、获取内容字符串
content = response.read().decode('utf-8')
# 4 输出
print(content)
2、urlencode：（GET）参数进行 unicode 编码
urlencode 会对多个参数进行 unicode 编码。
# 使用 urllib
import urllib.request
# 定义 header
headers = {
# UA 最基本的防爬识别
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36'
}
# 1、定义一个 https 的 url
# 这种中文写法会报错，因为 ascii 检索不到
# url = 'https://www.baidu.com/s?wd=卡尔特斯CSDN&sex=男'
# 也就是需要 `卡尔特斯CSDN` 与 `男` 变成 unicode 编码格式，例如这样：
# url = 'https://www.baidu.com/s?wd=％E5％8D％A1％E5％B0％94％E7％89％B9％E6％96％AFCSDN&sex=％E7％94％B7'
# 准备基础地址（不能整个链接去进行 quote 转换）(GET)
url = 'https://www.baidu.com/s?'
# 参数
params = {
'wd': '卡尔特斯CSDN',
'sex': '男'
}
# 通过 urllib.parse.urlencode() 进行转换（多个参数）
str = urllib.parse.urlencode(params)
# print(str) # wd=％E5％8D％A1％E5％B0％94％E7％89％B9％E6％96％AFCSDN&sex=％E7％94％B7
# 通过 urllib.parse.quote() 进行转换（单个参数）
# wd = urllib.parse.urlencode('卡尔特斯CSDN')
# print(wd) # ％E5％8D％A1％E5％B0％94％E7％89％B9％E6％96％AFCSDN
# 拼接起来
url = url + str
# 2、定义一个 Request 对象，urlopen 方法并不能直接带 header。
# 细节：为什么这里需要写 url=url 而有的地方不需要？因为 Request 构造方法传参顺序问题 Request(url, data=None, headers={} ...)
request = urllib.request.Request(url=url, headers=headers)
# 3、模拟浏览器向服务器发送请求
response = urllib.request.urlopen(request)
# 3、获取内容字符串
content = response.read().decode('utf-8')
# 4 输出
print(content)
2、urlencode：（POST）参数进行 unicode 编码，附：Python爬虫Xpath定位数据的两种方法
# 使用 urllib
import urllib.request
# 使用 json
import json
# 定义 header
headers = {
# UA 最基本的防爬识别
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36'
}
# 请求地址（POST）
url = 'https://fanyi.baidu.com/sug'
# 参数
params = {
'kw': '名称'
}
# post 请求，参数不能进行拼接，需放到请求对象指定的参数对象中
# 通过 urllib.parse.urlencode() 进行转换（多个参数）
# str = urllib.parse.urlencode(params)
# 直接使用转换的参数字符串会报错：POST data should be bytes, an iterable of bytes, or a file object. It cannot be of type str.
# request = urllib.request.Request(url=url, data=str, headers=headers)
# 上面直接使用参数字符串会报错，是因为 post 请求参数必须要要进行编码，指定编码格式
data = urllib.parse.urlencode(params).encode('utf-8')
# 模拟浏览器向服务器发送请求
request = urllib.request.Request(url=url, data=data, headers=headers)
# 模拟浏览器向服务器发送请求
response = urllib.request.urlopen(request)
# 获取内容字符串
content = response.read().decode('utf-8')
# 将字符串转成 json
obj = json.loads(content)
# 输出 json
print(obj)
三、 error 模块（URLError 与 HTTPError）
1、HTTPError 类是 URLError 类的子类。
2、导入包分别是：urllib.error.URLError、urllib.error.HTTPError。
3、通过 urllib 发送请求的时候，有可能发送失败，可以通过 try-except 进行异常捕获，异常有两类：URLError 与 HTTPError 类。
# 使用 urllib
import urllib.request
# 使用 json
import json
# 定义 header
headers = {
# UA 最基本的防爬识别
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36'
}
# 请求地址（POST）
url = 'https://fanyi.baidu.com/sug'
# 参数
params = {
'kw': '名称'
}
# post 请求，参数不能进行拼接，需放到请求对象指定的参数对象中
# 通过 urllib.parse.urlencode() 进行转换（多个参数）
# str = urllib.parse.urlencode(params)
# 直接使用转换的参数字符串会报错：POST data should be bytes, an iterable of bytes, or a file object. It cannot be of type str.
# request = urllib.request.Request(url=url, data=str, headers=headers)
# 上面直接使用参数字符串会报错，是因为 post 请求参数必须要要进行编码，指定编码格式
data = urllib.parse.urlencode(params).encode('utf-8')
# 模拟浏览器向服务器发送请求
request = urllib.request.Request(url=url, data=data, headers=headers)
# 模拟浏览器向服务器发送请求
response = urllib.request.urlopen(request)
# 获取内容字符串
content = response.read().decode('utf-8')
# 将字符串转成 json
obj = json.loads(content)
# 输出 json
print(obj)
四、Handler 处理器（IP 代理）
五、xppath 使用
来源：https://blog.csdn.net/zz00008888/article/details/127867808
0
投稿猜你喜欢
- 昨天在网上找资料的时间无意进了一个站，糊里糊涂就进去了，想提权提不起来，后来加上服务商的Q号想社工一下，射了半天得知服务器的安全是绿盟的人给
一 、背景一般在数据仓库环境中，我们可以很方便的使用row_number函数根据某个维度来对数据进行分组，实现每个组内数据编号排序的效果。如- 哪行哪业都少不了基本功，都说“马步”要扎得稳。在都快说烂了的以目标用户为中心设计的今天，还是要勤练基本功的。不多说了，先了解下“设计的3个C
- 字符型图片验证码识别完整过程及Python实现的博主，我的大部分知识点都是从他那里学来的。想要识别验证码，收集足够多的样本后，首先要做的就是
- 前言go不要求类型显示地声明实现了哪个接口，只要实现了相关的方法即可，编译器就能检测到空接口类型可以接收任意类型的数据：type eface
- Python里的正则表达式Python里的正则表达式，无需下载外部模块，只需要引入自带模块：re：import re官方re模块文档： ht
- 稀疏矩阵格式 coo_matrixcoo_matrix是最简单的稀疏矩阵存储方式，采用三元组(row, col, data)(或称为ijv
- 饼图概念饼图（pie chart）是用圆形及圆内扇形的角度来表示数值大小的图形，它主要用于表示一个样本（或总体）中各组成部分的数据占全部数据
- 1.场景描述我们公司是做电商的，运营的工作指标都是按周来定的，所以他们对周特别敏感，希望我们能在日期选择器上显示周数。刚接到这个需求时，心中
- 我的Mysql中已经有了项目需要使用的相关数据库，现在需要通过django来获取Mysql里的数据并使用，下面记录配置django与mysq
- 缘起这段时间给朋友搞了个群发邮件的脚本，为了防止进入垃圾邮件，做了很多工作，刚搞完，垃圾邮件进入率50％，觉得还不错，如果要将垃圾邮件的进入
- 在介绍之前，首先一个概念明确一个共识：没有攻不破的网站，只有值不值得。这意思是说，我们可以尽可能的提高自己网站的安全，但并没有绝对的安全，当
- 1. wheel介绍：.whl文件(WHL file)也称为轮子(wheel)，这是用于python分发(distribution)的标准内
- 本文实例讲述了php基于PDO实现功能强大的MYSQL封装类。分享给大家供大家参考，具体如下：class CPdo{ protected $
- 本文实例为大家分享了Python将图片彩色转化为素描的具体代码，供大家参考，具体内容如下第一种：from PIL import Image,
- 在日常工作或生活中，总避免不了需要操作文件或文件夹，比如希望找出电脑中所有临时文件并清除，或者找到指定文件夹内所有图片文件并进行重新命名等等
- 开始这是去年的问题了，今天在整理邮件的时候才发现这个问题，感觉顶有意思的，特记录下来。在表RelationGraph中，有三个字段（ID,N
- 本文实例讲述了Python编程修改MP3文件名称的方法。分享给大家供大家参考，具体如下：最近刚刚开始学习Python，顺便锻炼思维写的一个小
- 本文给大家分享一个远程更新目标库数据的存储过程，适用于更新列名一致，主键为Int类型，可远程链接的数据库。USE [Table]--切换到源
- 非常不错，大家可以自己应用下。<％ '//数据处理部分 dim Content,Num,I,st
