python 下载文件的多种方法汇总
作者:Python技术 发布时间:2023-08-11 16:50:05
本文档介绍了 Python 下载文件的各种方式,从下载简单的小文件到用断点续传的方式下载大文件。
Requests
使用 Requests 模块的 get 方法从一个 url 上下载文件,在 python 爬虫中经常使用它下载简单的网页内容
import requests
# 图片来自bing.com
url = 'https://cn.bing.com/th?id=OHR.DerwentIsle_EN-CN8738104578_400x240.jpg'
def requests_download():
content = requests.get(url).content
with open('pic_requests.jpg', 'wb') as file:
file.write(content)
urllib
使用 python 内置的 urllib 模块的 urlretrieve 方法直接将 url 请求保存成文件
from urllib import request
# 图片来自bing.com
url = 'https://cn.bing.com/th?id=OHR.DerwentIsle_EN-CN8738104578_400x240.jpg'
def urllib_download():
request.urlretrieve(url, 'pic_urllib.jpg')
urllib3
urllib3 是一个用于 Http 客户端的 Python 模块,它使用连接池对网络进行请求访问
def urllib3_download():
# 创建一个连接池
poolManager = urllib3.PoolManager()
resp = poolManager.request('GET', url)
with open("pic_urllib3.jpg", "wb") as file:
file.write(resp.data)
resp.release_conn()
wget
在 Linux 系统中有 wget 命令,可以方便的下载网上的资源,Python 中也有相应的 wget 模块。使用 pip install 命令安装
import wget
# 图片来自bing.com
url = 'https://cn.bing.com/th?id=OHR.DerwentIsle_EN-CN8738104578_400x240.jpg'
def wget_download():
wget.download(url, out='pic_wget.jpg')
也可以直接在命令行中使用 wget 命令
python -m wget https://cn.bing.com/th?id=OHR.DerwentIsle_EN-CN8738104578_400x240.jpg
分块下载大文件
在需要下载的文件非常大,电脑的内存空间完全不够用的情况下,可以使用 requests 模块的流模式,默认情况下 stream 参数为 False, 文件过大会导致内存不足。stream 参数为 True 的时候 requests 并不会立刻开始下载,只有在调用 iter_content 或者 iter_lines 遍历内容时下载
iter_content:一块一块的遍历要下载的内容 iter_lines:一行一行的遍历要下载的内容
import requests
def steam_download():
# vscode 客户端
url = 'https://vscode.cdn.azure.cn/stable/e5a624b788d92b8d34d1392e4c4d9789406efe8f/VSCodeUserSetup-x64-1.51.1.exe'
with requests.get(url, stream=True) as r:
with open('vscode.exe', 'wb') as flie:
# chunk_size 指定写入大小每次写入 1024 * 1024 bytes
for chunk in r.iter_content(chunk_size=1024*1024):
if chunk:
flie.write(chunk)
进度条
在下载大文件的时候加上进度条美化下载界面,可以实时知道下载的网络速度和已经下载的文件大小,这里使用 tqdm 模块作为进度条显示,可以使用 pip install tqdm 安装
from tqdm import tqdm
def tqdm_download():
url = 'https://vscode.cdn.azure.cn/stable/e5a624b788d92b8d34d1392e4c4d9789406efe8f/VSCodeUserSetup-x64-1.51.1.exe'
resp = requests.get(url, stream=True)
# 获取文件大小
file_size = int(resp.headers['content-length'])
with tqdm(total=file_size, unit='B', unit_scale=True, unit_divisor=1024, ascii=True, desc='vscode.exe') as bar:
with requests.get(url, stream=True) as r:
with open('vscode.exe', 'wb') as fp:
for chunk in r.iter_content(chunk_size=512):
if chunk:
fp.write(chunk)
bar.update(len(chunk))
tqdm 参数说明:
total:bytes,整个文件的大小
unit='B': 按 bytes 为单位计算
unit_scale=True:以 M 为单位显示速度
unit_divisor=1024:文件大小和速度按 1024 除以,默认时按 1000 来除
ascii=True:进度条的显示符号,用于兼容 windows 系统
desc='vscode.exe' 进度条前面的文件名
示例结果
断点续传
HTTP/1.1 在协议的请求头中增加了一个名为 Range的字段域, Range 字段域让文件从已经下载的内容开始继续下载
如果网站支持 Range 字段域请求响应的状态码为 206(Partial Content),否则为 416(Requested Range not satisfiable)
Range 的格式
Range:[unit=first byte pos] - [last byte pos],即 Range = 开始字节位置-结束字节位置,单位:bytes
将 Range 加入到 headers 中
from tqdm import tqdm
def duan_download():
url = 'https://vscode.cdn.azure.cn/stable/e5a624b788d92b8d34d1392e4c4d9789406efe8f/VSCodeUserSetup-x64-1.51.1.exe'
r = requests.get(url, stream=True)
# 获取文件大小
file_size = int(r.headers['content-length'])
file_name = 'vscode.exe'
# 如果文件存在获取文件大小,否在从 0 开始下载,
first_byte = 0
if os.path.exists(file_name):
first_byte = os.path.getsize(file_name)
# 判断是否已经下载完成
if first_byte >= file_size:
return
# Range 加入请求头
header = {"Range": f"bytes={first_byte}-{file_size}"}
# 加了一个 initial 参数
with tqdm(total=file_size, unit='B', initial=first_byte, unit_scale=True, unit_divisor=1024, ascii=True, desc=file_name) as bar:
# 加 headers 参数
with requests.get(url, headers = header, stream=True) as r:
with open(file_name, 'ab') as fp:
for chunk in r.iter_content(chunk_size=512):
if chunk:
fp.write(chunk)
bar.update(len(chunk))
示例结果
启动下载一段时间后,关闭脚本重新运行,文件在断开的内容后继续下载
总结
本文介绍了常用的 7 中文件下载方式,其他的下载方式大家可以在留言区交流交流共同进步
示例代码:Python 下载文件的多种方法
来源:http://www.justdopython.com/2020/11/16/python-downloadFile/?utm_source=tuicool&utm_medium=referral
猜你喜欢
- 本教程将分步讲解如何使用JQuery和CSS打造一个炫酷动感菜单。jQuery的"write less, do more"
- 如下所示:<span style="font-family: Arial, Helvetica, sans-serif;&q
- 一、下载anaconda第一步当然是下载anaconda了,官方网站的下载需要用迅雷才能快点,或者直接到清华大学镜像站下载。当然这里推荐脚本
- '================================================ '
- 前言在本文中,我们将介绍一些常见的分布并通过Python 代码进行可视化以直观地显示它们。概率和统计知识是数据科学和机器学习的核心;&nbs
- --利用T-SQL语句,实现数据库的备份与还原的功能 ----体现了SQL Server中的四个知识点: ----1. 获取SQL Serv
- 本文实例讲述了JS+HTML5 canvas绘制验证码。分享给大家供大家参考,具体如下:css样式:<style>body{ &
- 先去下载一个叫SWFToImage.dll的东西 再建立一个bat文件,并运行: COPY SWFToImage.dll %windir%\
- 1、 isalnum() :判断字符串所有的字符都是字母或者数字。返回true和falseIn [1]: str1='jiangwe
- 编码格式常见的编码格式:Python的解释器使用的是Unicode(内存).py文件在磁盘上使用UTF-8(外存)更改编码格式一般形式为在程
- 逆向最大匹配方法有正即有负,正向最大匹配算法大家可以参阅https://www.jb51.net/article/127404.htm逆向最
- 如何在生产上部署Django?Django的部署可以有很多方式,采用nginx+uwsgi的方式是其中比较常见的一种方式。uwsgi介绍uW
- 前言日常工作中我们经常接触到一些文本类信息,需要从文本中解析出数据信息,然后再进行数据分析操作。而对文本类信息进行解析是一件比较头秃的事情,
- 前言图片的本质就是大量像素在二维平面上的组合,每个像素点用数字化方式记录颜色。可以直观的想象,一张图片就是一个巨大的电子栅格,每个格子内有一
- 00 小编的问题小编向我们反馈,从微信里复制出来的图片,会被微信屏蔽,无法显示我们后天采用的是百度编辑器,而且已经做了远程图片本地化,于是检
- 毫无疑问,JavaScript 是一种非常灵活的脚本语言,有时候它像一只难以驯服的野马——你受益于它的灵活性的同时,也要时刻提防它变得失去控
- 我们可以通过python 来实现这样一个简单的爬虫猜密码功能。下面就看看如何使用python来实现这样一个功能。这里我们知道用户的昵称为:h
- Matrix是Array的一个小的分支,包含于Array。所以matrix 拥有array的所有特性。但在数组乘和矩阵乘时,两者各有不同,如
- 看代码吧~predict = output.argmax(dim = 1)confusion_matrix =torch.zeros(2,2
- 最近参与了将一个Sybase数据库移植到Microsoft SQL Server 2000上的项目,我在这一项目上获得的经验,将对Sybas