Python使用urlretrieve实现直接远程下载图片的示例代码
作者:Amo Xiang 发布时间:2022-11-10 16:54:33
标签:Python,urlretrieve,远程下载
在实现爬虫任务时,经常需要将一些图片下载到本地当中。那么在python中除了通过open()函数
,以二进制写入方式来下载图片以外,还有什么其他方式吗?本文将使用urlretrieve
实现直接远程下载图片。
下面我们再来看看 urllib 模块提供的 urlretrieve() 函数。urlretrieve() 方法直接将远程数据下载到本地。
>>> help(urllib.urlretrieve)
Help on function urlretrieve in module urllib:
urlretrieve(url, filename=None, reporthook=None, data=None)
参数 finename 指定了保存本地路径(如果参数未指定,urllib会生成一个临时文件保存数据。)
参数 reporthook 是一个回调函数,当连接上服务器、以及相应的数据块传输完毕时会触发该回调,我们可以利用这个回调函数来显示当前的下载进度。
参数 data 指 post 到服务器的数据,该方法返回一个包含两个元素的(filename, headers)元组,filename 表示保存到本地的路径,header 表示服务器的响应头。
下面通过例子来演示一下这个方法的使用,这个例子将 google 的 html 抓取到本地,保存在 D:/google.html 文件中,同时显示下载的进度。
import urllib
def cbk(a, b, c):
'''回调函数
@a: 已经下载的数据块
@b: 数据块的大小
@c: 远程文件的大小
'''
per = 100.0 * a * b / c
if per > 100:
per = 100
print '%.2f%%' % per
url = 'http://www.google.com'
local = 'd://google.html'
urllib.urlretrieve(url, local, cbk)
代码实现
在python中除了使用open()函数
实现图片的下载,还可以通过urllib.request模块
中的urlretrieve
实现直接远程下载图片的操作。以远程下载某网页外设产品图片为例,代码如下:
import requests
import urllib.request
import os # 系统模块
import shutil # 文件夹控制
def download_pictures(url):
headers = {
"user-agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) "
"AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.129 Safari/537.36"}
response = requests.get(url, headers=headers) # 发送网络请求 获取响应
if response.status_code == 200: # 判断请求是否成功
# print(response.json())
# 每次获取数据之前,先将保存图片的文件夹清空 在创建目录
if os.path.exists("img_download"): # 判断文件夹是否存在
shutil.rmtree("img_download") # 存在则删除
os.makedirs("img_download") # 重新创建
else:
os.makedirs("img_download") # 不存在 直接创建
content = response.json()["products"] # 获取响应内容
print(content)
for index, item in enumerate(content):
# 图片地址
img_path = "http://img13.360buyimg.com/n1/s320x320_" + item["imgPath"]
# print(item["imgPath"])
# 根据下标命名图片名称
urllib.request.urlretrieve(img_path, "img_download/" + "img" + str(index) + ".jpg")
else:
print("请求失败")
if __name__ == '__main__':
download_pictures("https://ch.jd.com/hotsale2?cateid=686")
运行结果如下图所示:
来源:https://blog.csdn.net/xw1680/article/details/105882690


猜你喜欢
- Web网站可用性的关键指标是速度,更确切地说,是页面能以多快的速度出现在访问者的浏览器窗口里。影响速度的因素有很多种,包括Web服务器的速度
- 本文实例为大家分享了js轮播图实现代码,供大家参考,具体内容如下思路:1、首先要有个盛放图片的容器,设置为单幅图片的宽高,且overflow
- 本文实例讲述了Python 类的魔法属性用法。分享给大家供大家参考,具体如下:魔法属性无论人或事物往往都有不按套路出牌的情况,Python的
- 本文实例讲述了mysql存储过程之创建(CREATE PROCEDURE)和调用(CALL)及变量创建(DECLARE)和赋值(SET)操作
- 这几天一直在看《Pro JavaScript Techniques》,书中有不少优美、健壮代码,让我不得不惊叹老外对语言这东西的研究程度之深
- 前言声明: 以下文章所包含的结论都是基于 typeScript@4.9.4 版本所取得的。extends 是 typeScript 中的关键
- 本文实例讲述了Python松散正则表达式用法。分享给大家供大家参考,具体如下:Python 允许用户利用所谓的 松散正则表达式来完成这个任务
- <?php //作者:遥远的期待 //QQ:15624575 //算法分析:1、必须是整数序列、2、如果整个序列不全是负数,最大子序列
- 加法 select sysdate,add_months(sysdate,12) from dual; --加1年 select sysda
- 概括、从python1.6开始就可以处理unicode字符了。 一、几种常见的编码格式。 1.1、ascii,用1个字节表示。 1.2、UT
- 本文实例讲述了c#操作附加数据库的方法。分享给大家供大家参考。具体如下:/// <summary>/// 附加数据库/// &l
- 1、XML 是什么?XML仅仅是一种数据存放格式,这种格式是一种文本(虽然XML规范中也提供了存放二进制数据的解决方案)。事实上有很多文本格
- permuteprediction = input.view(bs, self.num_anchors, self.bbox_a
- 双休日常常意味着很多休息时间。与其懒洋洋地坐在那里玩游戏,为何不学点新知识武装自己?本文中不会特定推荐哪种编程语言,但是会提供基于GitHu
- 问题最近在Laravel项目中用到了百度编辑器,插入到数据库我保存的是原始的html标签代码,没有进行实体转义。然后在修改的时候,需要读取到
- 转发时请保留此声明信息,这段声明不并会影响你的速度! @author:  
- 最近开发小程序,需要做一个导航,导航可以通过template写出来,但是这个项目需要在导航中处理一些逻辑,做成组件更方便些。首先新建head
- 前言:在软件测试中,为项目编写接口自动化用例已成为测试人员常驻的测试工作。本文以python为例,基于笔者曾使用过的三种用例数据读取方法:x
- 三子棋的python实现代码,供大家参考,具体内容如下一、基本流程三子棋游戏实现逻辑如下:1、创建初始化3*3棋盘;2、玩家执U子,先进行落
- 这里针对smtplib做了一系列封装,可以完成以下四种场景:发送纯文本的邮件发送html页面的邮件发送带附件文件的邮件发送能展示图片的邮件以