python实现下载指定网址所有图片的方法
作者:皮蛋 发布时间:2021-05-17 22:12:16
标签:python,下载,图片
本文实例讲述了python实现下载指定网址所有图片的方法。分享给大家供大家参考。具体实现方法如下:
#coding=utf-8
#download pictures of the url
#useage: python downpicture.py www.baidu.com
import os
import sys
from html.parser import HTMLParser
from urllib.request import urlopen
from urllib.parse import urlparse
def getpicname(path):
''' retrive filename of url '''
if os.path.splitext(path)[1] == '':
return None
pr=urlparse(path)
path='http://'+pr[1]+pr[2]
return os.path.split(path)[1]
def saveimgto(path, urls):
'''
save img of url to local path
'''
if not os.path.isdir(path):
print('path is invalid')
sys.exit()
else:
for url in urls:
of=open(os.path.join(path, getpicname(url)), 'w+b')
q=urlopen(url)
of.write(q.read())
q.close()
of.close()
class myhtmlparser(HTMLParser):
'''put all src of img into urls'''
def __init__(self):
HTMLParser.__init__(self)
self.urls=list()
self.num=0
def handle_starttag(self, tag, attr):
if tag.lower() == 'img':
srcs=[u[1] for u in attr if u[0].lower() == 'src']
self.urls.extend(srcs)
self.num = self.num+1
if __name__ == '__main__':
url=sys.argv[1]
if not url.startswith('http://'):
url='http://' + sys.argv[1]
parseresult=urlparse(url)
domain='http://' + parseresult[1]
q=urlopen(url)
content=q.read().decode('utf-8', 'ignore')
q.close()
myparser=myhtmlparser()
myparser.feed(content)
for u in myparser.urls:
if (u.startswith('//')):
myparser.urls[myparser.urls.index(u)]= 'http:'+u
elif u.startswith('/'):
myparser.urls[myparser.urls.index(u)]= domain+u
saveimgto(r'D:\python\song', myparser.urls)
print('num of download pictures is {}'.format(myparser.num))
运行结果如下:
num of download pictures is 19
希望本文所述对大家的Python程序设计有所帮助。
0
投稿
猜你喜欢
- 那么Python如何快速上手?找来了一篇广受好评的新语言学习方法介绍,供大家参考。听说,你决定要为你的 “技能树” 再添加一门特定的编程语言
- 本文实例讲述了pytorch制作自己的LMDB数据操作。分享给大家供大家参考,具体如下:前言记录下pytorch里如何使用lmdb的code
- 基于socket的文件传输并进行MD5值校验,供大家参考,具体内容如下文件传输分为两个类,一个是服务端,一个是客户端。客户端发起发送文件或接
- 本文实例讲述了Python3实现从文件中读取指定行的方法。分享给大家供大家参考。具体实现方法如下:# Python的标准库linecache
- 通常测试人员或公司实习人员需要处理一些txt文本内容,而此时使用Python是比较方便的语言。它不光在爬取网上资料上方便,还在NLP自然语言
- 笔者remove TensorFlow总共四次。 reinstall anaconda 三次。安装技巧可以根据这个博主的文章进行安装。htt
- 缓存是指可以进行高速数据交换的存储器,它先于内存与CPU交换数据,因此速度很快。缓存就是把一些数据暂时存放于某些地方,可能是内存,也有可能硬
- 1.基于rbac的权限管理RBAC(Role-Based Access Control,基于角色的访问控制),就是用户通过角色与权限进行关联
- 研究了几天Adodb.stream和XMLHTTP的应用,找了不少很有趣的教程,下面的代码是将一个远程的页面,图片地址保存到本地的实例。将代
- 准备工作: ① 首先要会使用ThinkPHP这个框架 ② 最好有些ajax的基础(可以去看下小飞的另外一篇博文:Ajax实时验证"
- 在Python中,类表示具有相同属性和方法的对象的集合。在使用类时,需要先定义类,然后再创建类的实例,通过类的实例就可以访问类中的属性和方法
- JSON格式数据简介JSON 全称“JavaScript Object Notation”,译为&a
- 首先,到底什么是网络服务器?简而言之,它是在物理服务器上搭建的一个网络连接服务器(networking server),永久地等待客户端发送
- 译者按:我们时常能看到不同JavaScript库/框架之间的各种比较,但这次 YUI3 架构师和 jQuery 之父的直接对话却非常难得,也
- 本文实例讲述了Python实现的企业粉丝抽奖功能。分享给大家供大家参考,具体如下:一 代码def scode9(schoice): &nbs
- 【简介】django-admin.py是Django的一个用于管理任务的命令行工具。本文将描述它的大概用法。另外,在每一个Django pr
- 最近正在做首页,处理很棘手的浏览器兼容的问题,主要调试的浏览器为 IE6 ,IE7 ,FF3 ,Opera9.5 ,Safari3.1.2兼
- 本文实例讲述了Python简明入门教程。分享给大家供大家参考。具体如下:一、基本概念1、数在Python中有4种类型的数——整数、长整数、浮
- 从小的方面讲,帮助一般是指:手册、说明书、文档、FAQ 等等。从大的方面讲,可以是交互过程中的提示、指引、演示等信息,帮助无处不在!这一切,
- 一、BN(Batch Normalization)算法1. 对数据进行归一化处理的重要性神经网络学习过程的本质就是学习数据分布,在训练数据与