Python实现批量下载图片的方法
作者:沉淀岁月 发布时间:2022-11-17 07:20:08
标签:Python,图片
本文实例讲述了Python实现批量下载图片的方法。分享给大家供大家参考。具体实现方法如下:
#!/usr/bin/env python
#-*-coding:utf-8-*-'
#Filename:download_file.py
import os,sys
import re
import urllib
import urllib2
base_url = 'xxx'
array_url = list()
pic_url = list()
inner_url = list()
def get_array_url(array_url,base_url):
content = urllib.urlopen(base_url).read()
array_url_a = re.findall(r'/rihan.*?.html',content)
for url in array_url_a:
url_a = 'xxx'+url
#print url_a
array_url.append(url_a)
def get_inner_url(array_url,inner_url):
inner_url.append(array_url)
content = urllib.urlopen(array_url[10]).read()
content = content.replace(" ","")
url_a = re.findall(r'<li>.*?</li>',content)
for i in url_a:
url = re.findall(r'ahref=\\'.*?.html\\'target',i)
if len(url)>0:
# print url[0]
url_b = re.sub(r'ahref=\\'','',url[0])
# print url_b
url_c = re.sub(r'\\'target','',url_b)
url_c = 'http://xxx/'+re.sub(r'/.*/','',url_c)
inner_url.append(url_c)
del inner_url[1]
# print inner_url
def get_pic_url(pic_url,inner_url,array_url):
content = urllib.urlopen(array_url).read()
pic_url_a = re.findall(r'center.*?.jpg',content)
print 'bbbbbbbbb',len(pic_url_a)
pic_url_a = re.findall(r'http://.*.jpg',pic_url_a[0])
pic_url.append(pic_url_a[0])
j=2
for i in inner_url:
jj = '/'+str(j)+'.jpg'
pic = re.sub(r'/1.jpg',jj,pic_url_a[0])
pic_url.append(pic)
j = j+1
del pic_url[-1]
for i in pic_url:
print i
def urlcallback(a,b,c):
"""
call back function
a,已下载的数据块
b,数据块的大小
c,远程文件的大小
"""
print "callback"
prec=100.0*a*b/c
if 100 < prec:
prec=100
print "%.2f%%"%(prec,)
def download(img_url,file_num):
for img in img_url:
print img
img_name = re.sub(r'http://.*/','',img)
path = 'C:/'+str(file_num)+'/'+img_name
urllib.urlretrieve(img,path,urlcallback)
get_array_url(array_url,base_url)
file_num = 3
#download(pic_url,file_num)
get_inner_url(url,inner_url)
get_pic_url(pic_url,inner_url,url)
'''
for url in array_url:
print url
# get_inner_url(url,inner_url)
# get_pic_url(pic_url,inner_url)
get_inner_url(url,inner_url)
get_pic_url(pic_url,inner_url,url)
download(pic_url,file_num)
file_num = file_num+1
del inner_url[:]
del pic_url[:]
'''
希望本文所述对大家的Python程序设计有所帮助。


猜你喜欢
- 今天在调试项目的时候出现下面的错误信息:SoapFaultlooks like we got no XML document (D:\php
- 我们前期开发了一个只有公司客服人员才能使用的系统——有限的几个客服人员。就是这有限的几个客服人员前几天突然就提出这样的问题:我们每隔很短一段
- skimage包的exposure模块图像亮度与对比度的调整,是放在skimage包的exposure模块里面1、gamma调整对原图像的像
- 用法熟悉 Golang 的朋友对于 json 和 struct 之间的转换一定不陌生,为了将代码中的结构体与 json 数据解耦,通常我们会
- 在同一个局域网的多台电脑,传递文件时可以通过 搭建web服务器,设置目录浏览的方式快速分享。如果上传就比较麻烦了,通过QQ/微信会产生很多文
- 经常使用python检测服务器是否能ping通, 程序是否正常运行(检测对应的端口是否正常)以前使用shell脚本的写法如下:PINGRET
- 使用方法:terminal中输入python weather.py http://www.weather.com.cn/weather/10
- 从url中找到域名,首先想到的是用正则,然后寻找相应的类库。用正则解析有很多不完备的地方,url中有域名,域名后缀一直在不断增加等。通过go
- 目录前言项目设计后端前端运行项目Q&A前言在前面的Api开发中,我们使用FastApi已经可以很好的实现。但是实际使用中,我们通常建
- 今天来分享一下图,这是一种比较复杂的非线性数据结构,之所以复杂是因为他们的数据元素之间的关系是任意的,而不像树那样 被几个性质定理框住了,元
- 又是一杯奶茶~事情的经过是这样的:又是奶茶,行吧行吧。快点开工,争取李大伟回来之前搞定。李大伟说是6位数字密码那么我们可以利用python生
- 比如,表:event(id int(10) auto_increment primary key, &n
- 找到build文件夹下面的webpack.base.conf.js文件。然后打开该文件,找到图下这段代码,把他注释掉。注释掉之后,再进行子页
- 本文主要的目的是通过一个简单的例子,展示`get_absolute_url`的用法,抛砖引玉,理解实例方法的本质,能够在不同的业务场景下,灵
- 为什么要用缓存?首先说,为什么要用缓存的,由于Django是 * 站,所有每次请求均会去数据进行相应的操作,当程序访问量大时,耗时必然会更加
- 一、MySQL数据库模块的安装和连接1、 PyMySQL模块的安装pip install pymysql2 、python连接数据库impo
- 1、鼠标点击弹出爱心代码<!DOCTYPE html><html lang="en"><h
- 本文带你快速了解@Async注解的用法,包括异步方法无返回值、有返回值,最后总结了@Async注解失效的几个坑。在 SpringBoot 应
- 今天学习了数组,可以说是PHP的数据应用中较重要的一种方式。PHP的数组函数众多,下面是我学习的小结,借此记之,便于以后鉴之…… 一、数组定
- 我就废话不多说了,大家还是直接看代码吧~'''Created on 2018-4-16'''