python小技巧之批量抓取美女图片
发布时间：2022-09-16 17:25:58
其中用到urllib2模块和正则表达式模块。下面直接上代码：
[/code]
#!/usr/bin/env python
#-*- coding: utf-8 -*-
#通过urllib(2)模块下载网络内容
import urllib,urllib2,gevent
#引入正则表达式模块，时间模块
import re,time
from gevent import monkey
monkey.patch_all()
def geturllist(url):
url_list=[]
print url
s = urllib2.urlopen(url)
text = s.read()
#正则匹配，匹配其中的图片
html = re.search(r'<ol.*</ol>', text, re.S)
urls = re.finditer(r'<p><img src="(.+?)jpg" /></p>',html.group(),re.I)
for i in urls:
url=i.group(1).strip()+str("jpg")
url_list.append(url)
return url_list
def download(down_url):
name=str(time.time())[:-3]+"_"+re.sub('.+?/','',down_url)
print name
urllib.urlretrieve(down_url, "D:\\TEMP\\"+name)
def getpageurl():
page_list = []
#进行列表页循环
for page in range(1,700):
url="http://jandan.net/ooxx/page-"+str(page)+"#comments"
#把生成的url加入到page_list中
page_list.append(url)
print page_list
return page_list
if __name__ == '__main__':
jobs = []
pageurl = getpageurl()[::-1]
#进行图片下载
for i in pageurl:
for (downurl) in geturllist(i):
jobs.append(gevent.spawn(download, downurl))
gevent.joinall(jobs)
[/code]
程序不长才45行，不是太难，大家可以研究下，这里我只是抛砖引玉，大家可以根据原理开发出其他的抓取程序，呵呵，自己想去吧。。。我就不多说了~~
0
投稿猜你喜欢
一、环境要求windows系统，python3.6+安装模块pip install pyqt5pip install pygame二、游戏介- 数据标准化（归一化）处理是数据挖掘的一项基础工作，不同评价指标往往具有不同的量纲和量纲单位，这样的情况会影响到数据分析的结果，为了消除指标之
- Capstone是Kali Linux自带的一款轻量级反汇编引擎。它可以支持多种硬件构架，如ARM、ARM64、MIPS、X86。该框架使用
- 训练的时候当然用gpu，速度快呀。我想用cpu版的tensorflow跑一下，结果报错，这个错误不太容易看懂。大概意思是没找到一些节点。后来
- 惭愧啊，今天写了个查找子串的Python程序被BS了…如果让你写一个程序检查字符串s2中是不是包含有s1。也许你会很直观的写下下面的代码：#
- 1 开通云上的mysql经过询价，我发现阿里云的数据库是比较便宜的，新人购买非常划算。对于爱学习的博主来说，果断购买一个。按照操作指引购买后
- 随着MYSQL版本的更新以及电脑系统的变化，我们给大家整理了各种电脑环境下安装MYSQL的图解过程，希望我们整理的内容能够帮助到大家：mys
- 与其他主流语言如 Javascript、Java 和 Python 相比，Golang 的错误处理方式可能和这些你熟悉的语言有所不同。所以才
- 有一些数据我们是没法直观的查看的，需要通过抓取去获得。听到指数这个词，有的小伙伴们觉得很复杂，似乎只在股票的时候才听说的，比如一些数据的涨跌
- 1.尽量不要对列名进行函数处理。而是针对后面的值进行处理例如where col1 = -5的效率比where -col1=5的效率要高因为后
- 在服务器上训练的网络放到本地台式机进行infer，结果出现报错：AssertionError: Invalid device id仔细检查后
- 我就废话不多说了，大家还是直接看代码吧！import cv2# 读取图片并缩放方便显示img = cv2.imread('D:/6.
- Python批量识别图片指定区域文字内容，供大家参考，具体内容如下简介对于一张图片，需求识别指定区域的内容1.截取原始图上的指定图片当做模板
- 本文实例为大家分享了Python Opencv基于透视变换的图像矫正，供大家参考，具体内容如下一、自动获取图像顶点变换（获取图像轮廓顶点矫正
- 平常的开发过程中不免遇到需要把model转成字典的需求，尤其是现在流行前后端分离架构，Json格式几乎成了前后端之间数据交换的标准，这种mo
- 如下所示：函数功能abs(x)返回一个数的绝对值。 参数可以是一个整数或浮点数。 如果参数是一个复数，则返回它的模。all(iterable
- 在Python中有两个函数分别是startswith()函数与endswith()函数，功能都十分相似，startswith()函数判断文本
- 1. 原先的配置 把 fckeditor/filemanager/connectors 目录删除； 有同学可能会问了，都删除了怎么上传文件?
- 最近这段时间研究Node感觉不错，自己做了一个增删改查，虽然有些简陋，但是思想是想通的，其实所有项目都是增删改查，有助于初学者快速掌握Nod
- 在java中一个hashCode算法，可以用来计算一个字符串的hash值，今天一个朋友突然问俺能不能在js中计算hashCode，要求和ja
