python制作花瓣网美女图片爬虫
作者：hebedich 发布时间：2023-05-20 01:51:55
标签：python,爬虫
花瓣图片的加载使用了延迟加载的技术，源代码只能下载20多张图片，修改后基本能下载所有的了，只是速度有点慢，后面再优化下
import urllib, urllib2, re, sys, os,requests
path=r"C:\wqa\beautify"
url = 'http://huaban.com/favorite/beauty'
#http://huaban.com/explore/zhongwenlogo/?ig1un9tq&max=327773629&limit=20&wfl=1
i_headers = {"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.71 Safari/537.36"}
count=0
def urlHandle(url):
req = urllib2.Request(url, headers=i_headers)
html = urllib2.urlopen(req).read()
reg = re.compile(r'"pin_id":(\d+),.+?"file":{"farm":"farm1", "bucket":"hbimg",.+?"key":"(.*?)",.+?"type":"image/(.*?)"', re.S)
groups = re.findall(reg, html)
return groups
def imgHandle(groups):
if groups:
for att in groups:
pin_id = att[0]
att_url = att[1] + '_fw236'
img_type = att[2]
img_url = 'http://img.hb.aicdn.com/' + att_url
r = requests.get(img_url)
with open(path + att_url + '.' + img_type, 'wb') as fd:
for chunk in r.iter_content():
fd.write(chunk)
groups = urlHandle(url)
imgHandle(groups)
while(groups):
count+=1
print count
pin_id = groups[-1][0]
print pin_id
urltemp = url+'/?max=' + str(pin_id) + '&limit=' + str(20) + '&wfl=1'
print(urltemp)
groups = urlHandle(urltemp)
#print groups
imgHandle(groups)
0
投稿猜你喜欢
- 今天遇到一个需要用javascript将url中的某些参数替换的需求，想起了不久前从网上淘到了一个parseUrl函数，正好可以借此实现，代
状态模式状态模式，当对象的内部状态发生了改变的时候，允许对象执行不同的流程。优点：封装了状态转换规则。枚举了可能的状态，在枚举状态之前需要确- 本文向大家分享23种JavaScript提高执行效率的小技巧、最佳实践等非常实用的内容。当然JavaScript的实用技巧不止这些，还有很多
- 很久没有跟其他人做重构思想方面的交流了，可能大家都觉得不太好意思讨论，特别是“分离”的思想这么基础的话题，拿出来说怕会被“笑话”。做为页面重
- # encoding:utf-8### 文件名如:# 下吧.mp3##import os,refs=os.listdir('xb&#
- 1. 监测端口我们要引用的socket模块来校验端口是否被占用。1.1 socket是什么？简单一句话：网络上的两个程序通过一个双向的通信连
- 官方网站：http://www.extjs.com/演示地址：http://www.yaohaixiao.com/effects/sampl
- 使用xmlhttp中的getResponseHeader 从响应信息中获取指定的http头strValue = oXML
- 1、字符串的索引与获取字符串的索引方式与列表的索引方式是一样的。只不过列表是每个元素的自身就有一个索引位置，而字符串是每个字符就有一个索引位
- 本文实例讲述了Python模拟登录12306的方法。分享给大家供大家参考。具体实现方法如下：#!/usr/bin/python# -*- c
- 新闻系统，相册系统可以用用哦，简单实用，有兴趣的可以自己扩充！^_^相册截图：<?xml version="1.0"
- 前言问题：我们在放大图片的过程中，放大的目标图像和原图图像之间会存在不同。放大的基本思想：第一步：将目标图像进行缩小到原图像的尺寸，虚拟的将
- 本文实例讲述了Codeigniter发送邮件的方法。分享给大家供大家参考。具体分析如下：Codeigniter的邮件发送支持一下特性：Mul
- 一、Matplotlib 绘图在数据分析中，数据可视化也非常重要，通过直观的展示过程、结果数据，可以帮助我们清晰的理解数据，进而更好的进行分
- 使用：foldercleanup.py -d 10 -k c:\test\keepfile.txt c:\test表示对c:\test目录只
- <script> Function.prototype.$bind=function(object) {
- 大家还是直接看代码吧~netG = Generator()print('# generator parameters:',
- 代码都比较容易理解的，主要就是在以16进制读取图片信息那段代码有点乱，其实仔细看看，也没什么的。glabal.cssbody{}{ &nbs
- 目录获取二维码部分获取关注状态值解析微信服务器报文大致思路：调用微信带参数二维码接口生成二维码，前端显示二维码同时于服务器进行长链接通信，监
- 最近在看《Effective Python》，里面提到判断字符串或者集合是否为空的原则，原文如下：Don't check for e
