Python使用Scrapy爬取妹子图
作者：hebedich 发布时间：2022-06-17 23:47:41
标签：Python,Scrapy,爬取妹子图
Python Scrapy爬虫，听说妹子图挺火，我整站爬取了，上周一共搞了大概8000多张图片。和大家分享一下。
核心爬虫代码
# -*- coding: utf-8 -*-
from scrapy.selector import Selector
import scrapy
from scrapy.contrib.loader import ItemLoader, Identity
from fun.items import MeizituItem
class MeizituSpider(scrapy.Spider):
name = "meizitu"
allowed_domains = ["meizitu.com"]
start_urls = (
'http://www.meizitu.com/',
)
def parse(self, response):
sel = Selector(response)
for link in sel.xpath('//h2/a/@href').extract():
request = scrapy.Request(link, callback=self.parse_item)
yield request
pages = sel.xpath("//div[@class='navigation']/div[@id='wp_page_numbers']/ul/li/a/@href").extract()
print('pages: ％s' ％ pages)
if len(pages) > 2:
page_link = pages[-2]
page_link = page_link.replace('/a/', '')
request = scrapy.Request('http://www.meizitu.com/a/％s' ％ page_link, callback=self.parse)
yield request
def parse_item(self, response):
l = ItemLoader(item=MeizituItem(), response=response)
l.add_xpath('name', '//h2/a/text()')
l.add_xpath('tags', "//div[@id='maincontent']/div[@class='postmeta clearfix']/div[@class='metaRight']/p")
l.add_xpath('image_urls', "//div[@id='picture']/p/img/@src", Identity())
l.add_value('url', response.url)
return l.load_item()
项目地址：https://github.com/ZhangBohan/fun_crawler
以上所述就是本文的全部内容了，希望大家能够喜欢。
0
投稿猜你喜欢
本文实例为大家分享了vue实现计时器的具体代码，供大家参考，具体内容如下这里做的是点击按钮开始与结束倒计时的功能<div class=- 目录需求描述步骤分析和前置知识代码实现写在最后需求描述手上现有若干份财务分析报告的Word文档，如下：每一份Word文档中的内容如下：为了方
- 封装为dll会带来很多的好处，主要包括只是产权的保护，以及效率和安全性能的提升。这个例子中被封装的dll文件可以隐藏access数据库的实际
- 前言Python 一直以来被大家所诟病的一点就是执行速度慢，但不可否认的是 Python 依然是我们学习和工作中的一大利器。因此，我们对 P
- 我们经常见到很多网站留言系统的显示访客的IP地址都是隐藏了一部分，以达到隐蔽访客真实地理位置的功能。如：111.222.333.*，当然在系
- 一 概述在数据库方面，对于非DBA的程序员来说，事务与锁是一大难点，针对该难点，本篇文章试图采用图文的方式来与大家一起探讨。“浅
- 基本开发环境· Python 3.6· Pycharm相关模块使用import requestsimport timefrom tkinte
- 在过去的几十年里，机器学习对世界产生了巨大的影响，而且它的普及程度似乎在不断增长。最近，越来越多的人已经熟悉了机器学习的子领域，如神经网络，
- 随着同时开发的项目越来越多，需要不停的在各个不同版本的 python 环境之间切换，所以想到了pyenv。以前一直使用的 vir
- google找到这样一个解决方法： 在上传控件中插入了值，就只能通过form的reset功能来清空了，但是form里面其他的值也被reset
- 今天周五，很闲，坐在电脑前没什么事可做，产品线的人也没提什么新的需求，可能下周会有新的需求和工作安排，但那是下周的事了。今天就想写点技术的东
- 一、分类问题损失函数——交叉熵（crossentropy）交叉熵刻画了两个概率分布之间的距离，是分类问题中使用广泛的损失函数。给定两个概率分
- Python则是通过缩进来识别代码块的。缩进Python最具特色的是用缩进来标明成块的代码。我下面以if选择结构来举例。if后面跟随条件，如
- 2018年1月3日，王思聪被迫动用自己的微博，为一个诞生不到10天的App打了广告，“每天我都发奖金，今晚9点就发10万”。对他而言，这天的
- 一、默认参数python为了简化函数的调用，提供了默认参数机制：这样在调用pow函数时，就可以省略最后一个参数不写：在定义有默认参数的函数时
- 1. 前言在执行一些 IO 密集型任务的时候，程序常常会因为等待 IO 而阻塞。比如在网络爬虫中，如果我们使用 requests 库来进行请
- type 所有类是type生成的a = 1b = "abc"print("type a：{}&qu
- 本文实例讲述了Python实现的手机号归属地相关信息查询功能。分享给大家供大家参考，具体如下：根据指定的手机号码，查询其归属地等相关信息，P
- 大家好哈，上一节我们研究了一下爬虫的异常处理问题，那么接下来我们一起来看一下Cookie的使用。为什么要使用Cookie呢？Cookie，指
- DJANGO_SETTINGS_MODULE使用Django时要通知Django当前使用的是哪个配置文件。可以改变环境变量 DJANGO_S
