Python使用Scrapy爬取妹子图
作者：hebedich 发布时间：2022-06-17 23:47:41
标签：Python,Scrapy,爬取妹子图
Python Scrapy爬虫，听说妹子图挺火，我整站爬取了，上周一共搞了大概8000多张图片。和大家分享一下。
核心爬虫代码
# -*- coding: utf-8 -*-
from scrapy.selector import Selector
import scrapy
from scrapy.contrib.loader import ItemLoader, Identity
from fun.items import MeizituItem
class MeizituSpider(scrapy.Spider):
name = "meizitu"
allowed_domains = ["meizitu.com"]
start_urls = (
'http://www.meizitu.com/',
)
def parse(self, response):
sel = Selector(response)
for link in sel.xpath('//h2/a/@href').extract():
request = scrapy.Request(link, callback=self.parse_item)
yield request
pages = sel.xpath("//div[@class='navigation']/div[@id='wp_page_numbers']/ul/li/a/@href").extract()
print('pages: ％s' ％ pages)
if len(pages) > 2:
page_link = pages[-2]
page_link = page_link.replace('/a/', '')
request = scrapy.Request('http://www.meizitu.com/a/％s' ％ page_link, callback=self.parse)
yield request
def parse_item(self, response):
l = ItemLoader(item=MeizituItem(), response=response)
l.add_xpath('name', '//h2/a/text()')
l.add_xpath('tags', "//div[@id='maincontent']/div[@class='postmeta clearfix']/div[@class='metaRight']/p")
l.add_xpath('image_urls', "//div[@id='picture']/p/img/@src", Identity())
l.add_value('url', response.url)
return l.load_item()
项目地址：https://github.com/ZhangBohan/fun_crawler
以上所述就是本文的全部内容了，希望大家能够喜欢。
0
投稿猜你喜欢
- Python中有很多运算符，今天我们就来讲讲is和==两种运算符在应用上的本质区别是什么。在讲is和==这两种运算符区别之前，首先要知道Py
- 一、概念介绍Thread 是threading模块中最重要的类之一，可以使用它来创建线程。有两种方式来创建线程：一种是通过继承Thread类
- 描述tan() 返回x弧度的正弦值。语法以下是 tan() 方法的语法:import mathmath.tan(x)注意：tan()是不能直
- 我们假设TPCoins的发起人最初向已知客户 Dinesh 发出500个TPCoins.为此，他首先创建一个Dinesh
- 本文实例讲述了PHP实现逐行删除文件右侧空格的方法。分享给大家供大家参考，具体如下：在编辑整理代码的过程中发现网上的一些代码经常会有不少的右
微信小程序 微信支付服务端集理论上集成微信支付的全部工作可以在小程序端完成，因为小程序js有访问网络的能力，但是为了安全，不暴露敏感key，- 方法一：在php中，抓取https的网站，提示如下的错误内容：Warning: file_get_contents() [function.
- 一、偏好资源的积累利用DreamWeaver 4制作网页会应用到许多各种类型的要素，比如色彩、图片、模板、脚本等。利用站点资源面板将这些东东
- value_counts()方法返回一个序列Series，该序列包含每个值的数量(对于数据框中的任何列，value_counts()方法会返
- 写在前面我的 CUDA 版本是什么？ 这个问题本身就是有问题的，因为没有搞清楚cuda的分类这里的 CUDA 说的是 Driver CUDA
- python 的 zipfile 提供了非常便捷的方法来压缩和解压 zip 文件。例如，在py脚本所在目录中，有如下文件：readabili
- 本文实例为大家分享了python创建tcp服务端和客户端的具体代码，供大家参考，具体内容如下1.服务端serverfrom socket i
- 死锁是指在某组资源中，两个或两个以上的线程在执行过程中，在争夺某一资源时而造成互相等待的现象，若无外力的作用下,它们都将无法推进下去，死时就
- 在进行CSS网页布局的时候，我们经遇到刷新要保留表单里内容的时候，习惯的做法使用cookie，但是那样做实在是很麻烦，css中的behavi
- Dreamweaver中一直变色的超级链接，css+javascript实现超级链接变色，当鼠标移动到链接上时，链接的颜色不停闪烁变色。&l
- 前言因为NLP作业需要用到kenlm，而kenlm在linux下更为方便。本人win10之前开启了子系统，所以就打算在子系统下进行相关作业的
- global.asa<SCRIPT LANGUAGE="VBScript" RUNAT=&qu
- 也许你刚刚来到一家公司，他们希望进行一些“可用性”工作。你可能是一名UI设计师，业务分析师，或前端开发人员，一名产品经理，或者负责用户体验部
- 本文以Python开发为例来进行说明，环境说明：（1） Python 3.x（我用的版本是 3.9 版本）（2）IDE开具 PyCharm（
- 不知道在坛子里有多少朋友使用触发器，如果你已经对触发器很了解了，那么请跳过此文，如果你还没有使用过触发器的话，那就让我们来认识一下吧。相关阅
