使用Python的Scrapy框架十分钟爬取美女图
作者：strivescript 发布时间：2023-06-16 03:28:57
标签：python,scrapy,爬取
简介
scrapy 是一个 python 下面功能丰富、使用快捷方便的爬虫框架。用 scrapy 可以快速的开发一个简单的爬虫，官方给出的一个简单例子足以证明其强大：
快速开发
下面开始10分钟倒计时：
当然开始前，可以先看看之前我们写过的 scrapy 入门文章 《零基础写python爬虫之使用Scrapy框架编写爬虫
1. 初始化项目
scrapy startproject mzt
cd mzt
scrapy genspider meizitu meizitu.com
2. 添加 spider 代码：
定义 scrapy.Item ，添加 image_urls 和 images ，为下载图片做准备。
修改 start_urls 为初始页面, 添加 parse 用于处理列表页， 添加 parse_item 处理项目页面。
3. 修改配置文件：
DOWNLOAD_DELAY = 1 # 添加下载延迟配置
ITEM_PIPELINES = {'scrapy.pipelines.images.ImagesPipeline': 1} # 添加图片下载 pipeline
IMAGES_STORE = '.' # 设置图片保存目录
4. 运行项目：
scrapy crawl meizitu
看，项目运行效果图
等待一会儿，就是收获的时候了
来源：http://www.factj.com/archives/609.html
0
投稿猜你喜欢
- 二级域名的解析指向ASP源代码，懂程序的人一看就明白怎么实现了。呵呵！真简单<％@ LANGUAGE =&nb
很多人说设计是力求细节的，在网页设计里表达出的细节就是图标。图标在一个设计里带来了额外的注解并且使设计里的对象和元素引起用户的注意。以下介绍- 问题描述我正在用Python 3.4.1来构建一个Django项目。 manage.py runserver 引发Uni
- 如何同时处理数据库和页面错误？ If Err.Number = 0 And ob
- 本文实例讲述了js对象基础用法。分享给大家供大家参考。具体分析如下：js对象在本质上与数组相同，都是存放一组数据。但创建方法有所不同，对象需
- 本文实例为大家分享了python微信跳一跳的具体代码，供大家参考，具体内容如下部分代码分享：wechat_jump.pyfrom __fut
- 鼠标经过超链时的提示图层源码运行代码框<script>var oPopup = window.createPopup();fun
- 在正文前，先简短介绍自己。我任职于广州的某个网站服务公司的系统开发员，主要任务是以.Net编写各种web系统，例如CMS.EIP。大家都知道
- 通过python与ffmpeg结合使用，可生成进行视频点播、直播的压力测试脚本。可支持不同类型的视频流，比如rtmp或者hls形式。 通过如
- 在数据分析中经常需要从csv格式的文件中存取数据以及将数据写书到csv文件中。将csv文件中的数据直接读取为 dict 类型和 DataFr
- 第一列按照goodsid局部分组，然后在分组后的记录中按照audittime升序排序得到序号，从而显示某商品得第几次变迁。 第二列是取该商品
- 看起来现在经常用到这样的效果来提高用户体验，所以就没事写了一个输入框提示列表的效果使用宽屏的朋友麻烦帮忙测试下，列表的位置有没有错位。代码可
- 很多朋友想用SQL2000数据库的编程方法，但是却又苦于自己是学ACCESS的，对SQL只是一点点的了解而已，这里我给大家提供以下参考---
- 数据库快照是怎样工作的可以使用典型的数据库命令CREATE DATABASE语句来生成一个数据库快照，在声明中有一个源数据库快照的附加说明。
- 官方函数DataFrame.locAccess a group of rows and columns by label(s) or a b
- 用ASP代码实现对access数据库的在线压缩处理，注意压缩前请备份数据库。我们知道每个一段时间压缩一下access数据库，可以减少数据库的
- 阅读上一篇：FrontPage2002简明教程五：css样式表的应用 用户可以快速和容易地创建图片库，以显示图片或图像。他们可以将图像添加到
- 首先建一个access 数据库，库中有一个URLINDEX表，其中URL和Keywords字段分别添加了索引，如下：URL &nb
- Q: I am working with Oracle database 8.1.7 and I have written a JAVA c
- 1. 前言最近有点时间，就随便找点东西弄弄，倒也碰到了一些问题，在此记录下2. 环境Python3.11.3 + selenium4.9.1
