使用Python的Scrapy框架十分钟爬取美女图
作者：strivescript 发布时间：2023-06-16 03:28:57
标签：python,scrapy,爬取
简介
scrapy 是一个 python 下面功能丰富、使用快捷方便的爬虫框架。用 scrapy 可以快速的开发一个简单的爬虫，官方给出的一个简单例子足以证明其强大：
快速开发
下面开始10分钟倒计时：
当然开始前，可以先看看之前我们写过的 scrapy 入门文章 《零基础写python爬虫之使用Scrapy框架编写爬虫
1. 初始化项目
scrapy startproject mzt
cd mzt
scrapy genspider meizitu meizitu.com
2. 添加 spider 代码：
定义 scrapy.Item ，添加 image_urls 和 images ，为下载图片做准备。
修改 start_urls 为初始页面, 添加 parse 用于处理列表页， 添加 parse_item 处理项目页面。
3. 修改配置文件：
DOWNLOAD_DELAY = 1 # 添加下载延迟配置
ITEM_PIPELINES = {'scrapy.pipelines.images.ImagesPipeline': 1} # 添加图片下载 pipeline
IMAGES_STORE = '.' # 设置图片保存目录
4. 运行项目：
scrapy crawl meizitu
看，项目运行效果图
等待一会儿，就是收获的时候了
来源：http://www.factj.com/archives/609.html
0
投稿猜你喜欢
测试环境：windows Server 2003 R2一、开始菜单启动项实现用户必须登录才可执行。测试脚本（python代码）：import- table a(id, type):id type --------------------
- 我们有时候为了测试会虚拟创建一些用户，这时候我们可能会通过写sql脚本的形式，但如果没有理清增加用户的注意事项等，往往造出来的数据不能用，比
- 日前，Mozilla 的 Arun Ranganathan 向 W3C 提交了一个草案，旨在推出一个 JavaScript API，让 Ja
- 1. 欧几里德算法欧几里德算法又称辗转相除法， 用于计算两个整数a, b的最大公约数。其计算原理依赖于下面的定理：定理： gcd(a, b)
- tkinter提供了三个模块，可以创建弹出对话窗口：（使用必须单独导入模块）1.messagebox消息对话框示例：askokcanceli
- 通过ip2region解析IP获得地域信息目标，从给的读取给的ip地址文件解析出ip地域名并输出CSV文件，我选用的是开源ip2region
- 摘要：神经网络的训练的主要流程包括图像输入神经网络, 得到模型的输出结果,计算模型的输出与真实值的损失, 计算损失值的梯度,最后用梯度下降算
- 本文只考虑模板中的字符串，不考虑字符串中带标签的情况。模板中的字符串文字不会自动转义，因为这里默认模板的作者已经正确书写模板的内容。{{ d
- 之前有文章，使用Android平台的OpenCV接入了视频，控制的目标是手机的摄像头，这是OpenCV的好处，使用OpenCV可以使用跨平台
- JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式，采用完全独立于语言的文本格式，是理想的数据交换
- 需求：1.大量csv文件，以数字命名，如1.csv、2.cvs等；2.逐个打开，对csv文件中的某一列进行格式修改；3.将更改后的内容写入新
- 前言本文主要给大家介绍了关于django配置连接数据库及原生sql语句的相关内容，分享出来供大家参考学习，下面话不多说了，来一起看看详细的介
- 本文介绍了PyTorch上搭建简单神经网络实现回归和分类的示例，分享给大家，具体如下：一、PyTorch入门1. 安装方法登录PyTorch
- 什么是POP3、SMTP和MAP？POP3是Post Office Protocol 3的简称，即邮局协议的第三个版本，他是规定怎样将个人计
- SQL Server 2008 master数据库损坏后，SQL SERVER服务启动失败，查看错误日志，你会看到下面错误信息：2015-1
- QThread是Qt的线程类中最核心的底层类。由于PyQt的的跨平台特性，QThread要隐藏所有与平台相关的代码要使用的QThread开始
- 注:转载就注入出自'孤孤浪子博客'原创 http://itpro.blog.163.com 第一步 http://itpro
- tensorFlow中主要包括了三种不同的并行策略，其分别是数据并行、模型并行、模型计算流水线并行，具体参考Tenssorflow白皮书，在
- 比较喜欢python的装饰器, 试了下一种用法，通过装饰器来传递sql，并执行返回结果这个应用应该比较少为了方便起见，直接使用了ironpy
