关于Python网络爬虫框架scrapy
作者：菜鸟小超 发布时间：2023-03-17 17:02:50
标签：Python,爬虫,scrapy,框架
scrapy爬虫框架介绍
scrapy不是一个简单的函数功能库，而是一个爬虫框架
爬虫框架：
爬虫框架是实现爬虫功能的一个软件结构和功能组件的集合。
爬虫框架是一个半成品，能够帮助用户实现专业网络爬虫。
scrapy爬虫框架结构
“5+2”结构：
ENGINE ：已有的，核心，控制所有模块之间的数据流，根据条件触发事件
SCHEDULER：已有的，对所有的爬虫请求进行调度管理
ITEM PIPELINES ：框架出口，用户编写，以流水线方式处理Spider产生的爬取项，由一组操作顺序组成，类似流水线，每个操作是一个item pipline类型，可能操作包括：清理，检验和查重爬取项中的HTML数据，将数据存储到数据库
SPIDERS ：框架入口，用户编写，解析downloader返回的响应，产生爬取项，以及额外的爬取请求
DOWNLOADER ：已有的，根据请求下载网页
2个MIDDLEWARE：Download Middleware：实施Engine，Scheduler和Downloader之间用户可配置的控制，即用户可以修改、丢弃、新增请求或响应。Spider Middleware，对spider的请求和爬取项的再处理。修改、丢弃、新增请求或爬取项。
requests库和scrapy库比较
相同点：两者都可以进行页面请求和爬取，Python爬虫的两个重要技术路线。 两者可用性好，文档丰富，入门简单。 两者都没有处理js、提交表单、应对验证码等功能（可扩展）
不同点：
| requests | scrapy |
| 页面级爬虫 | 网站级爬虫 |
| 功能库 | 框架 |
| 并发性考虑不足，性能较差 | 并发性好，性能较高 |
| 重点在于页面下载 | 重点在于爬虫结构 |
| 定制灵活 | 一般定制灵活，深度定制困难 |
| 上手十分简单 | 入门稍难 |
scrapy的常用命令
| requests | scrapy |
| 页面级爬虫 | 网站级爬虫 |
| 功能库 | 框架 |
| 并发性考虑不足，性能较差 | 并发性好，性能较高 |
| 重点在于页面下载 | 重点在于爬虫结构 |
| 定制灵活 | 一般定制灵活，深度定制困难 |
| 上手十分简单 | 入门稍难 |
来源：https://blog.csdn.net/weixin_41777118/article/details/89207255
0
投稿猜你喜欢
- 切片：切片指从现有列表中，获取一个子列表返回一个新列表，不影响原列表。下标以 0 开始：list = ['红','绿
- chr()函数与ord()函数解析chr()函数用一个范围在 range（256）内的（就是0～255）整数作参数，返回一个对应的字符。返回
使用Scrapy爬取豆瓣某影星的所有个人图片以莫妮卡·贝鲁奇为例1.首先我们在命令行进入到我们要创建的目录，输入 scrapy startp- 1、简介在python自动化中，我们传递一些参数是需要从文件中读取过来的，读取过来的字典并非python对象数据类型而是string类型。这
- 1.什么是pandas2.查看pandas版本信息print(pd.__version__)输出：0.24.13.常见数据类型常见的数据类型
- django-allauth是集成的Django应用程序，用于解决网站身份验证，用户的注册登录及账户管理，以及第三方（社交）账户的身份验证。
- Flask是一个用Python编写的Web应用程序框架，Flask是python的web框架，最大的特征是轻便，让开发者自由灵活的兼容要开发
- 假定业务：查看在职员工的薪资的第二名的员工信息创建数据库drop database if exists emps;create databa
- Python是一个脚本语言，被解释器解释执行。它的发布方式：.py文件：对于开源项目或者源码没那么重要的，直接提供源码，需要使用者自行安装P
- 本文实例讲述了PHP实现动态删除XML数据的方法。分享给大家供大家参考，具体如下：前面介绍了动态添加XML数据的方法，这里在原有Messag
- python 2.6编写，自己瞎写的，备用''' Export and Import ElasticSe
- 什么是recovery？在elasticsearch中，recovery指的是一个索引的分片分配到另外一个节点的过程，一般在快照恢复、索引复
- python绘制横向水平柱状条形图Bar，供大家参考，具体内容如下import matplotlibimport randomimport
- 本节讲述单选框/下拉菜单/添加文件，综合css，html和JavaScript实现的，具体详情如下所示：单选框：实现的功能是：（类似平时的性
- Go 中接口也是一个使用得非常频繁的特性，好的软件设计往往离不开接口的使用，比如依赖倒置原则（通过抽象出接口，分离了具体实现与实际使用的耦合
- 1、准备工作pip install qcloudsms_py1.注册腾讯云账号2.在产品列表内找到短信，在短信内添加应用3.获取对应的SDK
- 两个多月来唯一一次有时间哄么么睡觉，我先给他讲了遍《从前有座山》，还是不睡。又给他讲了这个“保安的故事”：小A是名很敬业的保安，负责保护客户
- （本篇部分代码综合整理自B站，B站有手把手说明的教程）1.网易云非付费内容爬取器（声明：由于技术十分简单，未到触犯软件使用规则的程度）驱动E
- v-model的基本用法一、本节说明前面的章节我们学习了v-bind指定，可以通过模型数据去影响视图。我们都知道VUE是支持双向数据绑定的，
- 本文实例讲述了Flask框架请求钩子与request请求对象。分享给大家供大家参考，具体如下：请求钩子在客户端和服务器交互的过程中，有些准备
