Python爬虫基础讲解之scrapy框架
作者:松鼠爱吃饼干 发布时间:2023-11-16 00:07:31
网络爬虫
网络爬虫是指在互联网上自动爬取网站内容信息的程序,也被称作网络蜘蛛或网络机器人。大型的爬虫程序被广泛应用于搜索引擎、数据挖掘等领域,个人用户或企业也可以利用爬虫收集对自身有价值的数据。
一个网络爬虫程序的基本执行流程可以总结三个过程:请求数据,解析数据,保存数据
数据请求
请求的数据除了普通的HTML之外,还有json数据、字符串数据、图片、视频、音频等。
解析数据
当一个数据下载完成后,对数据中的内容进行分析,并提取出需要的数据,提取到的数据可以以多种形式保存起来,数据的格式有非常多种,常见的有csv、json、pickle等
保存数据
最后将数据以某种格式(CSV、JSON)写入文件中,或存储到数据库(MySQL、MongoDB)中。同时保存为一种或者多种。
通常,我们想要获取的数据并不只在一个页面中,而是分布在多个页面中,这些页面彼此联系,一个页面中可能包含一个或多个到其他页面的链接,提取完当前页面中的数据后,还要把页面中的某些链接也提取出来,然后对链接页面进行爬取(循环1-3步骤)。
设计爬虫程序时,还要考虑防止重复爬取相同页面(URL去重)、网页搜索策略(深度优先或广度优先等)、爬虫访问边界限定等一系列问题。
从头开发一个爬虫程序是一项烦琐的工作,为了避免因制造轮子而消耗大量时间,在实际应用中我们可以选择使用一些优秀的爬虫框架,使用框架可以降低开发成本,提高程序质量,让我们能够专注于业务逻辑(爬取有价值的数据)。接下来,就带你学习目前非常流行的开源爬虫框架Scrapy。
scrapy安装
scrapy官网:https://scrapy.org/
scrapy中文文档:https://www.osgeo.cn/scrapy/intro/overview.html
安装方式
在任意操作系统下,可以使用pip安装Scrapy,例如:
pip install scrapy
安装完成后我们需要测试安装是否成功,通过如下步骤确认:
在终端中测试能否执行scrapy这条命令
scrapy 2.4.0 - no active project
usage:
scrapy <command>[options] [args]
Available commands :
bench Run quick benchmark test
fetch Fetch a URL using the scrapy down1oader
genspider Generate new spider using pre-defined temp1ates
runspider Run a self-contained spider (without creating a project)
settings Get settings values
she11 Interactive scraping console
startproject create new project
version Print scrapy version
view open URL in browser,as seen by scrapy
[ more ] More commands available when run from project directory
use "scrapy <command> -h" to see more info about a command
输入scrapy bench测试连通性,如果出现以下情况表示安装成功:
通过了以上两项检测,说明Scrapy安装成功了。如上所示,我们安装的是当前最新版本2.4.0。
注意:
在安装Scrapy的过程中可能会遇到缺少VC++等错误,可以安装缺失模块的离线包
成功安装后,在CMD下运行scrapy出现上图不算真正成功,检测真正是否成功使用scrapybench测试,如果没有提示错误,就代表成功安装。
全局命令
scrapy 2.4.0 - no active project
usage:
scrapy <command>[options] [args]
Available commands :
bench Run quick benchmark test #测试电脑性能
fetch Fetch a URL using the scrapy down1oader#将源代码下载下来并显示出来
genspider Generate new spider using pre-defined temp1ates#创建一个新的spider文件
runspider Run a self-contained spider (without creating a project)# 这个和通过craw1启动爬虫不同,scrapy runspider爬虫文件名称
settings Get settings values#获取当前的配置信息
she11 Interactive scraping console#进入scrapy 的交互模式
startproject create new project#创建爬虫项目
version Print scrapy version#显示scrapy框架的版本
view open URL in browser,as seen by scrapy#将网页document内容下载下来,并且在浏览器显示出来
[ more ] More commands available when run from project directory
use "scrapy <command> -h" to see more info about a command
项目命令
scrapy startproject projectname
创建一个项目
scrapy genspider spidername domain
创建爬虫。创建好爬虫项目以后,还需要创建爬虫。
scrapy crawl spidername
运行爬虫。注意该命令运行时所在的目录。
来源:https://blog.csdn.net/m0_48405781/article/details/117994344
猜你喜欢
- 一、利用直方图的方式进行批量的图片缺陷检测(方法简单)二、步骤(完整代码见最后)2.1灰度转换(将原图和要检测对比的图分开灰度化)灰度化的作
- 登录SYS创建临时表空间/*创建临时表空间 */create temporary tablespace 表空间名 t
- 1、仅 Safari 和 Opera 识别的 Hack@media all and (min-width:&n
- 本文实例讲述了Python单向链表和双向链表原理与用法。分享给大家供大家参考,具体如下:链表是一种数据结构,链表在循环遍历的时候效率不高,但
- 然而有些情况只需要传递几个文件,而且文件体积并不太大,这种情况下使用组件则有点牛刀杀鸡的感觉,通过html自带的<input type
- 如何远程注册DLL?试试下面的代码:<% Response.Buffer = True %&g
- HTML5 是近十年来 Web 标准最巨大的飞跃。和以前的版本不同,HTML 5 并非仅仅用来表示 Web 内容,它的使命是将 W
- Python的web模板,其实就是在HTML文档中使用控制语句和表达语句替换HTML文档中的变量来控制HTML的显示格式,Python的we
- 当使用MySQL做站点的时候,肯定会有不知道的错误发生,怎么记录呢?以下是具体解决方法:class.method //建立错误日志 func
- gonews是基于 go+vue 实现的golang每日新闻浏览与检索平台项目地址: Github线上Demo:GoNews数据来源: Go
- 本文实例讲述了JavaScript点击按钮后弹出透明浮动层的方法。分享给大家供大家参考。具体分析如下:这里实现点击后页面变灰色,并用JS弹出
- 从有道词典网页获取某单词的中文解释。import reimport urllibword=raw_input('input a wo
- 在JAVA WEB应用中,如何获取servlet请求中的参数,并传递给跳转的JSP页面?例如访问http://localhost:8088/
- 静态方法不需要所在类被实例化就可以直接使用。静态方法效率上要比实例化高,静态方法的缺点是不自动进行销毁,而实例化的则可以做销毁。静态方法和静
- 一、导言导语:在计算机进行数据交换时,常常会有一个进制转换的过程,我们知道计算机只认0 和 1.在内存系统中,基本基于二进制进行运算的,但是
- asp学习入门经验介绍,本文初步介绍了初学asp的一些相关知识,如VBScript语法简介,循环控制语句的使用,asp数据库的简单操作查询,
- 和设计师打过交道的人一定也见到过少数极品,不是扎着小辫子留着小胡子,就是剃了光头抽根烟,通常说起来一套一套的人作品都很一般般,而作品一般般的
- jquery的ajax请求方法:$.ajax({ &nbs
- IFRAME 元素 | iframe 对象创建内嵌浮动框架。成员表下面的表格列出了 iframe 对象引出的成员。请单击左侧的标签来选择你想
- 因为评论有很多人说爬取不到,我强调几点kv的格式应该是这样的:kv = {‘cookie':‘你复制的一长串cookie',