Python爬虫基础之爬虫的分类知识总结
作者：松鼠爱吃饼干 发布时间：2021-12-24 03:20:12
一、通用爬虫
通用网络爬虫是搜索引擎抓取系统(Baidu、Google、Sogou等)的一个重要组成部分。主要目的是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份。为搜索引擎提供搜索支持。
第一步
搜索引擎去成千上万个网站抓取数据。
第二步
搜索引擎通过爬虫爬取到的网页，将数据存入原始页面数据库(也就是文档库)。其中的页面数据与用户浏览器得到的HTML是完全—样的。
第三步
搜索引擎将爬虫抓取回来的页面，进行各种步骤的预处理:中文分词，消除噪音，索引处理。。。
搜索引擎在对信息进行组织和处理后，为用户提供关键字检索服务，将用户检索相关的信息展示给用户。展示的时候会进行排名。
二、搜索引擎的局限性
搜索引擎抓取的是整个网页，不是具体详细的信息。
搜索引擎无法提供针对具体某个客户需求的搜索结果。
聚焦爬虫
针对通用爬虫的这些情况，聚焦爬虫技术得以广泛使用。聚焦爬虫，是"面向特定主题需求"的一种网络爬虫程序，它与通用搜索引擎爬虫的区别在于：聚焦爬虫在实施网页抓取时会对内容进行处理筛选，尽量保证只抓取与需求相关的网页数据。
三、Robots协议
robots是网站跟爬虫间的协议，用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限，也就是说robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。——百度百科
Robots协议也叫爬虫协议、机器人协议等，全称是“网络爬虫排除标准”(Robots ExclusionProtocol)，网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取，例如:
淘宝: https://www.taobao.com/robots.txt
百度: https://www.baidu.com/robots.txt
四、请求与相应
网络通信由两部分组成:客户端请求消息与服务器响应消息
浏览器发送HTTP请求的过程：
1.当我们在浏览器输入URL https://www.baidu.com的时候，浏览器发送一个Request请求去
获取 https://www.baidu.com 的html文件，服务器把Response文件对象发送回给浏览器。
2.浏览器分析Response中的HTML，发现其中引用了很多其他文件，比如Images文件，CSS文件，JS文件。浏览器会自动再次发送Request去获取图片，CSS文件，或者JS文件。
3.当所有的文件都下载成功后，网页会根据HTML语法结构，完整的显示出来了。
实际上我们通过学习爬虫技术爬取数据，也是向服务器请求数据,获取服务器响应数据的过程。
来源：https://blog.csdn.net/m0_48405781/article/details/116494814
0
投稿猜你喜欢
本文实例讲述了Python使用matplotlib 画矩形的三种方式。分享给大家供大家参考，具体如下：假设矩形两点坐标如下，分别为：x1,- 本文实例讲述了Python实现的随机森林算法。分享给大家供大家参考，具体如下：随机森林是数据挖掘中非常常用的分类预测算法，以分类或回归的决策
- 简述一开始觉得这个很有趣，然后就想来做一个来玩一下使用语言： Python3使用工具：opencv视频监控 + socket数据传输技术程序
- django和webpy都是python的web开发框架。Django的主要目的是简便、快速的开发数据库驱动的网站。它强调代码复用,多个组件
- 随着对Dreamweaver cs3中集成Spry功能的深入学习，了解并掌握到Spry框架的一些功能模块，其中就有通过Dreamweaver
- JDBC之C3P0数据库连接池，供大家参考，具体内容如下1 首先在src中创建c3p0-config.xml 配置文件,文件中内容如下(首先
- 本文实例讲述了Python使用pymysql模块操作mysql增删改查。分享给大家供大家参考，具体如下：# -*- coding:utf-8
- 可以使用 Python 的 NumPy 和 OpenCV 库来实现这个任务。提前准备一张图片作为素材。什么是峰值信噪比峰值信噪比（Peak
- 上周 RealWorld CTF 2018 web 题 bookhub 有个未授权访问的漏洞，比较有意思，赛后看了一下公开的 WriteUp
- PHP页面中如果不希望出现以下情况: 单引号被转义为 \' 双引号被转义为 \" 那么可以进行如下设置以防止: 方法一:在
- 一，*和.*的联系和区别。 1，在进行数值运行和数值乘矩阵，这两种没有区别,例如：a*b=a.*b; a*B=a.*B; B*a=B.*a
- 目录简单的验证码简单的登录页面我们经常在登录一个网站，或者注册的时候需要输入一个验证码，有时候觉得很烦，因为有些验证码不仅复杂还看不清，许多
- 前言在实际开发中, 有不少的场景需要使用到模糊查询, MongoDB shell 模糊查询很简单:db.collection.find({&
- 使用举例：用户表(user)中的一个字段(purview)代表该用户的权限将用户的所有权限id存入此字段。比如有：1,2,3,4,5这样的五
- 一、os模块os.getcwd() 获取当前的工作目录os.chdir(‘绝对路径/相对于当前工作目录的路径&r
- 本文实例讲述了python日志logging模块使用方法。分享给大家供大家参考，具体如下：一、从一个使用场景开始开发一个日志系统， 既要把日
- 简单邮件传输协议(SMTP)是一种协议，用于在邮件服务器之间发送电子邮件和路由电子邮件。Python提供smtplib模块，该模块定义了一个
- ACCESS数据库中Field对象的caption属性（也就是标题）是用来设置数据字段的标题，在正常的数据库设计中为了保持维护的便利性，许多
- 这篇文章主要介绍了python如何实现不可变字典inmutabledict,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参
- 循环是我们经常用到的一个概念，比如，循环计算数字叠加、循环输出文字内容等。循环是运行重复内容的一个最简单的方法，简化了代码流程，增加了时效性
