Python爬虫程序架构和运行流程原理解析
作者：躬耕南阳 发布时间：2023-10-04 16:04:24
1 前言
Python开发网络爬虫获取网页数据的基本流程为：
发起请求
通过URL向服务器发起request请求，请求可以包含额外的header信息。
获取响应内容
服务器正常响应，将会收到一个response，即为所请求的网页内容，或许包含HTML，Json字符串或者二进制的数据（视频、图片）等。
解析内容
如果是HTML代码，则可以使用网页解析器进行解析，如果是Json数据，则可以转换成Json对象进行解析，如果是二进制的数据，则可以保存到文件做进一步处理。
保存数据
可以保存到本地文件，也可以保存到数据库（MySQL，Redis，MongoDB等）。
2 爬虫程序架构及运行流程
网络爬虫程序框架主要包括以下五大模块：
爬虫调度器
URL管理器
HTML下载器
HTML解析器
数据存储器
五大模块功能如下所示：
爬虫调度器：主要负责统筹其它四个模块的协调工作。
URL管理器：负责管理URL链接，维护已经爬取的URL集合和未爬取的URL集合，提供获取新URL链接的接口。
HTML下载器：用于从URL管理器中获取未爬取的URL链接并下载HTML网页。
HTML解析器：用于从HTML下载器中获取已经下载的HTML网页，并从中解析出新的URL链接交给URL管理器，解析出有效数据交给数据存储器。
数据存储器：用于将HTML解析器解析出来的数据通过文件或者数据库的形式存储起来。
网络爬虫程序框架的动态运行流程如下所示：
3 小结
本文简要介绍了Python开发网络爬虫的程序框架，将网络爬虫运行流程按照具体功能划分为不同模块，以便各司其职、协同运作。搭建好网络爬虫框架后，能够有效地提高我们开发网络爬虫项目的效率，避免一些重复造车轮的工作。
来源：https://www.cnblogs.com/yangmi511/p/12448067.html
0
投稿猜你喜欢
- 这篇文章主要介绍了python线程信号量semaphore使用解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价
目前网上能获取的免费的python打包工具主要有三种：py2exe、PyInstaller和cx_Freeze。下面简单介绍windows7- 异常，不应该存在，但是我们有时候会遇到这样的情况，比如我们监控服务器的时候，每一秒去采集一次信息，那么有一秒没有采集到我们想要的信息，但是下
- IE6绝对定位的bug及其解决办法。position:absolute定位在IE6下存在left和bottom的定位错误问题：<!–I
- 在并不知道DIV浮动层的宽度，高度的情况下，如何使浮动层在任何分辩率的情况下居中呢！ 下面使用了JAVASCRIPT来
- 可以在Mac OS X 10.2.x(“Jaguar”)和以上版本上Mac OS X使用二进制安装软
- 问题，在一个程序内构建好了一个图，运行完之后想重新使用这个图进行计算，或者想同时在train完的时候做test，就会提示***变量已存在。解
- 原理：print() 函数会把内容放到内存中， 内存中的内容并不一定能够及时刷新显示到屏幕中(应该是要满足某个条件，这个条件现在还不清楚)。
- 1. php 中的序列化在 PHP 中，序列化是将数据结构或对象转换为可以存储或传输的字符串表示的过程，经过序列化之后的对象或者数据结构，就
- 导入实验常用的python包。如图2所示。【import pandas as pd】pandas用来做数据处理。【import numpy
- 如何只取数据库的前3条记录？怎么控制只取得前3行数据 这要看是什么类型的数据库了，对于Access和SQ
- 访问phpmyadmin时总是出现 “无法载入 mysql 扩展，请检查 PHP 配置”。
- 最简单的方法：取整后判断是否和原值相等!javascript的取整函数是：parseIntif(parseInt(value)==value
- 字体大小CSS2规范根据长度——水平和垂直尺寸——来定义字体。这个长度为一个数值，前面可能带一个可选的加(+)或减(-)标记符。另外，该数值
- 表单的验证是开发WEB应用程序中常遇到的一关。有时候我们必须保证表单的某些项必须填写、必须为数字、必须是指定的位数等等，这时候就要用到表单验
- 数据模型==对象模型Python官方文档说法是“Python数据模型”，大多数Python书籍作者说法是“Python对象模型”，它们是一个
- 在 MySQL 下，在进行中文模糊检索时，经常会返回一些与之不相关的记录，如查找 "％a％" 时，返回的可能有中文字符，
- XPath(XML Path language)是一种处理XML文档段的语言。XSLT(Extensible Stylesheet Lang
- #-*- coding: utf-8 -*-import win32api,win32gui, win32conimport osimpor
- function getElementsByClassName(elem_name,elem_tags) { //elem_name:查询的
