python异步存储数据详解
作者:我是李玉峰 发布时间:2023-08-14 09:05:44
在Python中,数据存储方式分为同步存储和异步存储。同步写入速度比较慢,而爬虫速度比较快,有可能导致数据保存不完整,一部分数据没有入库。而异步可以将爬虫和写入数据库操作分开执行,互不影响,所以写入速度比较快,能够保证数据的完整性。
异步存储数据库大致看分为以下步骤:
1. 在settings中配置Mysql链接需要的参数(主机地址、用户账号、密码、需要操作的表名、编码格式等)
2. 自定义Pipeline,实现from_settings函数
3. from twisted.enterprise import adbapi 引入连接池模块
4. from pymysql import cursors 引入游标模块
5. 在from_settings中,准备链接数据库参数,创建db_pool连接池,创建返回当前类的对象,传入db_pool
6. 实现初始化函数,在初始化函数中,将db_pool赋值self的属性
7. 实现process_item函数
7.1 query = self.db_pool.runInteraction(执行插入数据操作的函数对象,函数需要参数),并接受执行返回结果
7.2 query.addErrback(错误回调函数,函数需要参数),添加执行sql失败回调的函数,在回调函数中对错误数据进一步处理
8. 实现插入数据操作的函数,准备sql,执行sql
9. 实现错误回调函数,在回调函数中对错误数据进一步处理
下面,我们以天堂图片网为例,大致熟悉一下异步存储:
1. 在存储之前,可以选择手动创建数据库(表名、字段名、字段类型等自己定义),也可以选择代码创建。
2. 存储数据之前还得先拿到数据
import scrapy
from ..items import ImgItem
class IvskySpider(scrapy.Spider):
name = 'ivsky'
allowed_domains = ['ivsky.com']
start_urls = ['http://www.ivsky.com/tupian/ziranfengguang/']
def parse(self, response):
imgs = response.xpath('//div[@class="il_img"]/a/img')
for img in imgs:
alt = img.xpath('@alt').extract_first('')
src = img.xpath('@src').extract_first('')
item = ImgItem()
item['alt'] = alt
item['src'] = src
yield item
3. 自定义item,并把数据传进去
import scrapy
class IvskySpiderItem(scrapy.Item):
# define the fields for your item here like:
# name = scrapy.Field()
pass
class ImgItem(scrapy.Item):
alt = scrapy.Field()
src = scrapy.Field()
4. 接下来就是settings中的配置,代码如下(robots协议记得改为False):
MYSQL_HOST = '127.0.0.1'
MYSQL_USER = 'root'
MYSQL_PW = '123456'
MYSQL_DB = 'ivskydb'
MYSQL_CHARSET = 'utf8'
5. 再然后自定义pipeline,并把该pipeline在settings中配置(设置优先级):
from twisted.enterprise import adbapi
from pymysql import cursors
class TwistedMysqlPipeline(object):
# 在调用TwistedMysqlPipeline时,第一个调用该函数
@classmethod
def from_settings(cls, settings):
#准备需要用到的链接mysql的参数
db_prams = dict(
host=settings['MYSQL_HOST'],
user=settings['MYSQL_USER'],
password=settings['MYSQL_PW'],
db=settings['MYSQL_DB'],
port=3306,
use_unicode=True,
charset=settings['MYSQL_CHARSET'],
# 指定使用的游标类型
cursorclass=cursors.DictCursor
)
# 创建连接池对象,需要传入两个参数
# 1.使用操作mysql第三方包名
# 2.连接数据库需要的参数
db_pool = adbapi.ConnectionPool('pymysql', **db_prams)
return cls(db_pool)
def __init__(self, db_pool):
# 将连接池对象赋值self.db_pool属性
self.db_pool = db_pool
def process_item(self, item, spider):
# 准备sql
# 执行sql
# 执行一个将item数据写入数据库的动作
# 1.执行操作的函数
# 2.执行函数需要的参数....
query = self.db_pool.runInteraction(self.insert_item, item)
# 执行sql出现异常错误时,回调的函数
query.addErrback(self.handle_error, item, spider)
return item
# 插入数据出现错误时,回调的函数
def handle_error(self, failure, item, spider):
print(failure)
print(item)
# 执行插入数据的函数
def insert_item(self, cursor, item):
# 创建sql
sql = "INSERT INTO ivs(alt,src)VALUES(%s,%s)"
# 执行sql
cursor.execute(sql,(item['alt'], item['src']))
6. pipeline在settings中的配置
ITEM_PIPELINES = {
# 'ivsky_spider.pipelines.MysqlPipeline': 300,
'ivsky_spider.pipelines.TwistedMysqlPipeline': 300,
}
代码到这里就结束了。
来源:https://blog.csdn.net/qq_42598133/article/details/82667732
猜你喜欢
- 察者模式定义定义了对象之间的一对多依赖,这样一来,当一个对象改变状态时,它的所有依赖都会收到通知并自动更新。观察者模式提供了一种对象设计,让
- 本文实例为大家分享了bootstrapTable+ajax加载数据,和refresh更新数据两部分,供大家参考,具体内容如下1.html&l
- 方法一、线程池执行的循环代码为自己写的情况定义一个全局变量,默认为T,当QT界面关闭后,将该变量值改为F。线程执行的循环代码内增加一个判断方
- 目录创建文件夹布局编写命令代码实际应用场景案例1:检查数据库连接是否已就绪案例2:周期性发送邮件每次在启动Django服务之前,我们都会在终
- 首先将ORACLE 10g的安装光盘放入光驱,如果自动运行,一般会出现如图1安装界面: 图1 单击“开始安装”,就可以安装ORACLE 10
- 一、pandas的统计分析1、关于pandas 的数值统计(统计detail 中的 单价的相关指标)import pandas as pd#
- 本文研究的主要是Python生成器及其应用,具体如下。一、定义可以理解为一种数据类型,这种数据类型自动实现了迭代器协议(其他的数据类型需要调
- 本文我们来做一个简单的随机漫步数据图,进一步了解matplotlib的使用,使用Python生成随机漫步数据,再使用matplotlib绘制
- ASP有一个最重要的功能,就是它可以让你非常轻松地连接数据库。通常都是和一个Access或者一个SQL数据库相连。因为Access是最容易起
- 导言:在前面的教程我们阐述了应用程序处理二进制数据的2种模式,以及使用FileUpload 控件从浏览器向服务器文件系统上传文件。当文件上传
- 参数strSQL 要导出的SQL查询语句strFields 字段名称列表,如果为空字符,则使用SQL语句中的字段名用法示例:1:export
- 软件测试大型软件系统的开发是一个很复杂的过程,其中因为人的因素而所产生的错误非常多,因此软件在开发过程必须要有相应的质量保证活动,而软件测试
- 本文实例讲述了Python时间的精准正则匹配方法。分享给大家供大家参考,具体如下:要用正则表达式精准匹配时间,其实并不容易方式一:>&
- '去掉字符串头尾的连续的回车和空格 function trimVBcrlf(str) tr
- 最近常有厦门的客户通过网站上的联系方式加我QQ,询问网站改版的情况。几乎每日都要针对客户网站存在的问题做一番分析,然后客户以价格等其他因素结
- 数据可视化是一种将庞杂抽象的数据转化为直观易懂的图形的数据呈现技术,它能帮助我们快速把握数据的分布和规律,更加轻松地理解和探索信息。在当今这
- 一、基础介绍Go 是静态(编译型)语言,是区别于解释型语言的弱类型语言(静态:类型固定,强类型:不同类型不允许直接运算)例如 python
- PyCharm2020 激活到 2100年一次激活,用到退休,就问你怕了没?超级硬核破解,从此不再找激活码,不再改HOST !!!!!Pyc
- 网页可以说是网站构成的基本元素。当我们轻点鼠标,在网海中遨游,一幅幅精彩的网页会呈现在我们面前,那么,网页的精彩与否的因素是什么呢?色彩的搭
- 看完了这个你就可以用asp修改注册表了!大名鼎鼎的WSH听说过吗? 它就是Windows script Host的缩写形式,WSH是Wind