python爬取之json、pickle与shelve库的深入讲解
作者:一秋闲谈 发布时间:2023-11-05 00:58:35
前言
在使用Python进行网络编程或者爬取一些自己感兴趣的东西时,总避免不了进行一些数据传输、存取等问题,Python的文件对象以及其他扩展库,已经解决了很多关于文本和二进制数据存取的问题,比如网页内容、图片&音视频等多媒体内容,但这些数据基本是最终的数据形态存储,有没有办法可以存储Python本身的一些对象数据,后续在使用的时候,再直接加载为Python对象即可,本文便讲解下常用的Python对象数据存取、传输解决方案,即pickle、shelve、json。
内容比较基础,也比较简单,但也是必须好好掌握的知识点,因为其潜在的应用场景太广
一、pickle
pickle库提供了一种将Python对象(所有对象)本地化存储的解决方案,后续还可以从这些文件内重新加载,加载后又是Python标准的对象数据,可以用Python直接使用。
pickle有以下特点:
可以存取所有类型Python对象,并本地化到一个文件内
每个文件内只能存储一个Python对象
1.1 临时转换
可以将Python对象临时转化为pickle序列(存储在变量内而不是文件内),后续再进行加载使用。
import pickle
a=[1,2,3,4]
#以下将a转化为pickle序列
p_a=pickle.dumps(a)
#以下将pickle序列转化为Python对象
a=pickle.loads(p_a)
1.2 永久化存取
可以将Python对象存储到本地文件内,方便下次取出继续使用。
import pickle
a=[1,2,3,4]
f=open('file.pkl','wb')
#以下将a转化为pickle序列并存储到本地文件
p_a=pickle.dump(a,f)
f=open('file.pkl','rb')
#以下将存储在本地文件内的pickle序列转化为Python对象
a=pickle.load(f)
f.close()
以上,首先打开一个文件,注意,因为pickle序列是二进制编码格式,所以文件模式需要有'b'
然后将Python对象序列化并存储到本地文件
后续可通过加载该文件,将里面存储的数据重新加载为Python对象
二、shelve
shelve库相当于基于pickle的优化,因为pickle单文件只能存储单个Python对象,并且每次存取都需要使用dump和load,比较繁琐,所以,该库主要做了以下优化:
创建了一个轻量级的键值对数据库,支持一个文件内存储多个Python对象
不需要每次都load,对Python数据的存取,变成了标准的字典访问
以下是演示代码:
import shelve
db=shelve.open('obj_db')
class A:...
a=[1,2,3];b=dict(name='dennis');c=A
db['a']=a
db['b']=b
db['c']=c
db['a']
db['b']
db['c']
db.close()
以上代码,首先使用shelve的open方法创建一个db,可以指定db文件的存储地址
然后便可以像使用字典一样,用来在该键值对的db内存储Python对象(任何Python对象)
然后可像字典访问一样,重新取出之前已经存储的对象,最后,别忘了战术性关闭db
如果想遍历或内省某db内存量键值,该db也有keys()和values()方法,也支持Python的迭代协议
所以,相较于pickle来说,会方便和强大很多
三、json
json是进行网络数据传输应用最为广泛的数据格式,其可以将Python指定的一些数据对象转化为json字符串,便于进行存储和网络传输,并将该json序列化的字符串重新转变为Python对象。
大体过程为Python→JSON→Python,所以可以进行CS数据传输和通信。
以下为json和Python数据转换映射表:
JSON | Python |
---|---|
object | dict |
array | list |
string | str |
number (int) | int |
number (real) | float |
true,false | Ture,False |
null | None |
3.1 临时转换
可以将Python对象临时转化为json字符串并赋值给某变量,待后续再对其转化为Python对象
一般用于网络传输,尤其是接口调用时数据传输。
import json
mylist=[1,2,3]
mydict={
'name':dennis
}
#临时转换
a=json.dumps(mydict)
b=json.dumps(mylist)
#将json字符串重新转为Python对象
mylist=json.loads(b)
mydict=json.loads(a)
3.2 永久化存取
可以将Python对象转换为json字符串并永久性存储在本地文件内,便于后续重新加载使用。
import json
mylist=[1,2,3]
mydict={
'name':dennis
}
#将Python对象转化为json字符串,同时存储到file内
with open('myjson.json','w') as f:
json.dump(mydict,f)
#将存储在文件内的json字符串加载并转化为Python对象
with open('myjson.json','r') as f:
json.load(f)
总结
来源:https://blog.csdn.net/yifengchaoran/article/details/114490694
猜你喜欢
- 分区视图联接来自一组成员的水平分区数据,使数据看起来象来自同一张表。SQL Server 2000 区分本地分区视图和分布式分区视图。在本地
- 分页功能在每个网站都是必要的,对于分页来说,其实就是根据用户的输入计算出应该显示在页面上的数据在数据库表中的起始位置。确定分页需求:1. 每
- QCheckBox 是具有两种状态的控件:开和关。它是一个带有标签的复选框。复选框通常用于表示应用程序可以启用或禁用的功能。#!/usr/b
- 本文实例讲述了kNN算法python实现和简单数字识别的方法。分享给大家供大家参考。具体如下:kNN算法算法优缺点:优点:精度高、对异常值不
- 一、数据爬取的代码#encoding='utf-8'from selenium import webdriverimport
- Python面向对象编程(一)Python面向对象编程(二)Python面向对象编程(三)一、对象的继承Python中支持一个类同时继承多个
- 1.由于设置了slave的配置信息,mysql在数据库data目录下生成master.info,所以如有要修改相关slave的配置要先删除该
- 本文实例讲述了Python根据已知邻接矩阵绘制无向图操作。分享给大家供大家参考,具体如下:有六个点:[0,1,2,3,4,5,6],六个点之
- 本文实例讲述了Python装饰器用法。分享给大家供大家参考,具体如下:无参数的装饰器#coding=utf-8def log(func):
- 这里的内容以Linux进程基础和Linux文本流为基础。subprocess包主要功能是执行外部的命令和程序。比如说,我需要使用wget下载
- 本文实例为大家分享了python使用Matplotlib绘制分段函数的具体代码,供大家参考,具体内容如下环境Python3Mac OS代码#
- 这是一篇关于使用JScript RuntimeObject(MSDN)调试的文章。虽然这些例子中的大多数在其他浏览器中不能运行,但在IE 5
- PDOStatement::getColumnMetaPDOStatement::getColumnMeta — 返回结果集中一列的元数据(
- 本文实例讲述了Python面向对象之接口、抽象类与多态。分享给大家供大家参考,具体如下:接口类继承有两种用途:一:继承基类的方法,并且做出自
- 使用Python过程中,经常需要对文件和目录进行操作。所有file类/os/os.path/shutil模块时每个Python程序员必须学习
- 实验目的:用socket 模拟一个微型的web服务器,当py脚本run起后,实微型web server架起了,然后用本地浏览器访问
- # -*- coding: cp936 -*-from scapy.all import *from threading import Th
- 内容摘要:一堆数据摆面前,数据背后有什么样的事情在发生,这些数据里面暗藏着什么样的用户需求,什么样的商业机会?看懂这些,将为未来产品设计的方
- 本文实例讲述了Python单向链表和双向链表原理与用法。分享给大家供大家参考,具体如下:链表是一种数据结构,链表在循环遍历的时候效率不高,但
- 方法一 :这个是我在站长工具的查询页面使用的防止频繁查询,刷新页面的代码!下面函数的功能是3秒内查询页面即刷新了页面,超过2次就提示!sea