利用Python编写一个简单的缓存系统
作者:真的不能告诉你我的名字 发布时间:2021-08-15 02:55:39
我们昨天已经学习了python
的文件读写,今天来做一个最简单的例子,写一个最简单的缓存系统,要求:
以key``value
的方式保持数据,并且需要将内容中的数据落地到文件,以便下次启动的时候,将文件的内容加载进内存中来。
还是需要声明一点,本篇文章所依赖的python
环境为:
代码已经放到了gitee上,gitee
地址: gitee.com/pdudo/golearn/blob/master/python/cacheDB/main.py
项目展示
该demo
将分为2个部分展示,第一个部分我们会写入一些key
和value
进入到缓存系统中,而后关闭程序。
第二部分则会去获取第一个部分写入的key
的名称。
第一部分main
方法如下:
def main() -> None:
c = dbCache("db.cache")
c.cacheSetting(queueMaxKeys=3,ageSec=3)
c.set("name","pdudo")
c.set("site","juejin")
c.set("hello","word")
c.set("hello","pdudo")
其中,dbCache
是我们定义的类,而set
是写入方法,cacheSetting
设置一些基础环境变量,例如:
queueMaxKeys
: 需要制定增删改缓存队列,类型为int
,如果满了,则立即落地到磁盘中。ageSec
: 间隔时间,参数为秒数,若操作第一个key
和操作第二个key
时间大于该设置,则落地到磁盘。
set
则是写入方法,参数为key
和value
。
运行后,代码效果如下:
由于我们只有set
,所以不会输出任何信息,上述open file error
是正常的警告信息,不用管它。
第一部分操作完毕了,我们可以修改第二部分,使用get
去获取第一次存储的数据。
修改main
如下:
def main() -> None:
c = dbCache("db.cache")
c.cacheSetting(queueMaxKeys=3,ageSec=3)
print(c.get("name"))
print(c.get("hello"))
print(c.get("site"))
运行后,效果如下:
由此可以验证,从磁盘读取文件并且加载进内存,没什么问题。
除此之外,该库还支持其他操作,例如:
# 定义一个缓存对象
c = dbCache("db.cache")
# 配置环境变量
c.cacheSetting(queueMaxKeys=3,ageSec=3)
# 写
c.set("name","pdudo")
# 读
print(c.get("name"))
# 修改
c.update("name", "juejin")
# 删除
c.delete("name")
接下来,我们就来看下,如何一步一步完成这个最简单的缓存系统。
不用落地的缓存系统系统应该如何实现
在python
中,给我们提供了很多基础的数据类型,例如 列表、字典等。所以说,就没必要自己在定义一套属于自己的数据类型了,可以直接使用现有的数据类型,例如本篇文章所使用的就是字典,这里简单的铺垫一下字典的增删改查。
铺垫python字典基本操作
定义一个空的字典a
,可以使用如下代码:
a = {}
写入key
可以直接使用a[key] = value
即可,例如:
a["name"] = "pdudo"
修改也是和上述一样的
关于查询,我们直接使用a[key]
即可。
若没有这个key
会抛错: KeyError: 'key'
。
print(a["name"])
检查是否存在key
,可以使用key in dict
来判断,例如: 想判断name
是否是字典a
中的key
,可以写为:
print("name" in a)
若存在于a
中,会返回True
,否则会返回False
。
定义一个不用落地的缓存系统
有了上述关于字典的基本操作,我们可以将其封装一下,定义为自己的操作方法,例如:
class cacheDB():
def __init__(self):
#定义空的字典
self.cache = {}
#增
def set(self,key,value):
self.cache[key] = value
#查
def get(self,key):
return self.cache[key]
#修
def update(self,key,value):
self.cache[key] = value
#删除
def delete(self,key):
del self.cache[key]
def main():
c = cacheDB()
c. set("name","pdudo")
print(c.get("name"))
c.update("name","juejin")
print(c.get("name"))
c.delete("name")
if __name__ == '__main__':
main()
我们可以将上述方法,封装在一个class
中,从而实现调用。
例如,运行之后结果为:
数据如何落地
上述,我们已经写了一个最简单的缓存系统,如果此时进程挂掉了,重新启动后,内存中的数据就都没了,所以为了避免重启后数据丢失,可以将数据定时落地到磁盘中,本篇文章所介绍的内置库为: pickle
,该可可以将python
对象存储到文件中,从而保存到磁盘,这个对象可以是字典、也可以是列表,我们来看下,具体方法:
将对象保存到磁盘
使用pickle
的dump
方法,可以将对象保持到文件中,这里举一个很简单的例子:
import pickle
list1 = ["name","juejin","hello"]
with open("test.txt","wb") as f:
pickle.dump(list1,f)
上述代码,先引入了pickle
库,而后定义了列表list1
,最后打开文件,使用pickle.dump
将列表对象保持到文件中,这里保存的是二进制,所以是wb
模式。使用with...open
方法,它可以主动在最后帮我们关闭文件句柄。
此时如我们执行脚本后,想查看一下文件,会发现是二进制格式的,例如:
将对象从磁盘中导入到内存中
上述,我们已经将对象保持到磁盘中,接下来,我们使用pickle
的load
方法,将磁盘数据导入到内存中来,这里同样举一个很简答的例子:
import pickle
with open("test.txt","rb") as f:
list2 = pickle.load(f)
print(list2)
上述代码,还是先引入pickle
库,而后在以二进制的模式读取文件,最后通过pickle.load
方法,将数据从磁盘中导入到list2
下,接着输出list2
的值。
运行后,可以发现,该值就是我们上述落地到磁盘的对象:
将数据落地和缓存系统结合起来
我们已经将数据落地测试完毕了,如何和缓存系统结合起来呢? 很简单,我们仅需要在程序启动时,检测一下是否有该文件,若有,则直接读取数据再并入到对象中,否则创建一个新的字典就好。
而后每次有增删改操作,都将数据落地即可,这里用新增数据函数举个例子:
class cacheDB():
def __init__(self):
try:
with open("db.cache","rb") as f:
self.cache = pickle.load(f)
except Exception as e:
self.cache = {}
def set(self,key,value):
self.cache[key] = value
with open("db.cache","wb") as f:
pickle.dump(self.cache,f)
上述在cacheDB
的__init__
函数中,就尝试读取本地文件db.cache
,若存在,就load
到内存中,若不存在,就创建一个新的字典。
这样的话,存储的数据就不会因为程序重启而丢失了。
如何保证并发安全
作为一个服务对开提供访问时,需要注意一下并发安全,当多个函数对一个变量进行操作的时候,很容易引起数据混乱,所以还是有必要加一下锁的,我们可以引入threading
库来完成加锁解锁操作,其加锁和解锁代码如下:
import threading
lock = threading.Lock # 定义lock
lock.acquire() # 加锁
lock.release() # 释放锁
我们可以将次引入到代码中,例如:
import pickle
import threading
lock = threading.lock
class cacheDB():
def __init__(self):
try:
with open("db.cache","rb") as f:
self.cache = pickle.load(f)
except Exception as e:
self.cache={}
def set(self,key,value):
lock.acquire()
self.cache[key] = value
with open("db.cache","wb") as f:
pickle.dump(self.cache,f)
lock.release()
def main():
db = cacheDB()
if __name__ == '__main__':
main()
这里就不做演示了。
来源:https://juejin.cn/post/7223441307960049725
猜你喜欢
- 因为工作(懒惰),几年了,断断续续学习又半途而废了一个又一个技能。试着开始用博客记录学习过程中的问题和解决方式,以便激励自己和顺便万一帮助了
- 可以通过model.state_dict()或者model.named_parameters()函数查看现在的全部可训练参数(包括通过继承得
- 前言优化随机森林算法,正确率提高1%~5%(已经有90%+的正确率,再调高会导致过拟合)论文当然是参考的,毕竟出现早的算法都被人研究烂了,什
- 安装 SQL2000 时,系统经常会提示:操作被挂起,要求重新启动计算机,如图1: 图1重新启动后,再次安装时问题仍然存在。解决办
- 代码如下:DECLARE @T varchar(255), @C varchar(255) DECLARE Table_Cursor CUR
- 我就废话不多说了,直接上代码吧!# -*- coding:utf8 -*-import paho.mqtt.client as mqttfr
- python给数据加上高斯噪声一开始用MATLAB给数据加噪声很简单,就一句话:% 给数据加指定SNR的高斯噪声signal_noise =
- 前言随着 Kotlin 1.4 正式发布,关于 SAM 转换的一些问题就可以盖棺定论了。因为这里要讲的都是些旧的东西,所以这是一篇灌水文。K
- 背景介绍Pandas的DataFrame和Series在Matplotlib基础上封装了一个简易的绘图函数,使得数据处理过程中方便可视化查看
- 方法一:queue = forms.ModelChoiceField(label=u'队列',queryset=Queue.
- 1.nginx使用哪种网络协议? nginx是应用层 我觉得从下往上的话 传输层用的是tcp/ip 应用层用的是http fastcgi负责
- async官方DOC介绍node安装npm install async --save使用var async = require('a
- 最简单的:<textarea name="A" cols="45" rows="2&
- 一、引言有一定 Python 编程经验的人估计十有八九使用过异常,异常对于程序的健壮性是毋庸置疑的。二、使用异常对数据进行初始化在某些条件下
- function getBytesLength(str){ var re=/[\x00-\xf
- 本文实例讲述了Python高级特性之闭包与装饰器。分享给大家供大家参考,具体如下:闭包1.函数参数:(1)函数名存放的是函数的地址 (2)函
- 前言:Python 中的画图工具——turtle(海龟绘图),turtle 是 Python 中自带
- 一 程序预览本程序已经写了多年, 很久没用, 不过刚运行了下竟然还可以成功运行. 先来张运行结果图.二 最近的滴滴APP已经可以支持设置自动
- 前言Logistic回归涉及到高等数学,线性代数,概率论,优化问题。本文尽量以最简单易懂的叙述方式,以少讲公式原理,多讲形象化案例为原则,给
- 需求背景公司前端使用 Highcharts 构建图表,图表的图例支持点击显示或隐藏相应的指标。现在有需求后端需要存储用户在前端点击后显示图表