详解一种用django_cache实现分布式锁的方式
作者:知鱼君 发布时间:2023-11-08 03:50:45
问题背景
在项目开发过程中,我遇到一个需求:对于某条记录,一个用户对它进行操作时会持续比较久,希望在一个用户的操作期间,不允许有另一个用户操作它,否容易会出现混乱。
在与同事们讨论后,想通过加锁的方式,起初想用redis锁,但这样会为项目增加别的依赖,因此转而使用django-cache的缓存数据库,来实现该功能。
资料查找
基于缓存实现分布式锁,在网络上查找了实现方式,大概可以总结为以下3种:
第一种锁命令INCR
这种加锁的思路是, key 不存在,那么 key 的值会先被初始化为 0 ,然后再执行 INCR 操作进行加一。 然后其它用户在执行 INCR 操作进行加一时,如果返回的数大于 1 ,说明这个锁正在被使用当中。
第二种锁命令SETNX
这种加锁的思路是,如果 key 不存在,将 key 设置为 value 如果 key 已存在,则 SETNX 不做任何动作
第三种锁命令SET
上面两种方法都有一个问题,会发现,都需要设置 key 过期。那么为什么要设置key过期呢?如果请求执行因为某些原因意外退出了,导致创建了锁但是没有删除锁,那么这个锁将一直存在,以至于以后缓存再也得不到更新。于是乎我们需要给锁加一个过期时间以防不测。
在实际编写中,我综合了第二种和第三种方式,即用键名来设置锁,同时设置了过期时间,以防长时间占用。
另外,关于如何使用django-cache去使用数据库缓存,相关的API整理如下:
from django.core.cache import caches
# 设置锁和超时时间
cache.set('my_key', 'Initial value', 60)
# 获取锁
cache.get('my_key')
# 更新锁
cache.add('add_key', 'New value')
代码编写
在经过多次的迭代,并且对比了网上的各路写法后,我结合django-cache的特性,最终总结了一套较为简洁的写法。
首先是一个CacheLock的类,初始化方法里可以传执行超时时间,和拿锁等待的时间。CacheLock类的主要方法有两个,一个是拿锁的方法,一个是释放锁的方法。
拿锁的方法中,键名根据操作的具体对象来定,键值为uuid值,超时时间默认为60s。一旦发现能拿到锁,则返回uuid值。
释放锁的方法中,首先比较键值和uuid值是否一致,一致则释放,避免因超时情况导致把其他的正在操作的锁给释放掉。
class CacheLock(object):
def __init__(self, expires=60, wait_timeout=0):
self.cache = cache
self.expires = expires # 函数执行超时时间
self.wait_timeout = wait_timeout # 拿锁等待超时时间
def get_lock(self, lock_key):
# 获取cache锁
wait_timeout = self.wait_timeout
identifier = uuid.uuid4()
while wait_timeout >= 0:
if self.cache.add(lock_key, identifier, self.expires):
return identifier
wait_timeout -= 1
time.sleep(1)
raise LockTimeout({'msg': '当前有其他用户正在编辑该采集配置,请稍后重试'})
def release_lock(self, lock_key, identifier):
# 释放cache锁
lock_value = self.cache.get(lock_key)
if lock_value == identifier:
self.cache.delete(lock_key)
另外,将缓存锁写成一个装饰器,对需要加锁的地方,添加上该装饰器,则可以很轻松地实现锁功能。
def lock(cache_lock):
def my_decorator(func):
def wrapper(*args, **kwargs):
lock_key = 'bk_monitor:lock:xxx' # 具体的lock_key要根据调用时传的参数而定
identifier = cache_lock.get_lock(lock_key)
try:
return func(*args, **kwargs)
finally:
cache_lock.release_lock(lock_key, identifier)
return wrapper
return my_decorator
再举一个实际调用中的例子:
@lock(CacheLock())
def f():
pass
另外,我在设置缓存的key名的时候,会根据函数的具体操作对象,从而给装饰器传递相应的参数,这里就不再举例了。
优化改进
当然,实现以上功能需求一定还有别的更好的方式,关于锁的实现,网络上有很多别的方式,比如基于zookeeper实现分布式锁、基于数据库实现分布式锁等等,它们在可靠性或性能方面都各有长短,要根据具体场景进行取舍,所以还有非常多值得研究的地方。
我这里也只是抛砖引玉,欢迎拍砖~
来源:https://juejin.im/post/5d69e7136fb9a06acc009c1c


猜你喜欢
- 由于这个游标 执行一下就相当于SELECT一下 其效率不敢恭维也没做深入研究。 table1结构如下 id &
- Python3还是没有switch,可以利用if-else来实现,但是非常不方便。使用dict来实现会比较简洁优雅。# -*- coding
- 前言:python 中协程概念是从 3.4 版本增加的,但 3.4 版本采用是生成器实现,为了将协程和生成器的使用场景进行区分,使语义更加明
- 生活中我们为了保障房间里物品的安全,所以给门进行上锁,在我们需要进入房间的时候又会重新打开。同样的之间我们讲过多线程中的lock,作用是为了
- 在写代码过程中,经常遇到一行代码很长的情况。为了让代码显得整齐干净,就需要把一行代码分成多行来写,Python中有两种小技巧可以实现该功能:
- jQuery的选择器是CSS 1-3,XPath的结合物。jQuery提取这二种查询语言最好的部分,融合后创造出了最终的jQuery表达式查
- python中的sys是提供了一系列有关python运行环境的变量和函数的模块,如sys.argv函数实现从程序外部向程序传递参数;sys.
- 无论是公司的同事还是外界的程序员朋友们,大部分人对JavaScript的高级应用不甚了解,已有的知识架构里会认为JavaScript仅仅是一
- df.fillna主要用来对缺失值进行填充,可以选择填充具体的数字,或者选择临近填充。官方文档DataFrame.fillna(self,
- 1.文件结构MySQLdb和pymysql的使用差不多阅读的小伙伴可以自己尝试实现2.实验效果3.主文件:main.pyimport MyS
- FastApi快速构建一个web项目已经使用FastApi很久了。这个一个非常优秀的框架。和flask一样能够快速构建一个web服务。开发效
- 前言在进行业务数据分析时,往往需要使用pandas计算环比、同比及增长率等指标,为了能够更加方便的进行的统计数据,整理方法如下。1.数据准备
- 前言:我们知道,python代码文件大多数都是py类型。那么,能不能使用txt文件存储我们的代码呢?python这么强大的语言当然可以做大,
- 将近两个多月没有敲linux命令,手指头不听话了。该再次温习卖油翁的故事了。曾为oracle如何启动多个实例运行纠结过,不服输心理。当时在一
- 我听说 Hooks 最近很火。讽刺的是,我想用一些关于 class 组件的有趣故事来开始这篇文章。你觉得如何?本文中这些坑对于你正常使用 R
- JavaScript 的成功让人津津乐道,为 Web 网页编写 JavaScript 代码已经是所有 Web 设计师的基本功,这门有趣的语言
- 利用 CSS 来实现对象的垂直居中有许多不同的方法,比较难的是选择那个正确的方法。我下面说明一下我看到的好的方法和怎么来创建一个好的居中网站
- python-查找特定名称文件并按序号、文件名分行打印输出第1天第2题1.遍历”Day1-homework”目录下文件;2.找到文件名包含“
- 分享一个python脚本,使用代理ip来访问网页,方便抓取数据什么的~并自动验证ip是否可以用什么情况下会用到 * ?比如你要抓取一个网站
- kafka的认证方式一般有如下3种:1.SASL/GSSAPI 从版本0.9.0.0开始支持2.SASL/PLAIN 从版本0.10.0.0