python with提前退出遇到的坑与解决方案
作者:猪了个去 发布时间:2023-12-24 15:02:35
问题的起源
早些时候使用with实现了一版全局进程锁,希望实现以下效果:
with CacheLock("test_lock", 10):
#如果抢占到锁,那么就执行这段代码
# 否则,让with提前退出
全局进程锁本身不用多说,大部分都依靠外部的缓存来实现的,redis上用的是setnx,有时候根据需要加上缓存击穿问题、随机延后以防止对缓存本身造成压力
当时同样写了单元测试来测试这段代码的有效性:
with CacheLock("test_lock", 10):
value = cache.get("test_lock")
self.assertEqual(value, 1)
with CacheLock("test_lock", 10):
# 不会进到这里
self.assertFalse(True)
value = cache.get("test_lock")
self.assertEqual(value, None)
看起来非常完美地通过了。
这样的一个全局进程锁是通过 __enter__ 方法抛出异常, __exit__ 方法中捕获异常来实现的:
class CacheLock(object):
def __init__(self, lock_key, lock_timeout):
self.lock_key = lock_key
self.lock_timeout = lock_timeout
self.success = False
def __enter__(self):
self.success = cache.lock(self.lock_key, self.lock_timeout)
if self.success:
return self
else:
raise LockException("not have lock")
def __exit__(self, exc_type, exc_value, traceback):
#没有抢到锁的时候,啥都不做?
if self.success:
await cache.delete(self.lock_key)
if isinstance(exc_value, LockException):
return True
if exc_type:
raise exc_value
看起来还不错,毕竟单元测试都过了。
但是,这样的实现是有问题的:
原因在于 __exit__ 的执行不是包在 __enter__ 之外的,因此 __enter__ 抛出的异常,不会被 __exit__ 捕获。
上面的单元测试恰好通过,是因为其中有两个with语句,外面的with 捕获的其实是里面的 __enter__ 抛出的异常
使用改进后的单元测试:
cache.set("test_lock",1)
with CacheLock("test_lock", 10):
self.assertFalse(True)
value = cache.get("test_lock")
self.assertEqual(value, None)
就会发现单元测试过不去了。
这个问题是我试图使用with实现另一个逻辑:AB测试 时出现的,同样是 __enter__ 抛出异常, __exit__ 试图捕获:
import operator
class EarlyExit(Exception):
pass
class ABContext(object):
"""AB测试上下文
>>> with ABContext(newVersion, consts.ABEnum.layer2):
>>> # dosomething
"""
def __init__(self, version, ab_layer, relationship="eq"):
self.version = version
self.ab_layer = ab_layer
# 如果不存在这种操作符,那就提前报错
self.relationship = getattr(operator, relationship)
def __enter__(self):
# 如果不满足条件,等于不执行上下文中的内容
if not self.relationship(self.version, self.ab_layer.value):
raise EarlyExit("not match")
return self
def __exit__(self, exc_type, exc_value, traceback):
if exc_value is None:
return True
if isinstance(exc_value, EarlyExit):
return True
if exc_type:
raise exc_value
return True
调试没有通过的单元测试的时候发现,抛出异常后根本没有执行到 __enter__
第一种解决方案
既然想明白了with的执行顺序,那么第一种解决方案就呼之欲出了:既然__exit__捕获的异常在__enter__执行完成之后,那么我们提供一个函数确认一下就可以了,把ABContext实现改成这样:
def ensure(self):
if not self.relationship(self.version, self.ab_layer.value):
raise EarlyExit("not match")
def __enter__(self):
# 如果不满足条件,等于不执行上下文中的内容
return self
使用的时候:
with ABContext(newVersion, consts.ABEnum.layer2) as c:
c.ensure()
# 执行其他的想要执行的代码
但这样的解决方法并不优雅,万一使用这个ABContext的时候忘记用ensure方法了,那么就等于完全没用这个Context方法,太容易失误了,而且代码也失去了Pythonic的性质
第二种解决方法
翻了一下contextlib的标准库文档,发现有一个已经废弃的函数: contextlib.nested
from contextlib import nested
with nested(*managers):
do_something()
可以执行多个上下文.
from contextlib import nested
with nested(A(), B(), C()) as (X, Y, Z):
do_something()
# is equivalent to this:
m1, m2, m3 = A(), B(), C()
with m1 as X:
with m2 as Y:
with m3 as Z:
do_something()
这个废弃的特性在Python2.7之后,可以直接由with关键字执行,形如:
with context1,context2:
#do something
这个特性还不错,根据 __enter__ 的执行顺序的话,那么我们可以实现一个由第一个 context的__exit__来捕获,第二个context的__enter__来抛出异常,
如同这样:
class AlwaySuccessContext(object):
def __enter__(self):
return self
def __exit__(self, exc_type, exc_value, traceback):
if isinstance(exc_value, EarlyExit):
return True
if exc_type:
raise exc_value
return True
结合前面我们实现的ABContext的使用是这样的:
def test_context_noteq(self):
obj = MagicMock(return_value=True)
with AlwaySuccessContext(), ABContext(2, const.ABTestEnum.control):
self.assertFalse(obj())
obj.assert_not_called()
good,单元测试就这样过了
能不能再给力点?
确实,在with里要写俩context有点蛋疼,并不是特别优雅,能不能还是回到最初的那种用法:我们只用写一条context,这一个context做到了两个context的事情?
要是nested那个函数还在就好了。。要的其实就是它的功能。
Python3.1之后contextlib提供了一个ExitStack的功能来提供一个模拟的功能,但试了一下发现,实际上只调用了__enter__方法,但没有做对应的异常捕获
第三种解决方案
哈哈哈哈把自己绕到圈子里去了,想了一下,同样是一个缩进的代码块,为什么不能用if来解决呢!不就是个:
def test_context_noteq(self):
# 不等的时候,不会执行with里的内容
obj = MagicMock(return_value=True)
context = ABContext(2, const.ABTestEnum.control)
# print(type(context))
if ABContext(2, const.ABTestEnum.control):
self.assertFalse(obj())
obj.assert_not_called()
TIL
总之学到了contextlib里的一些有用的函数和装饰器,也第一次发现with可以放个context
虽然放多个context的动态构造还有待研究,with 后面的代码块也不能填一个元组或者列表。。惆怅。。
来源:https://zhuanlan.zhihu.com/p/32617838?utm_source=tuicool&utm_medium=referral
猜你喜欢
- 在一开始接触PHP接触MYSQL的时候就听不少人说:“MySQL就跑跑一天几十万IP的小站还可以,要是几百万IP就不行了
- <%'============================================================
- 同志们,经过不懈的努力,查了各种文档,终于鼓捣出了一个稍微像样一点的node项目,当然如果直接拿去项目里用,这个demo还太简单,毕竟一个完
- CSS Type set是一款在线字体调整工具。你可以使用它来对字型进行排版调整并实时的看到CSS代码。在下图中,其中,你可以设置文本的字体
- 一、python线程的模块1.thread和threading模块thread模块提供了基本的线程和锁的支持threading提供了更高级别
- location是javascript里边管理地址栏的内置对象,比如location.href就管理页面的url,用location.hre
- 1、新建DLL打开VB6-->文件-->新建工程-->选择ActiveX DLL-->确定2、将默认工程、类重命名工
- 基于web的技术中,分页是一个老的不能再老的,但大家津津乐道的问题,随着xml技术的日渐应用,把xml应用到分页当中,也是一种可能,当然网上
- 需求:启动程序后,让用户输入工资,然后打印商品列表允许用户根据商品编号购买商品用户选择商品后,检测余额是否够,够就直接扣款,不够就提醒可随时
- 在用 Javascript 验证表单(form)中的单选框(radio)是否选中时,很多新手都会遇到问题,原因是 radio 和普通的文本框
- 现在Web页面的交互方式越来越多样化,其中拖放页面元素也是一种很常见的操作。在这类操作当中有两个主要问题需要解决,一个是事件的注册方式,一般
- 一、停止线程利用Threading库我们可以很方便地创建线程,让它按照我们的想法执行我们想让它执行的事情,从而加快程序运行的效率。然而有一点
- 字典,这个东西你现在还用吗?随着网络的发展,用的人越来越少了。不少人习惯于在网上搜索,不仅有web版,乃至于已经有手机版的各种字典了。我曾经
- 需求需要生成一个宣传的图片分享到朋友圈,这个宣传图片包含二维码,包含不同的背景图片和不同的文字。对于这种图片生成,我们考虑过使用服务端生成,
- chr(13) 是一个回车Chr(10) 是一个换行符chr
- 前言都说抖音有毒,一刷就停不下来了。看来抖音这款产品紧紧抓住了人们内心深处的某些需求。当然今天不是来探讨抖音这款产品的啊。今天我们来学习如何
- <div class=”A” style=”position:relative;”>A 
- 如何编写CSS代码才能更有效率?这是许多网页制作者与开发者都关心的问题。大概没有什么魔法,可以保证一下就把你的样式表缩小到百分之多少,但合理
- IE5及其以后版本支持在CSS中使用expression,用来把CSS属性和Javascript表达式关联起来,这里的CSS属性可以是元素固
- Hi, 大家好~ 好久没有发有营养的东西,今天就扔一篇最近热点的Google Chrome 浏览器的试用心得吧。先说个比较搞的事情,Goog