Python黑魔法之metaclass详情
作者:somenzz Python七号 发布时间:2022-09-16 00:38:56
关于Python
黑魔法 metaclass
的两种极端观点:
这种特性太牛逼了,是无所不能的阿拉丁神灯,必须找机会用上才能显示自己的
Python
实力。这个特性太危险,会蛊惑人心去滥用,一旦打开就会释放恶魔,让代码难以维护。
今天我们就来看看,metaclass
到底是阿拉丁神灯,还是潘多拉魔盒。
一、什么是 metaclass
很多书都会翻译成 元类,仅从字面理解, meta 的确是元,本源,翻译没毛病。但理解时,应该把元理解为描述数据的超越数据,事实上,
metaclass
的 meta 起源于希腊词汇meta
,包含两种意思:
“
Beyond
”,例如技术词汇metadata
,意思是描述数据的超越数据。“
Change
”,例如技术词汇metamorphosis
,意思是改变的形态。因此可以理解为
metaclass
为描述类的超类,同时可以改变子类的形态。你可能会问了,这和元数据的定义差不多么,这种特性在编程中有什么用?用处非常大。在没有
metaclass
的情况下,子类继承父类,父类是无法对子类执行操作的,但有了metaclass
,就可以对子类进行操作,就像装饰器那样可以动态定制和修改被装饰的类,metaclass
可以动态的定制或修改继承它的子类。
二、metaclass 能解决什么问题?
你已经知道了
metaclass
可以像装饰器那样定制和修改继承它的子类,这里就说下它能解决什么实际问题。比方说,在一个智能语音助手的大型项目中,我们有 1 万个语音对话场景,每一个场景都是不同团队开发的。作为智能语音助手的核心团队成员,你不可能去了解每个子场景的实现细节。在动态配置实验不同场景时,经常是今天要实验场景 A 和 B 的配置,明天实验 B 和 C 的配置,光配置文件就有几万行量级,工作量不可谓不小。而应用这样的动态配置理念,我就可以让引擎根据我的文本配置文件,动态加载所需要的
Python
类。如果你还不是很清楚,那么
YAML
你应该知道,它是一个家喻户晓的 Python 工具,可以方便地序列化和反序列化数据,YAMLObject
可以让它的任意子类支持序列化和反序列化(serialization & deserialization
)。序列化和反序列化:
序列化:当程序运行时,所有的变量或者对象都是存储到内存中的,一旦程序调用完成,这些变量或者对象所占有的内存都会被回收。而为了实现变量和对象持久化的存储到磁盘中或在网络上进行传输,我们需要将变量或者对象转化为二进制流的方式。而将其转化为二进制流的过程就是序列化。
反序列化:而反序列化就是说程序运行的时候不能从磁盘中进行读取,需要将序列化的对象或者变量从磁盘中转移到内存中,同时也会将二进制流转换为原来的数据格式。我们把这一过程叫做反序列化。
现在你有 1 万个不同格式的 YAML 配置文件,本来你需要写 1 万个类来加载这些配置文件,有了
metaclass
,你只需要实现一个metaclass
超类,然后再实现一个子类继承这个metaclass
,就可以根据不同的配置文件自动拉取不同的类,这极大地提高了效率。
三、通过一个实例来理解 metaclass
请手动在 ipython
中搞代码,看看每一步都输出了什么,这样可以彻底的理解类的创建和实例化步骤。
In[15]: class Mymeta(type):
...: def __init__(self, name, bases, dic):
...: super().__init__(name, bases, dic)
...: print('===>Mymeta.__init__')
...: print(self.__name__)
...: print(dic)
...: print(self.yaml_tag)
...:
...: def __new__(cls, *args, **kwargs):
...: print('===>Mymeta.__new__')
...: print(cls.__name__)
...: return type.__new__(cls, *args, **kwargs)
...:
...: def __call__(cls, *args, **kwargs):
...: print('===>Mymeta.__call__')
...: obj = cls.__new__(cls)
...: cls.__init__(cls, *args, **kwargs)
...: return obj
...:
In[16]:
In[16]:
In[16]: class Foo(metaclass=Mymeta):
...: yaml_tag = '!Foo'
...:
...: def __init__(self, name):
...: print('Foo.__init__')
...: self.name = name
...:
...: def __new__(cls, *args, **kwargs):
...: print('Foo.__new__')
...: return object.__new__(cls)
...:
===>Mymeta.__new__
Mymeta
===>Mymeta.__init__
Foo
{'__module__': '__main__', '__qualname__': 'Foo', 'yaml_tag': '!Foo', '__init__': <function Foo.__init__ at 0x0000000007EF3828>, '__new__': <function Foo.__new__ at 0x0000000007EF3558>}
!Foo
In[17]: foo = Foo('foo')
===>Mymeta.__call__
Foo.__new__
Foo.__init__
In[18]:
从上面的运行结果可以发现在定义 class Foo()
定义时,会依次调用 MyMeta
的 __new__
和 __init__
方法构建 Foo
类,然后在调用 foo = Foo()
创建类的实例对象时,才会调用 MyMeta 的 __call__
方法来调用 Foo
类的 __new__
和 __init__ 方
法。
把上面的例子运行完之后就会明白很多了,正常情况下我们在父类中是不能对子类的属性进行操作,但是元类可以。换种方式理解:元类、装饰器、类装饰器都可以归为元编程。
四、Python 底层语言设计层面是如何实现 metaclass 的?
要理解 metaclass
的底层原理,你需要深入理解 Python
类型模型。下面,将分三点来说明。
1、所有的 Python 的用户定义类,都是 type 这个类的实例。
可能会让你惊讶,事实上,类本身不过是一个名为 type 类的实例。在 Python 的类型世界里,type 这个类就是造物的上帝。这可以在代码中验证:
In [2]: # Python 3和Python 2类似
...: class MyClass:
...: pass
...:
...: instance = MyClass()
...:
in [3]: type(instance)
...:
Out[2]: __main__.MyClass
In [4]: type(MyClass)
...:
Out[4]: type
In [5]:
你可以看到,instance
是 MyClass
的实例,而 MyClass 不过是“上帝” type
的实例。
2、用户自定义类,只不过是 type 类的 __call__ 运算符重载
当我们定义一个类的语句结束时,真正发生的情况,是 Python 调用 type 的 __call__
运算符。简单来说,当你定义一个类时,写成下面这样时:
class MyClass:
data = 1
Python 真正执行的是下面这段代码:
class = type(classname, superclasses, attributedict)
这里等号右边的 type(classname, superclasses, attributedict),
就是 type 的 __call__
运算符重载,它会进一步调用:
type.__new__(typeclass, classname, superclasses, attributedict)
type.__init__(class, classname, superclasses, attributedict)
当然,这一切都可以通过代码验证,比如
In [5]: class MyClass:
...: data = 1
...:
...: instance = MyClass()
...:
In [6]: MyClass, instance
...:
Out[6]: (__main__.MyClass, <__main__.MyClass at 0x4ef5188>)
In [7]: instance.data
...:
Out[7]: 1
In [8]: MyClass = type('MyClass', (), {'data': 1})
...: instance = MyClass()
...:
In [9]: MyClass, instance
...:
Out[9]: (__main__.MyClass, <__main__.MyClass at 0x4f40748>)
In [10]: instance.data
...:
Out[10]: 1
In [11]:
由此可见,正常的 MyClass
定义,和你手工去调用 type
运算符的结果是完全一样的。
3、,“超越变形”正常的类
metaclass 是 type 的子类,通过替换 type 的 __call__
运算符重载机制,“超越变形”正常的类
其实,理解了以上几点,我们就会明白,正是 Python 的类创建机制,给了 metaclass 大展身手的机会。
一旦你把一个类型 MyClass
的 metaclass
设置成 MyMeta,MyClass 就不再由原生的 type 创建,而是会调用 MyMeta
的 __call__
运算符重载。
class = type(classname, superclasses, attributedict)
# 变为了
class = MyMeta(classname, superclasses, attributedict)
四、使用 metaclass 的风险
不过,凡事有利必有弊,尤其是
metaclass
这样“逆天”的存在。正如你所看到的那样,metaclass
会"扭曲变形"正常的 Python 类型模型。所以,如果使用不慎,对于整个代码库造成的风险是不可估量的。换句话说,
metaclass
仅仅是给小部分Python
开发者,在开发框架层面的Python
库时使用的。而在应用层,metaclass
往往不是很好的选择。
总结:
本文从 Python 类创建的过程,帮助你理解 metaclass
的作用。
metaclass
是黑魔法,使用得当就是天堂,反之就是地狱。
来源:https://mp.weixin.qq.com/s?__biz=MzU0OTg3NzU2NA==&mid=2247484465&idx=1&sn=7c564ead74b9c62a776009cb61e55f44&scene=21#wechat_redirect
猜你喜欢
- Composer的基本使用在项目中使用composer.json在项目中使用composer,你需要有一个composer.json文件,此
- 一个网站程序,在添加新闻时出现错误以下是错误提示: Microsoft OLE DB Provide
- 用命令创建Django项目1.将磁盘切换为D盘2.在D盘的路径下创建Django项目创建项目应用3.最后显示新建index文件夹启动项目1.
- JavaScript中有很多内部属性和方法,在大多数情况下,只有JavaScript引擎才可以访问,但不论什么都是有特例的,在这里就是指Mo
- 一:背景以及项目结构介绍第一次将自己做的python爬虫项目打包成exe,搜了很多网上教程,大部分都是打包一个py文件的小demo,这里先给
- 微软在今天早上发布新的安全通告证实,一处远程执行代码漏洞影响到了整个SQL Server产品线。该漏洞的入侵代码在两周前已经被公布在互联网上
- 参照资料:selenium webdriver添加cookie: https://www.jb51.net/article/193102.h
- 过去有很多网页设计师喜欢将他们的网页效果图用table布局实现成网页,但是这样做会遇到一个比较麻烦的问题就是,后期调试和维护会相当的困难。现
- 代码如下:--根据MAX(MIN)ID CREATE PROC [dbo].[proc_select_id] @pageindex int=
- TF-IDF(term frequency–inverse document frequency)是一种用于信息检索与数据挖掘的常用加权技术
- 步骤一:下载对应的CURL压缩包并在windows上配置好环境变量进入CURL官网下载对应的windows压缩包。地址:点击打开链接把下载好
- SQL Server 2008的一些新特点及独到之处:设置和安装SQL Server 2008的设置和安装也有所改进。配置数据和引擎位已经分
- 这篇文章中的内容是来源于去年我用美国的VPS搭建博客的初始阶段,那是有很多恶意访问,我就根据access log中的源IP来进行了很多统计,
- 最近在做一个程序正好需要用到此方面,在网上找到过相应的程序,但用起来都非常恶,于是乎只好自己实现一个了。 首先实现两个函数用来操作光标:
- MongoDB安装模块pip install pymongo连接数据库import pymongoclient = pymongo.Mong
- 一、概念介绍嵴线图(ridgeline plot),用来展示同一维度的几个数据的分布情况,每一层嵴线(峰峦)都是一个直方图或者密度图,层层堆
- MySQL提供标准的SQL模式匹配,以及一种基于象Unix实用程序如vi、grep和sed的扩展正则表达式模式匹配的格式。标准的SQL模式匹
- 开始制作符合标准的站点,第一件事情就是声明符合自己需要的DOCTYPE。查看本站首页原代码,可以看到第一行就是:<!DOCTYPE h
- 在微软的ASP编程体系中,ADO对象的建立,使得从网页访问数据库成为一件易事,特别是ADO的Recordset对象使得控制数据的输出显示更为
- 之前在osc看到一个文章讨论Get和Post的不同, 有人说不能用Get来上传文件。这就是用Get上传文件的例子,client用来发Get请