Python入门基础之import机制
作者:pwwang 发布时间:2023-12-25 11:39:12
目录
一、前言
1.1 什么是 import 机制?
1.2 import 是如何执行的?
二、import 机制概览
三、import 勾子(import hooks)
四、元路径查找器(meta path finder)
五、ModuleSpec 对象
六、加载器(loader)
七、总结
一、前言
本文基于开源项目:
github.com/pwwang/pyth…
补充扩展讲解,希望能够让读者一文搞懂 Python 的 import 机制。
1.1 什么是 import 机制?
通常来讲,在一段 Python 代码中去执行引用另一个模块中的代码,就需要使用 Python 的 import 机制。import 语句是触发 import 机制最常用的手段,但并不是唯一手段。
importlib.import_module 和 __import__ 函数也可以用来引入其他模块的代码。
1.2 import 是如何执行的?
import 语句会执行两步操作:
搜索需要引入的模块
将模块的名字做为变量绑定到局部变量中
搜索步骤实际上是通过 __import__ 函数完成的,而其返回值则会作为变量被绑定到局部变量中。下面我们会详细聊到 __import__ 函数是如果运作的。
二、import 机制概览
下图是 import 机制的概览图。不难看出,当 import 机制被触发时,Python 首先会去 sys.modules 中查找该模块是否已经被引入过,如果该模块已经被引入了,就直接调用它,否则再进行下一步。这里 sys.modules 可以看做是一个缓存容器。值得注意的是,如果 sys.modules 中对应的值是 None 那么就会抛出一个 ModuleNotFoundError 异常。下面是一个简单的实验:
In [1]: import sys
In [2]: sys.modules['os'] = None
In [3]: import os
---------------------------------------------------------------------------
ModuleNotFoundError Traceback (most recent call last)
<ipython-input-3-543d7f3a58ae> in <module>
----> 1 import os
ModuleNotFoundError: import of os halted; None in sys.modules
如果在 sys.modules 找到了对应的 module,并且这个 import 是由 import 语句触发的,那么下一步将对把对应的变量绑定到局部变量中。
如果没有发现任何缓存,那么系统将进行一个全新的 import 过程。在这个过程中 Python 将遍历 sys.meta_path 来寻找是否有符合条件的元路径查找器(meta path finder)。sys.meta_path 是一个存放元路径查找器的列表。它有三个默认的查找器:
内置模块查找器
冻结模块(frozen module)查找器
基于路径的模块查找器。
In [1]: import sys
In [2]: sys.meta_path
Out[2]:
[_frozen_importlib.BuiltinImporter,
_frozen_importlib.FrozenImporter,
_frozen_importlib_external.PathFinder]
查找器的 find_spec 方法决定了该查找器是否能处理要引入的模块并返回一个 ModeuleSpec 对象,这个对象包含了用来加载这个模块的相关信息。如果没有合适的 ModuleSpec 对象返回,那么系统将查看 sys.meta_path 的下一个元路径查找器。如果遍历 sys.meta_path 都没有找到合适的元路径查找器,将抛出 ModuleNotFoundError。引入一个不存在的模块就会发生这种情况,因为 sys.meta_path 中所有的查找器都无法处理这种情况:
In [1]: import nosuchmodule
---------------------------------------------------------------------------
ModuleNotFoundError Traceback (most recent call last)
<ipython-input-1-40c387f4d718> in <module>
----> 1 import nosuchmodule
ModuleNotFoundError: No module named 'nosuchmodule'
但是,如果这个手动添加一个可以处理这个模块的查找器,那么它也是可以被引入的:
In [1]: import sys
...:
...: from importlib.abc import MetaPathFinder
...: from importlib.machinery import ModuleSpec
...:
...: class NoSuchModuleFinder(MetaPathFinder):
...: def find_spec(self, fullname, path, target=None):
...: return ModuleSpec('nosuchmodule', None)
...:
...: # don't do this in your script
...: sys.meta_path = [NoSuchModuleFinder()]
...:
...: import nosuchmodule
---------------------------------------------------------------------------
ImportError Traceback (most recent call last)
<ipython-input-6-b7cbf7e60adc> in <module>
11 sys.meta_path = [NoSuchModuleFinder()]
12
---> 13 import nosuchmodule
ImportError: missing loader
可以看到,当我们告诉系统如何去 find_spec 的时候,是不会抛出 ModuleNotFound 异常的。但是要成功加载一个模块,还需要加载器 loader。
加载器是 ModuleSpec 对象的一个属性,它决定了如何加载和执行一个模块。如果说 ModuleSpec 对象是“师父领进门”的话,那么加载器就是“修行在个人”了。在加载器中,你完全可以决定如何来加载以及执行一个模块。这里的决定,不仅仅是加载和执行模块本身,你甚至可以修改一个模块:
In [1]: import sys
...: from types import ModuleType
...: from importlib.machinery import ModuleSpec
...: from importlib.abc import MetaPathFinder, Loader
...:
...: class Module(ModuleType):
...: def __init__(self, name):
...: self.x = 1
...: self.name = name
...:
...: class ExampleLoader(Loader):
...: def create_module(self, spec):
...: return Module(spec.name)
...:
...: def exec_module(self, module):
...: module.y = 2
...:
...: class ExampleFinder(MetaPathFinder):
...: def find_spec(self, fullname, path, target=None):
...: return ModuleSpec('module', ExampleLoader())
...:
...: sys.meta_path = [ExampleFinder()]
In [2]: import module
In [3]: module
Out[3]: <module 'module' (<__main__.ExampleLoader object at 0x7f7f0d07f890>)>
In [4]: module.x
Out[4]: 1
In [5]: module.y
Out[5]: 2
从上面的例子可以看到,一个加载器通常有两个重要的方法 create_module 和 exec_module 需要实现。如果实现了 exec_module 方法,那么 create_module 则是必须的。如果这个 import 机制是由 import 语句发起的,那么 create_module 方法返回的模块对象对应的变量将会被绑定到当前的局部变量中。如果一个模块因此成功被加载了,那么它将被缓存到 sys.modules。如果这个模块再次被加载,那么 sys.modules 的缓存将会被直接引用。
三、import 勾子(import hooks)
为了简化,我们在上述的流程图中,并没有提到 import 机制的勾子。实际上你可以添加一个勾子来改变 sys.meta_path 或者 sys.path,从而来改变 import 机制的行为。上面的例子中,我们直接修改了 sys.meta_path。实际上,你也可以通过勾子来实现:
In [1]: import sys
...: from types import ModuleType
...: from importlib.machinery import ModuleSpec
...: from importlib.abc import MetaPathFinder, Loader
...:
...: class Module(ModuleType):
...: def __init__(self, name):
...: self.x = 1
...: self.name = name
...:
...: class ExampleLoader(Loader):
...: def create_module(self, spec):
...: return Module(spec.name)
...:
...: def exec_module(self, module):
...: module.y = 2
...:
...: class ExampleFinder(MetaPathFinder):
...: def find_spec(self, fullname, path, target=None):
...: return ModuleSpec('module', ExampleLoader())
...:
...: def example_hook(path):
...: # some conditions here
...: return ExampleFinder()
...:
...: sys.path_hooks = [example_hook]
...: # force to use the hook
...: sys.path_importer_cache.clear()
...:
...: import module
...: module
Out[1]: <module 'module' (<__main__.ExampleLoader object at 0x7fdb08f74b90>)>
四、元路径查找器(meta path finder)
元路径查找器的工作就是看是否能找到模块。这些查找器存放在 sys.meta_path 中以供 Python 遍历(当然它们也可以通过 import 勾子返回,参见上面的例子)。每个查找器必须实现 find_spec 方法。如果一个查找器知道怎么处理将引入的模块,find_spec 将返回一个 ModuleSpec 对象(参见下节)否则返回 None。
和之前提到的一样 sys.meta_path 包含三种查找器:
内置模块查找器
冻结模块查找器
基于路径的查找器
这里我们想重点聊一聊基于路径的查找器(path based finder)。它用于搜索一系列 import 路径,每个路径都用来查找是否有对应的模块可以加载。默认的路径查找器实现了所有在文件系统的特殊文件中查找模块的功能,这些特殊文件包括 Python 源文件(.py 文件),Python 编译后代码文件(.pyc 文件),共享库文件(.so 文件)。如果 Python 标准库中包含 zipimport,那么相关的文件也可用来查找可引入的模块。
路径查找器不仅限于文件系统中的文件,它还可以上 URL 数据库的查询,或者其他任何可以用字符串表示的地址。
你可以用上节提供的勾子来实现对同类型地址的模块查找。例如,如果你想通过 URL 来 import 模块,那么你可以写一个 import 勾子来解析这个 URL 并且返回一个路径查找器。
注意,路径查找器不同于元路径查找器。后者在 sys.meta_path 中用于被 Python 遍历,而前者特指基于路径的查找器。
五、ModuleSpec 对象
每个元路径查找器必须实现 find_spec 方法,如果该查找器知道如果处理要引入的模块,那么这个方法将返回一个 ModuleSpec 对象。这个对象有两个属性值得一提,一个是模块的名字,而另一个则是查找器。如果一个 ModuleSpec 对象的查找器是 None,那么类似 ImportError: missing loader 的异常将会被抛出。查找器将用来创建和执行一个模块(见下节)。
你可以通过 <module>.__spec__ 来查找模块的 ModuleSpec 对象:
In [1]: import sys
In [2]: sys.__spec__
Out[2]: ModuleSpec(name='sys', loader=<class '_frozen_importlib.BuiltinImporter'>)
六、加载器(loader)
加载器通过 create_module 来创建模块以及 exec_module 来执行模块。通常如果一个模块是一个 Python 模块(非内置模块或者动态扩展),那么该模块的代码需要在模块的 __dict__ 空间上执行。如果模块的代码无法执行,那么就会抛出 ImportError 异常,或者其他在执行过程中的异常也会被抛出。
绝大多数情况下,查找器和加载器是同一个东西。这种情况下,查找器的 find_spec 方法返回的 ModuleSpec 对象的 loader 属性将指向它自己。
我们可以用 create_module 来动态创建一个模块,如果它返回 None Python 会自动创建一个模块。
七、总结
Python 的 import 机制灵活而强大。以上的介绍大部分是基于官方文档,以及较新的 Python 3.6+ 版本。由于篇幅,还有很多细节并没有包含其中,例如子模块的加载、模块代码的缓存机制等等。文章中也难免出现纰漏如果有任何问题,欢迎到 github.com/pwwang/pyth… 开 issue 提问及讨论。
来源:https://juejin.cn/post/6926322572233539597


猜你喜欢
- 本文实例为大家分享了python实现人机对战井字棋的具体代码,供大家参考,具体内容如下游戏简介:在九宫格内进行,如果一方抢先于另一方向(横、
- 相信有很多人有用程序向Excel导数据的需求, 且做过. 一般导出一些文本数据是很方便的, 可选方法很多, 比如拼接文本字符串存.cvs格式
- 本文实例讲述了C#实现Excel表数据导入Sql Server数据库中的方法。分享给大家供大家参考,具体如下:Excel表数据导入Sql S
- 本文将介绍 5 种基于 Plotly 的可视化方法,你会发现,原来可视化不仅可用直方图和箱形图,还能做得如此动态好看甚至可交互。那么,Plo
- 现在写一篇博客总是喜欢先谈需求或者本内容的应用场景,是的,如果写出来的东西没有任何应用价值,确实也没有实际意义。今天的最早的需求是来自于如何
- 这几天有一台MySQL数据库服务器出现了频繁的掉线情况,通过排查,并没有排查出哪个网站被攻击,百思不得其解中的时候,群里有个朋友说是因为微软
- 如下所示: out = subprocess.getstatusoutput('adb shell pm
- 下面看下pandas中字符串类处理函数吧,内容如下所示:1.英文字母大小写转换及填充s = pd.Series(['lower
- 1、 设置WriteHeader的顺序问题之前遇到个问题,在一段代码中这样设置WriteHeader,最后在header中取Name时怎么也
- 咱们用的os模块,读取文件的时候,其实他是含有__enter__ __exit__ 。 一个是with触发的时候,一个是退出的时
- 继承是面向对象编程的一个重要的方式,通过继承,子类就可以扩展父类的功能。在python中一个类能继承自不止一个父类,这叫做python的多重
- 问题现象从阿里云上镜像过来的一台数据库服务器,SQL Agent服务启动不了,提示服务启动后停止。(原数据库服务器是正常的,怀疑跟镜像有关)
- 刚开始学习Python的类写法的时候觉得很是麻烦,为什么定义时需要而调用时又不需要,为什么不能内部简化从而减少我们敲击键盘的次数?你看完这篇
- 一直以来都是链接SQL Server数据库服务但是在部署时将很麻烦,所以突发奇想,直接连接到MDF文件,刚开始还很混乱不会连接,后来向导,连
- 简介可以考虑以下几个可能的应用:如果你需要对文件进行校验或验证,你可以使用MD5码来检查文件是否被篡改或损坏。如果你需要对文件进行分类或去重
- 在升级批处理sql脚本的时候,由于各种编写的不规范、不可重复执行,我们通常希望在sql脚本出错后不中止,而是执行完成。虽然这些问题可通过编写
- 1、问题在使用Python中pandas读取csv文件时,由于文件编码格式出现以下问题:Traceback (most recent cal
- 目录一. pymysql介绍二. 连接数据库的完整流程1. 引入pymysql模块2. 创建连接对象3. 使用连接对象创建游标对象4. 准备
- 查询数据指从数据库中获取所需要的数据。查询数据是数据库操作中最常用,也是最重要的操作。用户可以根据自己对数据的需求,使用不同的查询方式。通过
- 这篇文章主要介绍了如何基于python生成list的所有的子集,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,