源码解析python的内存回收机制
作者:菜鸟小超 发布时间:2023-05-19 18:12:16
一:建立对象引用计数
1. 相关代码
void
_Py_NewReference(PyObject *op)
{
if (_Py_tracemalloc_config.tracing) {
_PyTraceMalloc_NewReference(op);
}
#ifdef Py_REF_DEBUG
_Py_RefTotal++;
#endif
Py_SET_REFCNT(op, 1);
#ifdef Py_TRACE_REFS
_Py_AddToAllObjects(op, 1);
#endif
}
2. 代码解释
_Py_NewReference
这个函数的主要目的是为新创建的Python对象建立引用计数。在CPython中,引用计数是用来管理内存的一种方法,当一个Python对象的引用计数变为零时,表示没有其他对象引用该对象,因此可以安全地将其内存回收。
下面是_Py_NewReference
函数的各个部分的简要说明:
_Py_tracemalloc_config.tracing:当内存追踪功能启用时(即_Py_tracemalloc_config.tracing为真),调用_PyTraceMalloc_NewReference(op)以记录新引用的内存分配。
#ifdef Py_REF_DEBUG:如果启用了引用计数调试(即编译时定义了Py_REF_DEBUG),则增加全局引用计数_Py_RefTotal。
Py_SET_REFCNT(op, 1):将新对象op的引用计数设置为1。
#ifdef Py_TRACE_REFS:如果启用了引用跟踪功能(即编译时定义了Py_TRACE_REFS),则调用_Py_AddToAllObjects(op, 1)将新对象op添加到所有对象列表中以进行跟踪。
这个函数通常在创建新的Python对象时调用,以便正确初始化引用计数。需要注意的是,这个函数是CPython内部使用的,不应该在普通Python代码或扩展模块中直接使用。
#ifdef Py_REF_DEBUG
是一个C预处理器指令,它会检查是否在编译时定义了Py_REF_DEBUG
宏。如果定义了这个宏,那么在#ifdef
和#endif
之间的代码块将被编译并包含在最终的程序中。否则,这部分代码将被忽略。
Py_REF_DEBUG
宏用于启用引用计数调试功能。这个功能允许CPython开发者和扩展模块开发者在开发过程中更轻松地追踪和诊断潜在的引用计数错误。这对于调试内存泄漏或提前释放对象等问题非常有用。
当启用Py_REF_DEBUG
时,_Py_RefTotal
变量被用来跟踪当前分配给Python对象的总引用计数。这个全局计数器在每次创建新引用(如在_Py_NewReference
函数中)时递增,在释放引用时递减。通过检查_Py_RefTotal
的值,开发者可以在某些情况下发现可能的内存泄漏或错误的引用计数操作。
需要注意的是,Py_REF_DEBUG
功能会带来一定的性能开销,因此在生产环境中通常不启用。在发布构建中,默认情况下不会定义Py_REF_DEBUG
宏。在开发和调试阶段,可以通过配置构建选项来启用这个功能。
二: 引用计数增加
1. 相关源码
// 引用计数增加
void
Py_IncRef(PyObject *o)
{
Py_XINCREF(o);
}
// 宏定义
#define Py_XINCREF(op) _Py_XINCREF(_PyObject_CAST(op))
// 内联函数
static inline void _Py_XINCREF(PyObject *op)
{
if (op != NULL) {
Py_INCREF(op);
}
}
// 宏定义
#define Py_INCREF(op) _Py_INCREF(_PyObject_CAST(op))
static inline void _Py_INCREF(PyObject *op)
{
#ifdef Py_REF_DEBUG
_Py_RefTotal++;
#endif
op->ob_refcnt++; // 对象的引用计数加1
}
2. 源码解释
_Py_INCREF
函数是一个静态内联函数,用于增加给定Python对象(op
)的引用计数。内联函数允许编译器在调用处内联展开函数体,以减少函数调用的开销。以下是_Py_INCREF
函数的各个部分的简要说明:
#ifdef Py_REF_DEBUG
:如果启用了引用计数调试(即编译时定义了Py_REF_DEBUG
),则增加全局引用计数_Py_RefTotal
。op->ob_refcnt++
:增加给定Python对象op
的引用计数(ob_refcnt
字段)。
Py_INCREF
是一个宏,用于调用_Py_INCREF
函数。在调用_Py_INCREF
之前,它首先使用_PyObject_CAST
宏将给定的对象(op
)转换为PyObject
指针。这是为了确保_Py_INCREF
函数接收到的参数具有正确的类型。在编写Python C扩展时,通常会使用Py_INCREF
宏来增加Python对象的引用计数。
三:引用计数减少
1. 相关源码
void
Py_DecRef(PyObject *o)
{
Py_XDECREF(o);
}
#define Py_XDECREF(op) _Py_XDECREF(_PyObject_CAST(op))
static inline void _Py_XDECREF(PyObject *op)
{
if (op != NULL) {
Py_DECREF(op);
}
}
define Py_DECREF(op) _Py_DECREF(_PyObject_CAST(op))
static inline void _Py_DECREF(
#ifdef Py_REF_DEBUG
const char *filename, int lineno,
#endif
PyObject *op)
{
#ifdef Py_REF_DEBUG
_Py_RefTotal--;
#endif
if (--op->ob_refcnt != 0) {
#ifdef Py_REF_DEBUG
if (op->ob_refcnt < 0) {
_Py_NegativeRefcount(filename, lineno, op);
}
#endif
}
else {
_Py_Dealloc(op);
}
}
// 引用计数等于0了,就调用dealloc函数进行对象删除
void
_Py_Dealloc(PyObject *op)
{
destructor dealloc = Py_TYPE(op)->tp_dealloc;
#ifdef Py_TRACE_REFS
_Py_ForgetReference(op);
#endif
(*dealloc)(op);
}
2. 源码解释
在这段代码中,我们可以看到Py_DecRef
、Py_XDECREF
、_Py_XDECREF
、Py_DECREF
和_Py_DECREF
这几个用于处理Python对象引用计数的函数和宏。
Py_DecRef
:这是一个简单的封装函数,接受一个指向PyObject
的指针o
作为参数,然后调用Py_XDECREF(o)
宏。Py_XDECREF
:这是一个宏,用于调用_Py_XDECREF
函数。在调用之前,它使用_PyObject_CAST(op)
宏将给定的对象(op
)转换为PyObject
指针。_Py_XDECREF
:这是一个静态内联函数,用于在给定对象不为NULL时调用Py_DECREF
宏。这意味着如果对象指针为空(即op == NULL
),则不会对引用计数进行任何操作。Py_DECREF
:这是一个宏,用于调用_Py_DECREF
函数。在调用之前,它使用_PyObject_CAST(op)
宏将给定的对象(op
)转换为PyObject
指针。_Py_DECREF
:这是一个静态内联函数,用于减少给定Python对象(op
)的引用计数。以下是_Py_DECREF
函数的各个部分的简要说明:
a. #ifdef Py_REF_DEBUG
:如果启用了引用计数调试(即编译时定义了Py_REF_DEBUG
),则减少全局引用计数_Py_RefTotal
。
b. 减少对象的引用计数:使用--op->ob_refcnt
来减少给定对象op
的引用计数。
c. 判断引用计数是否为0:如果引用计数不为0,表示仍有其他对象引用该对象。如果引用计数为0,则调用_Py_Dealloc(op)
来释放对象的内存。在引用计数调试模式下,还会检查引用计数是否为负数,如果是,则调用_Py_NegativeRefcount(filename, lineno, op)
报告错误。
在Python C扩展中,通常使用Py_DECREF
和Py_XDECREF
宏来减少Python对象的引用计数。这些宏提供了安全和高效的方式来处理引用计数,以防止内存泄漏和提前释放对象。
四:对象删除
1. 相关源码
void
_Py_Dealloc(PyObject *op)
{
destructor dealloc = Py_TYPE(op)->tp_dealloc;
#ifdef Py_TRACE_REFS
_Py_ForgetReference(op);
#endif
(*dealloc)(op);
}
2. 源码解释
_Py_Dealloc
函数是CPython中用于释放Python对象内存的函数。它在对象的引用计数变为零时调用,表示没有其他对象引用该对象,可以安全地回收其内存。以下是_Py_Dealloc
函数的各个部分的简要说明:
destructor dealloc = Py_TYPE(op)->tp_dealloc;
:从给定Python对象op
的类型对象中获取析构函数(tp_dealloc
),并将其赋值给dealloc
。每个类型对象都有一个与之关联的析构函数,该函数负责清理该类型的对象所占用的内存。#ifdef Py_TRACE_REFS
:如果启用了引用跟踪功能(即编译时定义了Py_TRACE_REFS
),则调用_Py_ForgetReference(op)
将对象op
从所有对象列表中删除,以便不再跟踪该对象。(*dealloc)(op);
:调用dealloc
指向的析构函数,释放对象op
所占用的内存。这里使用了函数指针,这意味着dealloc
可以指向任何类型的析构函数,从而可以灵活地处理不同类型的Python对象。
需要注意的是,_Py_Dealloc
函数是CPython内部使用的,不应该在普通Python代码或扩展模块中直接使用。在Python扩展模块中,您应该使用相应的宏和API函数来管理引用计数,例如Py_DECREF
和Py_XDECREF
。
Py_TYPE(op)
是一个宏,用于获取给定Python对象(op
)的类型。它返回一个指向PyTypeObject
结构的指针,这个结构包含了对象类型的相关信息,如类型名、方法、属性、析构函数等。
在CPython内部实现中,每个Python对象都包含一个指向其类型对象的指针。这个指针位于PyObject
结构的ob_type
字段中。Py_TYPE(op)
宏实际上就是访问这个ob_type
字段,即op->ob_type
。
在Python C扩展和嵌入式代码中,Py_TYPE(op)
宏可以用于检查对象的类型、获取类型特定的函数或执行类型相关的操作。例如,可以通过比较两个对象的类型对象来判断它们是否属于相同的类型。
来源:https://blog.csdn.net/weixin_41777118/article/details/130167993


猜你喜欢
- 具体代码如下所示:import smtplib, email, os, timefrom email.mime.multipart impo
- 前言前面我们已经安装好了Docker,也简单了解了Docker。下面就来给大家介绍下Docker创建Mysql容器的简单步骤,话不多说了,来
- FCKeditor至今已经到了2.3.1版本了,对于国内的WEB开发者来说,也基本上都已经“闻风知多少”了,很多人将其融放到自己的项目中,更
- 一、背景实际工作中会有一些耗时的异步任务需要使用定时调度,比如发送邮件,拉取数据,执行定时脚本通过celery 实现调度主要思想是 通过引入
- golang中的string是可以转换为byte数组或者rune数组但是其实byte对应的类型是uint8,而rune对应的数据类型就是in
- 该教程是面向那些不知道如何通过java连接mysql数据库的新手,所以该教程用的方法不是最优的方法,但求是最好理解的方法。需要的工具:ecl
- Pytorch中retain_graph的坑在查看SRGAN源码时有如下损失函数,其中设置了retain_graph=True,其作用就是在
- CSRF(Cross Site Request Forgery, 跨站域请求伪造)是一种网络的×××方式。我的理解是,比如你访问过招商银行的
- 这里记录的主要是一张图,设计者是Adit Gupta。图中显示编程领域的先驱,以及各种编程语言的历史。很具有吸引力。
- 类视图使用装饰器为类视图添加装饰器,可以使用两种方法。为了理解方便,我们先来定义一个为函数视图准备的装饰器(在设计装饰器时基本都以函数视图作
- Usage example (libtiff wrapper)from libtiff import TIFF# to open a tif
- 1. # 可以使用LaTeX表示数学公式# 可以使用LaTeX表示数学公式from IPython.display import Latex
- 写在前面嗯,学习GO,所以有了这篇文章博文内容为《GO语言实战》读书笔记之一主要涉及映射相关知识你要爱就要像一个痴情的恋人那样去爱,像一个忘
- 首先说一个小技巧,True可看作1,False可看作0 ,并且可以参与运算!正文开始!!! 一、map()map(func,ite
- 上篇文章分享了windows下载mysql5.7压缩包配置安装mysql后续可以选择①在本地创建一个数据库,使用navicat工具导出远程测
- 一、将数据写入opengauss前提准备:成功opengauss数据库,并创建用户jack,创建数据库datasets。数据准备:所用数据以
- 我们提到切片的时候,一般想到的大多数是分割列表。其实它还可以对列表进行拼接,想必这点是很多人不知道的,这就是切片的占位符用法。留在原列表中,
- 前言最近不是快过年了,Python写对联挺火的,但是代码又不是人人都用,那就直接写个界面打包一下呗~主要实现只要运行后输入上联下联、横批,然
- 一、前言Python提供两种方法进行字符串格式化1、利用百分号来格式化字符串,现在Python已停止更新这种方法2、字符串的format方法
- 1.准备工作: 准备相关的软件(Eclipse除外,开源软件可以从官网下载)<1>.Microsoft SQL server 2