Python中使用MELIAE分析程序内存占用实例
作者：junjie 发布时间：2021-10-26 22:34:24
写的dht协议搜索的程序，这几天优化了一下发现速度确实快了好多。但是出现了一个新的问题，内存直接飙升，我开了十个爬虫占用内存800m。开始我以为是节点太多了，找了几个小问题修改一下，发现没用。后来就到网上查找python内存分析的工具，查了一点资料发现python有个meliae库操作非常方便，就使用分析了一下，发现不是节点太多的原因0 0,是保存发送的t_id，用来标示返回的消息是那个发出的一个字典过大了。
从分析的结果非常容易的定位了某个对象的数量和大小，非常容易分析。我开始以为是因为好多发送查询信息以后，对面没返回造成这个字典里的元素没有释放造成的，我就用过期时间判断了一下，进行过期删除。发现是小了，但是不是非常显著，好像少了几十不到100M。后来又减少了查找一个随机hash的时间，以前是1分钟查一次，我改成了就第一次查！，发现没减少0 0.不知道是啥的原因。应该就是查找hash，询问节点，然后返回然后询问里边的节点，最后数量越来越多，但是我不明白的是，怎么会这么多运行一分钟就有60万条。也就是说当时内存没释放的对象就有这么多。达到这个内存占用后，基本就不再变化，有很小很慢的提升，因为还开的其他程序，不确定是不是这些程序其他对象的增加造成的。等分阶段dump测试一下。
安装直接pip install meliae 就ok了，我看好久没更新的项目了，不知道还有没有好的替代品不过用着还不错。
将内存dump到文件
from meliae import scanner
scanner.dump_all_objects('/tmp/dump％s.txt' ％ time.time())
分析文件：
from meliae import loader
#加载dump文件
om = loader.load('/opt/log/dump.txt')
#计算各Objects的引用关系
om.compute_parents()
#去掉各对象Instance的_dict_属性
om.collapse_instance_dicts()
#分析内存占用情况
om.summarize()
字段意义如下：
Index : 行索引号
Count : 该类型的对象总数
％(Count) : 该类型的对象总数 占 所有类型的对象总数 的百分比
Size : 该类型的对象总字节数
％(Size) : 该类型的对象总字节数 占 所有类型的对象总字节数 的百分比
Cum : 累积行索引后的％(Size)
Max : 该类型的对象中，最大者的字节数
Kind : 类型
分析某个对象，找出它的引用关系
#得到所有的POP3ClientProtocol对象
p = om.get_all('POP3ClientProtocol')
#查看第一个对象
p[0]
#可以查看该对象的所有引用
p[0].c
#查看谁引用了这个对象
p[0].p
0
投稿猜你喜欢
- 安装 pip install django-crontab在Django项目中使用settings.pyINSTALLED_AP
- 1. 欧几里德算法欧几里德算法又称辗转相除法， 用于计算两个整数a, b的最大公约数。其计算原理依赖于下面的定理：定理： gcd(a, b)
- 本文描述通过统计分析出医院信息系统需分区的表，对需分区的表选择分区键，即找出包括在你的分区键中的列(表的属性)，对大型数据的管理比较有意义，
- 什么是deferdefer用来声明一个延迟函数，把这个函数放入到一个栈上， 当外部的包含方法return之前，返回参数到调用方法之前调用，也
- 准备在断网的和联网的机器安装pip，下载地址https://pypi.python.org/pypi/pip在联网的开发机器上安装好需要的包
摘要: 前端框架 Bootstrap 的模态对话框，可以使用 remote 选项指定一个 URL，这样对话框在第一次弹出的时候就会自动从这个- 1.__new__(cls, *args, **kwargs) 创建对象时调用，返回当前对象的一个实例;注意：这里的第一个参数是
- 1.首先要绘制一个简单的条形图import numpy as npimport matplotlib.pyplot as pltfrom m
- 根据代码中运行的结果来看，主要由以下几种:1. sum()：将array中每个元素相加的结果2. axis对应的是维度的相加。比如：1、ax
- 比如：,master,test, 表示 该用户为 test 的下级代码，test登录后可以看到 test名下的业务和所有下级代理的业务。相关
- 前言如果你和我一样偶尔看看股票，看看自己关注的股票是涨了还是跌了，或者想快速获取到想看的头条新闻，我们不必把过多的注意力放在去寻找上面，我们
- 在装这两个的时候出现一些问题，最后总算成功了，记录一下过程环境：win10 64位系统，python3.7.8 ，pip18下载地址：这两个
- Oracle物理结构故障是指构成数据库的各个物理文件损坏而导致的各种数据库故障。这些故障可能是由于硬件故障造成的，也可能是人为误操作而引起。
- 在使用Python时，需要使用各种各样的库，通常会使用pip直接安装，这样最为简单也最方便。但最为崩溃的地方在于有时候速度出奇的慢，因为
- 本文实例为大家分享了Echarts单条折线可拖拽的具体代码，供大家参考，具体内容如下1、步骤：
- 前言：之前自己做一个uni-app的项目的时候前端需要实现一个比较复杂的动态tab和swiper切换的功能，但是由于自己前端抠脚的原因没有写
- 2008年，对于JavaScript来说是非常振奋人心的一年，很多高人加入到JavaScript和Web开发的阵营中来，浏览器厂商在技术上互
- 在熟悉了Python的基本安装与环境配置之后，我们来看看Python的基本运算操作。1. 基本运算>>>6 # 这里的‘#
- Python脚本编辑使用Python对fasta格式的序列进行基本信息统计预期设计输出文件中包括fasta文件名，序列长度，GC含量以及AT
- 恭喜您，您中奖了，你的中奖码是（请牢记，领奖需要）：ＸＸＸＸＸＸＸＸＸＸＸ然后用户输入ＸＸＸＸＸＸＸＸＸＸＸ，简单验证后就可以领奖了。你使用
