Python实现监控内存使用情况和代码执行时间
作者:deephub 发布时间:2023-05-02 15:42:02
我的代码的哪些部分运行时间最长、内存最多?我怎样才能找到需要改进的地方?”
在开发过程中,我很确定我们大多数人都会想知道这一点,而且通常情况下存在开发空间。在本文中总结了一些方法来监控 Python 代码的时间和内存使用情况。
本文将介绍4种方法,前3种方法提供时间信息,第4个方法可以获得内存使用情况。
time 模块
%%time 魔法命令
line_profiler
memory_profiler
time 模块
这是计算代码运行所需时间的最简单、最直接(但需要手动开发)的方法。他的逻辑也很简单:记录代码运行之前和之后的时间,计算时间之间的差异。这可以实现如下:
importtime
start_time=time.time()
result=5+2
end_time=time.time()
print('Time taken = {} sec'.format(end_time-start_time))
下面的例子显示了for循环和列表推导式在时间上的差异:
importtime
# for loop vs. list comp
list_comp_start_time=time.time()
result= [iforiinrange(0,1000000)]
list_comp_end_time=time.time()
print('Time taken for list comp = {} sec'.format(list_comp_end_time-list_comp_start_time))
result=[]
for_loop_start_time=time.time()
foriinrange(0,1000000):
result.append(i)
for_loop_end_time=time.time()
print('Time taken for for-loop = {} sec'.format(for_loop_end_time-for_loop_start_time))
list_comp_time=list_comp_end_time-list_comp_start_time
for_loop_time=for_loop_end_time-for_loop_start_time
print('Difference = {} %'.format((for_loop_time-list_comp_time)/list_comp_time*100))
我们都知道for会慢一些
Time taken for list comp = 0.05843973159790039 sec
Time taken for for-loop = 0.06774497032165527 sec
Difference = 15.922795107582594 %
%%time 魔法命令
魔法命令是IPython内核中内置的方便命令,可以方便地执行特定的任务。一般情况下都实在jupyter notebook种使用。
在单元格的开头添加%%time ,单元格执行完成后,会输出单元格执行所花费的时间。
%%time
defconvert_cms(cm, unit='m'):
'''
Function to convert cm to m or feet
'''
ifunit=='m':
returncm/100
returncm/30.48
convert_cms(1000)
结果如下:
CPU times: user 24 µs, sys: 1 µs, total: 25 µs
Wall time: 28.1 µs
Out[8]: 10.0
这里的CPU times是CPU处理代码所花费的实际时间,Wall time是事件经过的真实时间,在方法入口和方法出口之间的时间。
line_profiler
前两个方法只提供执行该方法所需的总时间。通过时间分析器我们可以获得函数中每一个代码的运行时间。
这里我们需要使用line_profiler包。使用pip install line_profiler。
importline_profiler
defconvert_cms(cm, unit='m'):
'''
Function to convert cm to m or feet
'''
ifunit=='m':
returncm/100
returncm/30.48
# Load the profiler
%load_extline_profiler
# Use the profiler's magic to call the method
%lprun-fconvert_cmsconvert_cms(1000, 'f')
输出结果如下:
Timer unit: 1e-06 s
Total time: 4e-06 s
File: /var/folders/y_/ff7_m0c146ddrr_mctd4vpkh0000gn/T/ipykernel_22452/382784489.py
Function: convert_cms at line 1
Line # Hits Time Per Hit % Time Line Contents
==============================================================
1 def convert_cms(cm, unit='m'):
2 '''
3 Function to convert cm to m or feet
4 '''
5 1 2.0 2.0 50.0 if unit == 'm':
6 return cm/100
7 1 2.0 2.0 50.0 return cm/30.48
可以看到line_profiler提供了每行代码所花费时间的详细信息。
Line Contents :运行的代码
Hits:行被执行的次数
Time:所花费的总时间(即命中次数x每次命中次数)
Per Hit:一次执行花费的时间,也就是说 Time = Hits X Per Hit
% Time:占总时间的比例
可以看到,每一行代码都详细的分析了时间,这对于我们分析时间相当的有帮助。
memory_profiler
与line_profiler类似,memory_profiler提供代码的逐行内存使用情况。
要安装它需要使用pip install memory_profiler。我们这里监视convert_cms_f函数的内存使用情况
from conversions import convert_cms_f
import memory_profiler
%load_ext memory_profiler
%mprun -f convert_cms_f convert_cms_f(1000, 'f')
convert_cms_f函数在单独的文件中定义,然后导入。结果如下:
Line # Mem usage Increment Occurrences Line Contents
=============================================================
1 63.7 MiB 63.7 MiB 1 def convert_cms_f(cm, unit='m'):
2 '''
3 Function to convert cm to m or feet
4 '''
5 63.7 MiB 0.0 MiB 1 if unit == 'm':
6 return cm/100
7 63.7 MiB 0.0 MiB 1 return cm/30.48
memory_profiler 提供对每行代码内存使用情况的详细了解。
这里的1 MiB (MebiByte) 几乎等于 1MB。1 MiB = 1.048576 1MB
但是memory_profiler 也有一些缺点:它通过查询操作系统内存,所以结果可能与 python 解释器略有不同,如果在会话中多次运行 %mprun,可能会注意到增量列报告所有代码行为 0.0 MiB。这是因为魔法命令的限制导致的。
虽然memory_profiler有一些问题,但是它就使我们能够清楚地了解内存使用情况,对于开发来说是一个非常好用的工具
来源:https://segmentfault.com/a/1190000043356545
猜你喜欢
- 什么是 AOPAOP,就是面向切面编程,简单的说,就是动态地将代码切入到类的指定方法、指定位置上的编程思想就是面向切面的编程。我们管切入到指
- 字体的处理在网页设计中无论怎么强调也不为过,毕竟网页使用来传递信息的,而最经典最直接的信息传递方式就是文字,所以,了解一点字体的基本知识对于
- 我们在使用很多新闻系统的时候,都会发现一个问题,尤其是使用 HtmlEdit 从WORD文档中直接拷贝文章(尤其里面有复杂表格和文字)的时候
- 这个话题是应腾讯ISD同仁之邀在WebReBuild三周年交流会上做的主题分享。由于临场等原因有些问题当时没有讲明白,回来后按原有思路形成了
- 自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。自然语言工具箱(NLTK,NaturalLanguageToolkit)是一个基
- <?php/** * HOST: www.icbase.com *///set_time_limit(0);//
- 我们之前要想在调度里面实现延时执行,我们可以使用管道阻塞,直到有人往管道里面写东西才变通畅,还可以使用sleep来睡觉,但是睡觉的过程,协程
- #!/usr/bin/env python# -*- coding:utf-8-*-# file: {NAME}.py# @author:
- 这是个郁闷的问题。主级获得ID列表 select ID from FS_SD_Address where PID=0
- 来介绍一下 Python 是采用何种途径解决循环引用问题的。上图中,表示的是对象之间的引用关系,从自对象指向他对象的引用用黑色箭头表示。每个
- 两列布局的定宽自适应已经详解了,三列浮动中有两列定宽一列自适应的也详解了,那么该说说三列浮动中两列自适应一列定宽的布局了。中间定宽,左右两侧
- 在Dreamweaver 4.0中,我们就已接触了模板与库的概念,知道它们是批量生成风格类似的网页的好工具。如今在Dreamweaver M
- 我们可以用DataFrame的apply函数实现对多列,多行的操作。需要记住的是,参数axis设为1是对列进行操作,参数axis设为0是对行
- 相信现在很多人都喜欢玩王者荣耀这款手游,里面好看的皮肤令人爱不释手。那么你有没有想过把王者荣耀高清皮肤设置为壁纸,像下面这样今天就来教大家如
- 最最简单的操作import numpy as npimport matplotlib.pyplot as pltfig = plt.figu
- VBScript似乎已经成为ASP服务器端开发的首先语言,VBScript函数库丰富、而且使用起来也很容易上手,即使平时不太编程的朋友,只要
- LoadRunner监控MySQLhttp://www.docin.com/p-92272846.htmlAdvanced MySQL Pe
- JavaScript中没有Trim函数,VBScript语言中才有这个函数,就是去掉字符串头和尾的空格。您可以访问这篇文章:《增加 java
- 已解决selenium模块利用performance获取network日志请求,抛出异常selenium.common.exceptions
- 举例如下,一个服务器端的form 代码自动被解释成客户端代码:服务器端代码: &l