python一些性能分析的技巧
作者:Ujjwal Dalmia 发布时间:2023-07-24 17:55:36
当我们开始精通编程语言时,我们不仅希望实现最终目标,而且希望使我们的程序高效。
在这个教程中,我们将学习一些Ipython的命令,这些命令可以帮助我们对Python代码进行时间分析。
注意,在本教程中,我建议使用Anaconda。
1.分析一行代码
要检查一行python代码的执行时间,请使用 %timeit 。下面是一个简单的例子来了解它的工作原理:
#### magics命令%timeit的简单用法
%timeit [num for num in range(20)]
#### 输出
1.08 µs ± 43 ns per loop (mean ± std. dev. of 7 runs, 1000000 loops each)
主要注意事项:
在要分析的代码行之前使用%timeit
它返回代码运行的平均值和标准偏差。在上面的示例中,执行了7次,每次执行对该代码循环100万次(默认行为)。这需要平均1.08微秒和43纳秒的标准偏差。
在调用magic命令时,可以自定义运行和循环的数量。示例如下:
#### 在%timeit magic命令中自定义运行和循环数
%timeit -r5 -n100 [num for num in range(20)]
1.01 µs ± 5.75 ns per loop (mean ± std. dev. of 5 runs, 100 loops each)
使用命令选项-r和-n,分别表示执行次数和循环次数,我们将时间配置文件操作定制为执行5次和循环100次。
2.分析多行代码
本节向前迈进了一步,并解释了如何分析完整的代码块。通过对%timeit magic命令进行一个小的修改,将单百分比(%)替换为双百分比(%%),就可以分析一个完整的代码块。以下为示例演示,供参考:
#### 使用timeblock%%代码分析
%%timeit -r5 -n1000
for i in range(10):
n = i**2
m = i**3
o = abs(i)
#### 输出
10.5 µs ± 226 ns per loop (mean ± std. dev. of 5 runs, 1000 loops each)
可以观察到for循环的平均执行时间为10.5微秒。请注意,命令选项-r和-n分别用于控制执行次数和循环次数。
3.代码块中的每一行代码进行时间分析
到目前为止,我们只在分析一行代码或代码块时查看摘要统计信息。如果我们想评估代码块中每一行代码的性能呢?使用 Line_profiler 。
Line_profiler包可用于对任何函数执行逐行分析。要使用line_profiler软件包,请执行以下步骤:
安装— Line_profiler 包可以通过简单的调用pip或conda Install来安装。如果使用的是针对Python的anaconda发行版,建议使用conda安装
#### 安装line_profiler软件包
conda install line_profiler
加载扩展—一旦安装,你可以使用IPython来加载line_profiler:
#### 加载line_profiler的Ipython扩展
%load_ext line_profiler
时间分析函数—加载后,使用以下语法对任何预定义函数进行时间分析
%lprun -f function_name_only function_call_with_arguments
语法细节:
对line_profiler的调用以关键字%lprun开始,后跟命令选项-f
命令选项之后是函数名,然后是函数调用
在本练习中,我们将定义一个接受高度(以米为单位)和重量(以磅为单位)列表的函数,并将其分别转换为厘米和千克。
#### 定义函数
def conversion(ht_mtrs, wt_lbs ):
ht_cms = [ht*100 for ht in ht_mtrs]
wt_kgs = [wt*.4535 for wt in wt_lbs]
#### 定义高度和重量列表:
ht = [5,5,4,7,6]
wt = [108, 120, 110, 98]
#### 使用line_profiler分析函数
%lprun -f conversion conversion(ht,wt)
---------------------------------------------------------------
#### 输出
Total time: 1.46e-05 s
File: <ipython-input-13-41e195af43a9>
Function: conversion at line 2
Line # Hits Time Per Hit % Time Line Contents
==============================================================
2 1 105.0 105.0 71.9 ht_cms = [ht*100 for ht in ht_mtrs]
3 1 41.0 41.0 28.1 wt_kgs = [wt*.4535 for wt in wt_lbs]
输出详细信息:
以14.6微秒为单位(参考第一行输出)
生成的表有6列:
第1列(行#)—代码的行号(请注意,第#1行是故意从输出中省略的,因为它只是函数定义语句)
第2列(命中)—调用该行的次数
第3列(时间)—在代码行上花费的时间单位数(每个时间单位为14.6微秒)
第4列(每次命中平均时间)—第3列除以第2列
第5列(%Time)—在所花费的总时间中,花在特定代码行上的时间百分比是多少
第6列(内容)—代码行的内容
你可以清楚地注意到,高度从米到厘米的转换几乎占了总时间的72%。
结束语
利用每一行代码的执行时间,我们可以部署策略来提高代码的效率。在接下来的3个教程中,我们将分享一些最佳实践来帮助你提高代码的效率。
我希望这篇教程能提供帮助,你能学到一些新东西。
来源:https://segmentfault.com/a/1190000023818385?utm_source=tuicool&utm_medium=referral


猜你喜欢
- 运行下面存储过程 然后直接使用 SpaceUsed 就可以查看了. 存储过程代码 程序代码 Create&n
- import sysimport urllibfrom urllib import requestimport osfrom bs4 imp
- 远程连接oracle只用PLSQLDeveloper客户端,不配置tnsnames.ora文件在PL/SQL中填写:1.UserName:用
- 目录一、6个非常重要的str处理词二、重要的str处理 几乎所有的 数据类型里也都能用1、提取字符串中 特定位置的字符2、len 得到当前变
- 去掉数据重复 增加两个字段 alter TABLE T_Employee Add FSubCompany VARchar(20); ALTE
- 电影之类的长视频好像都用m3u8格式了,这就导致了多线程下载视频的意义不是很大,都是短视频,线不线程就没什么意义了嘛。我们知道,m3u8的链
- (function($) { (function($) { $.preload = function(data, cfg) { return
- 目录简述:1. 事务的四大特性2.多事务并发带来的问题3.事务的隔离级别4.演示不同隔离级别出现的问题读未提交读已提交可重复读串行化5.锁机
- 本文实例讲述了python飞机大战pygame碰撞检测实现方法。分享给大家供大家参考,具体如下:目标了解碰撞检测方法碰撞实现01. 了解碰撞
- <!-- #include file="../conn.asp" --&
- 前言最近很多新入职的同事问这个问题,特别是通过 homebrew 自动安装的 mysql ,其版本默认已经是 8.0 了,由于增加了一些安全
- 前言本文主要给大家介绍了关于Golang map生成有序json数据的相关内容,分享出来供大家参考学习,下面来一起看看详细的介绍:先来看一段
- 一、在搭建的时候参考以下文章http://www.cnblogs.com/zsy/archive/2016/02/28/5223957.ht
- 本篇,我们学习PyQt5界面中拖放(Drag 和Drop)控件。拖放动作在GUI中,拖放指的是点击一个对象,并将其拖动到另一个对象上的动作。
- Asyncio 任务可以通过调用它们的 cancel() 方法来取消。我们可以通过将任务包装在对 asyncio.shield() 的调用中
- 如何用Python搞到小姐姐私房照本文纯技术角度出发,教你如何用Python爬虫获取百度图库海量照片——技术无罪。学会获取小姐姐私房照同理可
- 以下介绍用数据库实现简单计数器,功能实现统计网站每日访问,每周访问及总访问量的统计,使用js调用下面存为count.asp<%&nbs
- 之前博客有用logstash-input-jdbc同步mysql数据到ElasticSearch,但是由于同步时间最少是一分钟一次,无法满足
- InnoDB和MyISAM是在使用MySQL最常用的两个表类型,各有优缺点,视具体应用而定。下面是已知的两者之间的差别,仅供参考。1.Inn
- 安装方法:Windows:在终端输入命令:pip install scrapy;mac:在终端输入命令:pip3 install scrap