浅谈Pandas dataframe数据处理方法的速度比较
作者:fatjimmy 发布时间:2023-04-17 06:38:39
数据修改主要以增删改差为主,这里比较几种写法在数据处理时间上的巨大差别。
数据量大概是500万行级别的数据,文件大小为100M。
1.iloc
iloc是一种速度极其慢的写法。这里我们对每个csv文件中的每一行循环再用iloc处理,示例代码如下:
for index in range(len(df)):
df.iloc['attr'][index] = xxx
使用这种方法对五百万行的数据进行处理大概需要5个小时,实在是很慢。
2.at
at相比于iloc有了很大的性能提升,也是for循环处理,示例代码如下:
for i in range(len(df)):
if df.at[i,'attr'] > 0:
sum_positive += df.at[i,'attr']
else:
sum_negetive += df.at[i,'sttr']
在我的程序里at和iloc是可以通用的,用at,程序的速度会有大幅提高,大概10分钟,但是还不够。
3.apply(lambda x:...)
想说apply是因为我觉得for循环速度太慢,想在循环上对程序进行优化。然后网上有人说apply可以大幅度提升速度,然而经过测试发现在我的程序里,使用apply和for差不多吧,性能也一般。
4.直接用series处理
这才是真正优化for循环的方法,以上面at的程序为例,可以改写为:
sum_positive += df['attr'][df.attr > 0].sum()
sum_negative += df['attr'][df.attr < 0].sum()
将程序都改为series处理,快了很多,最后500万行的数据大概需要37秒能跑完,基本符合预期。
这里提两句关于dataframe属性筛选,也就是上面df.attr > 0这一部分。首先pandas这个属性筛选实在是很强大,很方便。
其次是我们属性筛选的时候不要去修改属性,而是修改后面的数字,比如,我们不要这样写:
float(df.attr )> 0,而是这样写:
df.attr > str(0),因为df.attr作为属性是不能随便动的。
补充:pandas中DataFrame单个数据提取效率与修改效率
目标
使用pandas处理金融数据及建模中经常需要按时间序列顺序循DataFrame数据,读取具体位置的数据判断或修改。经验上这种操作要比直接对二维列表或者np.array格式数据慢的多,原因可能在于index及columns层次的查找(两个字典,都不是连续数组,每次查找定位都需要时间)和DataFrame中数据的内存布局,有机会以后再深入研究。
这里做一组数值实验对比几种方法的效率。
生成数据
先生成一个二维数组随机数作为DataFrame数据,不失一般性,并把列名、行名设为标记顺序的字符串。
import numpy as np
import pandas as pd
from copy import deepcopy
from time import time
np.random.seed(20000)
I = 900
df = pd.DataFrame(np.random.standard_normal((I, I)),
columns=['c'+str(_) for _ in range(I)],
index=['i'+str(_) for _ in range(I)])
然后从限定范围内随机生成取值位置,为了方便对比,把随机坐标与字符串名对应起来
columns_num = np.floor(np.random.uniform(0, 1, I) * I).astype(int)
index_num = np.floor(np.random.uniform(0, 1, I) * I).astype(int)
columns_str = ['c'+str(_) for _ in columns_num]
index_str = ['i'+str(_) for _ in index_num]
读取测试
首先传统方法,直接取columns及index中名称定位
t0 = time()
for m in columns_str:
for n in index_str:
c = df[m][n]
print(time()-t0)
6.789840459823608
先columns列名后在values中取行坐标,速度快了一些
t0 = time()
for m in columns_str:
for n in index_num:
c = df[m].values[n]
print(time()-t0)
1.9697318077087402
loc方法,速度和直接取columns及index中名称定位差不多
t0 = time()
for m in columns_str:
for n in index_str:
c = df.loc[n, m]
print(time()-t0)
5.661889314651489
at方法,比loc快一点,毕竟loc可以切片的
t0 = time()
for m in columns_str:
for n in index_str:
c = df.at[m, n]
print(time()-t0)
3.3770089149475098
假设知道具体横纵坐标后,我们再比较:
还是从取values开始,也很慢,看来每次从df中取values很耗时
t0 = time()
for m in columns_num:
for n in index_num:
c = df.values[n][m]
print(time()-t0)
6.041872024536133
iloc试一下,没什么区别
t0 = time()
for m in columns_num:
for n in index_num:
c = df.iloc[n, m]
print(time()-t0)
6.103677034378052
iat做对比,提升不大,有点失望
t0 = time()
for m in columns_num:
for n in index_num:
c = df.iat[n, m]
print(time()-t0)
4.375299692153931
最后最高效的方法,还是先取二维数组来再定位
t0 = time()
b = df.values
for m in columns_num:
for n in index_num:
c = b[n][m]
print(time()-t0)
0.6402544975280762
修改测试
重复刚才的过程,把对应值改为0作为简单测试方式,别忘了原始数据要备份
取columns及index中名称定位
df_backup = deepcopy(df)
t0 = time()
for m in columns_str:
for n in index_str:
df_backup[m][n] = 0.0
print(time()-t0)
41.99269938468933
先columns列名后在values中取行坐标
df_backup = deepcopy(df)
t0 = time()
for m in columns_str:
for n in index_num:
df_backup[m].values[n] = 0.0
print(time()-t0)
2.215076208114624
loc方法
df_backup = deepcopy(df)
t0 = time()
for m in columns_str:
for n in index_str:
df_backup.loc[n, m] = 0.0
print(time()-t0)
134.39290761947632
at方法,在修改数值上竟然比loc快这么多
df_backup = deepcopy(df)
t0 = time()
for m in columns_str:
for n in index_str:
df_backup.at[n, m] = 0.0
print(time()-t0)
4.7453413009643555
在values上改,也是不错的,和读取相近,看来还都是在每次提取values上耗时
df_backup = deepcopy(df)
t0 = time()
for m in columns_num:
for n in index_num:
df.values[n][m] = 0.0
print(time()-t0)
6.346027612686157
iloc方法
df_backup = deepcopy(df)
t0 = time()
for m in columns_num:
for n in index_num:
df.iloc[n, m] = 0.0
print(time()-t0)
122.33384037017822
iat方法
df_backup = deepcopy(df)
t0 = time()
for m in columns_num:
for n in index_num:
df.iat[n, m] = 0.0
print(time()-t0)
5.381632328033447
取二维数组来再定位
df_backup = deepcopy(df)
t0 = time()
b = df.values
for m in columns_num:
for n in index_num:
c = b[n][m]
print(time()-t0)
0.4298992156982422
来源:https://blog.csdn.net/weixin_37426504/article/details/81669829
猜你喜欢
- -- 任意的测试表 代码如下:CREATE TABLE test_delete( name varchar(10), value INT )
- 概述在我们使用内置打印函数print时,打印出的Python数据结构对象总是一行的输出的方式,这样对数据结构较复杂或数据较多的对象的显示并不
- Mac系统上虽然自带PHP和Apache,但是有时不是我们想要的版本呢。今天我们就在macOS Sierra(10.12.1)上安装比较新的
- 应用OpenCV和Python进行SIFT算法的实现如下图为进行测试的gakki101和gakki102,分别验证基于BFmatcher、F
- 1 非贪婪flag>>> re.findall(r"a(\d+?)", "a23b"
- 一、前言很多网站提供视频转GIF的功能,但要么收费要么有广告实际上我们通过python,几行代码就能够实现视频转gif二、教程1. 安装必备
- Python中的垃圾回收算法是采用引用计数, 当一个对象的引用计数为0时, Python的垃圾回收机制就会将对象回收a = "la
- 音乐流媒体服务的兴起使得音乐无处不在。我们在上下班的时候听音乐,锻炼身体,工作或者只是放松一下。这些服务的一个关键特性是播放列表,通常按流派
- Linux RedHat下安装Python2.7、pip、ipython环境、eclipse和PyDev环境准备工作,源Python2.6备
- 基于Ubuntu16.04 + Python3 + nginx + mysql + Django接下来先安装这些必要的环境,这些操作都是在你
- python实现PSO算法优化二元函数,具体代码如下所示:import numpy as np import random import m
- rs.open sql,conn,A,B A: ADOPenforwardonly (=0) 只读,且当前数据记录只能向下移动。 ADOPe
- 本文实例讲述了基于Python开发chrome插件的方法。分享给大家供大家参考,具体如下:谷歌Chrome插件是使用HTML、JavaScr
- ndarray的转置(transpose)对于A是由np.ndarray表示的情况:可以直接使用命令A.T。也可以使用命令A.transpo
- 问题,用python生成如下所示的1000个txt文件?解答:import osfor i in range(0,1001): os.mkn
- 本文实例为大家分享了python实现图像边缘检测的具体代码,供大家参考,具体内容如下任务描述背景边缘检测是数字图像处理领域的一个常用技术,被
- 数据库开发数据库应用,选择一个好的数据库是非常重要的。下面从一些方面比较了SQL Server与Oracle、DB2三种数据库,为你选择数据
- 前言为了往我们写好的Python代码传入参数,有很多种方法,比如使用input获取从DOS 输入的参数,又或者读取txt 文件中的字符作为参
- “深入认识Python内建类型”这部分的内容会从源码角度为大家介绍Python中各种常用的内建类型。
- 最近看到网上的一些作品,然后进行一些完善。只是用于学习,不要去干坏事哦。程序来源于网,我只是做了一些优化。当然这种方法破解还是有点慢哦。我用