Pandas中DataFrame常用操作指南
作者:夜月xl 发布时间:2023-08-31 14:14:41
前言
Pandas是Python下一个开源数据分析的库,它提供的数据结构DataFrame极大的简化了数据分析过程中一些繁琐操作。
1. 基本使用:
创建DataFrame. DataFrame是一张二维的表,大家可以把它想象成一张Excel表单或者Sql表。
Excel 2007及其以后的版本的最大行数是1048576,最大列数是16384,超过这个规模的数据Excel就会弹出个框框“此文本包含多行文本,无法放置在一个工作表中”。
Pandas处理上千万的数据是易如反掌的sh事情,同时随后我们也将看到它比SQL有更强的表达能力,可以做很多复杂的操作,要写的code也更少。 说了一大堆它的好处,要实际感触还得动手码代码。
首要的任务就是创建一个DataFrame,它有几种创建方式:
列表,序列(pandas.Series), numpy.ndarray的字典
二维numpy.ndarray
别的DataFrame
结构化的记录(structured arrays)
其中,我最喜欢的是通过二维ndarray创建DataFrame,因为代码敲得最少:
import pandas as pd
import numpy as np
df = pd.DataFrame(np.random.randn( 3 , 4 ))
df
0 1 2 3
0 0.236175 - 0.394792 - 0.171866 0.304012
1 0.651926 0.989046 0.160389 0.482936
2 - 1.039824 0.401105 - 0.492714 - 1.220438
当然你还可以从mysql数据库或者csv文件中载入数据到dataframe。
dataframe中index用来标识行,column标识列,shape表示维度。
# 获得行索引信息
df.index
# 获得列索引信息
df.columns
# 获得df的size
df.shape
# 获得df的行数
df.shape[0]
# 获得df的 列数
df.shape[1]
# 获得df中的值
df.values
通过describe方法,我们可以对df中的数据有个大概的了解:
df.describe()
0 1 2 3
count 3.000000 3.000000 3.000000 3.000000
mean - 0.050574 0.331786 - 0.168064 - 0.144496
std 0.881574 0.694518 0.326568 0.936077
min - 1.039824 - 0.394792 - 0.492714 - 1.220438
25 % - 0.401824 0.003156 - 0.332290 - 0.458213
50 % 0.236175 0.401105 - 0.171866 0.304012
75 % 0.444051 0.695076 - 0.005739 0.393474
max 0.651926 0.989046 0.160389 0.482936
2. 数据select, del, update。
按照列名select:
df[ 0 ]
0 0.236175
1 0.651926
2 - 1.039824
按照行数select:
df[: 3 ] #选取前3行
按照索引select:
df.loc[ 0 ]
0 0.236175
1 - 0.394792
2 - 0.171866
3 0.304012
按照行数和列数select:
df.iloc[ 3 ] #选取第3行
df.iloc[ 2 : 4 ] #选取第2到第3行
df.iloc[ 0 , 1 ] #选取第0行1列的元素
dat.iloc[: 2 , : 3 ] #选取第0行到第1行,第0列到第2列区域内的元素
df1.iloc[[1,3,5],[1,3]] #选取第1,3,5行,第1,3列区域内的元素
删除某列:
del df[0]
df
1 2 3
0 - 0.394792 - 0.171866 0.304012
1 0.989046 0.160389 0.482936
2 0.401105 - 0.492714 - 1.220438
删除某行:
5
df.drop(0)
1 2 3
1 0.989046 0.160389 0.482936
2 0.401105 - 0.492714 - 1.220438
3.运算。
基本运算:
df[ 4 ] = df[ 1 ] + df[ 2 ]
1 2 3 4
0 - 0.394792 - 0.171866 0.304012 - 0.566659
1 0.989046 0.160389 0.482936 1.149435
2 0.401105 - 0.492714 - 1.220438 - 0.091609
map运算,和python中的map有些类似:
df[ 4 ]. map ( int )
0 0
1 1
2 0
apply运算:
df. apply ( sum )
1 0.995359
2 - 0.504192
3 - 0.433489
4 0.491167
4. Group by 操作。
pandas中的group by 操作是我的最爱,不用把数据导入excel或者mysql就可以进行灵活的group by 操作,简化了分析过程。
df[ 0 ] = [ 'A' , 'A' , 'B' ]
df
1 2 3 4 0
0 - 0.394792 - 0.171866 0.304012 - 0.566659 A
1 0.989046 0.160389 0.482936 1.149435 A
2 0.401105 - 0.492714 - 1.220438 - 0.091609 B
g = df.groupby([ 0 ])
g.size()
A 2
B 1
g. sum ()
1 2 3 4
0
A 0.594254 - 0.011478 0.786948 0.582776
B 0.401105 - 0.492714 - 1.220438 - 0.091609
5. 导出到csv文件
dataframe可以使用to_csv方法方便地导出到csv文件中,如果数据中含有中文,一般encoding指定为”utf-8″,否则导出时程序会因为不能识别相应的字符串而抛出异常,index指定为False表示不用导出dataframe的index数据。
df.to_csv(file_path, encoding='utf-8', index=False)
df.to_csv(file_path, index=False)
来源:https://blog.csdn.net/u013045749/article/details/48370007
猜你喜欢
- 目录创建文件夹布局编写命令代码实际应用场景案例1:检查数据库连接是否已就绪案例2:周期性发送邮件每次在启动Django服务之前,我们都会在终
- 前言:有些时候,为了设定手机铃声或者发抖音视频,我们会耗费大量时间在剪辑音乐高潮部分上。那么这个音乐高潮的提取能不能自动化呢?当然可以。先来
- 支持聚合函数的方法:提到聚合函数,首先我们要知道的就是这些聚合函数是不能在django中单独使用的,要想在django中使用这些聚合函数,就
- 1.新建四个层,放入相应图片,模特层的z-index值设为0。2.把第一个层移到模特身上,找出衣服刚好穿上时层的top和left值,记下来,
- 上文:栅格:一以贯之Jacci Howard Bear 的英文原文:http://desktoppub.about.com/od/grids
- 一、爬虫是什么? 在进行大数据分析或者进行数据挖掘的时候,数据源可以从某些提供数据统计的网站获得,也可以从某些文献或内部资料中获得
- 本文实例讲述了php+mysqli数据库连接的两种方式。分享给大家供大家参考。具体如下:这里讲述mysqli数据库连接两种方式比较,即面向对
- 前言责任链模式(Chain of Responsibility Pattern)是什么?责任链模式是一种行为型模式,它允许多个对象将请求沿着
- 用法示例:import random# 1)随机小数print(random.random()) # 获取大于0且小于1 之间的小数 &nb
- 有关pygal的介绍和安装,大家可以参阅《pip和pygal的安装实例教程》,然后利用pygal实现画世界地图。代码如下:#coding=u
- 微信跳一跳辅助的python具体实现代码,供大家参考,具体内容如下这是一个 2.5D 插画风格的益智游戏,玩家可以通过按压屏幕时间的长短来控
- web框架是什么?web开发框架是一组工具,同时也提供了非常多的资源,供软件开发人员构建和管理网站、提供web服务、编写web应用程序。它是
- <1>IsArray 函数 返回 Boolean 值指明某变量是否为数组。 语法 IsArray(var
- PDOStatement::errorInfoPDOStatement::errorInfo — 获取跟上一次语句句柄操作相关的扩展错误信息
- java连接sqlserver2008数据库代码如下所示:public class SqlServer { public static vo
- 今日大致浏览了一下《High Performance Web Sites》。本书的中文版是《高性能网站建设指南》。本书另有对其中个别问题深入
- 今天用实验室的pycharm运行程序的时候发现出现了已安装的模块无法导入的情况,但实际上这个模块我已经在notebook中使用多次了,所以不
- 对比Google Chrome、IE来说,在Windows环境下,Firefox 3.5的启动速度非常慢,据说是因为Firefox 3.5从
- 本文实例讲述了Python AES加密模块用法。分享给大家供大家参考,具体如下:AES是新的一种加密模块。在上次介绍过在C语言中如何来Ope
- 内容摘要:本文介绍了对数据库的基本操作:数据记录筛选(select),更新数据库(update),删除记录(delete),添加数据记录(i