浅析Python数据处理
作者:laozhang 发布时间:2023-09-08 18:18:34
Numpy、Pandas是Python数据处理中经常用到的两个框架,都是采用C语言编写,所以运算速度快。Matplotlib是Python的的画图工具,可以把之前处理后的数据通过图像绘制出来。之前只是看过语法,没有系统学习总结过,本博文总结了这三个框架的API。
以下是这三个框架的的简单介绍和区别:
Numpy:经常用于数据生成和一些运算
Pandas:基于Numpy构建的,是Numpy的升级版本
Matplotlib:Python中强大的绘图工具
Numpy
Numpy快速入门教程可参考:Numpy tutorial
Numpy属性
ndarray.ndim:维度
ndarray.shape:行数和列数,例如(3, 5)
ndarray.size:元素的个数
ndarray.dtype:元素类型
Numpy创建
array(object, dtype=None):使用Python的list或者tuple创建数据
zeors(shape, dtype=float):创建全为0的数据
ones(shape, dtype=None):创建全为1的数据
empty(shape, dtype=float):创建没有初始化的数据
arange([start, ]stop, [step, ]dtype=None):创建固定间隔的数据段
linspace(start, stop, num=50, dtype=None):在给定的范围,均匀的创建数据
Numpy运算
加、减:a + b、a - b
乘:b*2、10*np.sin(a)
次方:b**2
判断:a<35,输出True或False的数组
矩阵乘:np.dot(A,B) 或 A.dot(B)
其他:+=、-+、sin、cos、exp
Numpy索引
数组索引方式:A[1, 1]
切片:A[1, 1:3]
迭代:for item in A.flat
Numpy其他
reshape(a, newshape):改变数据形状,不会对原始数据进行修改,返回一组新数据
resize(a, new_shape):改变数据形状,会对原始数据进行修改,不返回数据
ravel(a):将成一维返回
vstack(tup):上下合并
hstack(tup):左右合并
hsplit(ary, indices_or_sections):水平分割n份
vsplit(ary, indices_or_sections):垂直分割n份
copy(a):深度拷贝
Pandas
Pandas快速入门教程可参考:10 Minutes to pandas
Pandas数据结构
Pandas的数据结构有两种:Series和DataFrame。
Series:索引在左边,值在右边。创建方式如下:
In [4]: s = pd.Series([1,3,5,np.nan,6,8])
In [5]: s
Out[5]:
0 1.0
1 3.0
2 5.0
3 NaN
4 6.0
5 8.0
dtype: float64
DataFrame:是一个表格型的数据结构,既有行索引也有列索引, 它可以被看做由Series组成的大字典。创建方式如下:
In [6]: dates = pd.date_range('20130101', periods=6)
In [7]: dates
Out[7]:
DatetimeIndex(['2013-01-01', '2013-01-02', '2013-01-03', '2013-01-04',
'2013-01-05', '2013-01-06'],
dtype='datetime64[ns]', freq='D')
In [8]: df = pd.DataFrame(np.random.randn(6,4), index=dates, columns=list('ABCD'))
Pandas查看数据
index:索引
columns:列索引
values:值
head(n=5):返回前n项数据
tail(n=5):返回后n项数据
describe():打印出数据的数量、平均值等各项数据
sort_index(axis=1, ascending=False):根据索引排序
sort_values(by='B'):根据索引值排序
Pandas选择数据
数组选择方式:df[‘A']
切片选择方式:df[0:3] 或 df[‘20130102':'20130104']
根据标签选择:df.loc[‘20130102':'20130104',[‘A','B']]
根据位置选择:df.iloc[3:5,0:2]
混合选择:df.ix[:3,[‘A','C']]
条件判断选择:df[df.A > 0]
Pandas处理丢失数据
删除丢失数据的行:df.dropna(how='any')
填充丢失数据:df.fillna(value=5)
数据值是否为NaN:pd.isna(df1)
Pandas合并数据
pd.concat([df1, df2, df3], axis=0):合并df
pd.merge(left, right, on='key'):根据key字段合并
df.append(s, ignore_index=True):添加数据
Pandas导入导出
df.to_csv(‘foo.csv'):保存到csv文件
pd.read_csv(‘foo.csv'):从csv文件读取
df.to_excel(‘foo.xlsx', sheet_name='Sheet1'):保存到excel文件
pd.read_excel(‘foo.xlsx', ‘Sheet1', index_col=None, na_values=[‘NA']):从excel文件读取
Matplotlib
这里只介绍最简单的出图方式:
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
# 随机生成1000个数据
data = pd.Series(np.random.randn(1000),index=np.arange(1000))
# 为了方便观看效果, 我们累加这个数据
data.cumsum()
# pandas 数据可以直接观看其可视化形式
data.plot()
plt.show()
来源:http://www.hchstudio.cn/article/2018/ae78/
猜你喜欢
- 【简 介】熟悉网页设计的网友就知道,调用Style的方法很多,我们可以单击鼠标右键选择Custon Style来调用Style标准,也可以在
- 一个动态载入asp树源码。把 node.htc, style.css 保存与 css 目录下. index.asp subtree.asp
- 一.图像量化处理原理量化(Quantization)旨在将图像像素点对应亮度的连续变化区间转换为单个特定值的过程,即将原始灰度图像的空间坐标
- 从Request对象中获取数据我们在第三章讲述View的函数时已经介绍过HttpRequest对象了,但当时并没有讲太多。 让我们回忆下:每
- 我们平常用 IE 打开一个普通的本地 xml 文件,其形式通常都是如下图: 默认样式看得多了就不觉得有什么特别。但对于少接触 xml 的人来
- 目录引言 操作多线程/多进程1、创建线程池2、submit3、map4
- # -*- coding: cp936 -*-import socketfrom threading import Thread,activ
- typing库一、 简介Python是一门弱类型的语言,很多时候我们可能不清楚函数参数类型或者返回值类型,很有可能导致一些类型没有指定方法,
- 一、概论超大型系统的特点为:1、处理的用户数一般都超过百万,有的还超过千万,数据库的数据量一般超过1TB;2、系统必须提供实时响应功能,系统
- 当我们在使用pycharm时,输入特殊的关键字会有提示,然后按enter就可以自动补全,如果我们经常需要输出重复的代码时,能否也利用这种方法
- 要编写一个简单的能发布网页的 Python 应用服务器,可以使用 Python 自带的 http.server 模块来实现。http.ser
- 项目意义如果你想在支付宝蚂蚁森林收集很多能量种树,为环境绿化出一份力量,又或者是想每天称霸微信运动排行榜装逼,却不想出门走路,那么该pyth
- 下面是用Python实现Floyd算法的代码,供大家参考,具体内容如下# -*- coding: utf-8 -*- ""
- 1. 同线性代数中矩阵乘法的定义: np.dot()np.dot(A, B):对于二维矩阵,计算真正意义上的矩阵乘积,同线性代数中矩阵乘法的
- 大家好,使用 Python Flask 创建 URL 缩短器是一个有趣而简单的项目,可以帮助您深入了解 Web 开发的世界。Flask 是
- 一个封装好的JavaScript拖动类,使用方便:<div id="idDrag" style="bor
- 本文实例讲述了Python函数装饰器实现方法。分享给大家供大家参考,具体如下:编写函数装饰器这里主要介绍编写函数装饰器的相关内容。跟踪调用如
- 1 原理 2 检测步骤将参数空间(ρ,θ) 量化成m*n(m为ρ的等份数,n为θ的等份数)个单元,并设置累加器矩阵,初始值为0;对
- 一、写在前面本文基于64位windows系统(鼠标右键点击桌面“此电脑”图标——属性可查看电脑系统版本)、python3.x(pycharm
- QQ影音至9月发布之后一直口碑很好,视觉界面和交互设计也颇受好评,这是设计师们努力的结果,也是众多用户反馈的功劳。我们希望可以提供更多价值回