python实现数据分析与建模
作者:mrr 发布时间:2023-07-03 02:21:38
前言
首先我们做数据分析,想要得出最科学,最真实的结论,必须要有好的数据。而实际上我们一般面对的的都是复杂,多变的数据,所以必须要有强大的数据处理能力,接下来,我从我们面临的最真实的情况,一步一步教会大家怎么做。
1.数据的读取
(1)读取模块
Import pandas as pd
Import numpy as np
(2)读取表格的全部数据
df = pd.read_csv(".data/HR.csv")
(3)读取你所需要的数据
sl_s=df["sactisfaction_level"]2. 数据的处理
2.1.异常值(空值)处理
2.1.1删除
首先,第一步是对空值的处理。
有两种,一种直接删除,另一种指代。
如果数据多,想简单一点,就直接删除,方法都很简单。
首先,建立一个DataFrame表
1.为了确定是否含有空值:
df.isnull() #如果含有空值,返回True
2.删除
df.dropna() #去掉含空值的行
如果想要删除某一个属性含空值的行就加入subset参数
df.dropna(subset=["B"]) #去掉B属性含空值的行
判断是否有重复的数据:
df.duplicated(["A"]) #A属性中重复的数据返回True
删除A属性重复的行
df.drop_duplicates(["A"])
df.drop_duplicates(["A"],keep=False) #删除A属性全部重复的行
df.drop_duplicates(["A"],keep=first) #删除A属性全部重复的行,保留第一个
df.drop_duplicates(["A"],keep=last) #删除A属性全部重复的行,保留最后一个
2.1.2指代
有些数据非常重要,不能删除,那我们就选择指代,也就是替换
#含空值的数据被替换为“b*”
df.fillna("b*")
#E属性中的含空值的数据被替换成该属性的平均值
df.fillna(df["E"].mean())
#插值替换
如果含空值的元素为最后一个,那么空值的数据替换成和上一个数据一样
如何含空值的元素为中间,那么空值的数据被(上+下)/2代替
df["E"].interpolate()
#3次样条插值 order 参数就是几次样条插值
df["E"].interpolate(method="spline",order=3)*函数
(4)异常值分析(含有就返回True) --isnull()
sl_s.isnull()
主要表示没有空值
(5)提取异常值的该属性信息
sl_s[sl_s.isnull()]
(6)提取异常值的表格全部信息
df[df["sactisfaction_level"].isnull()]
(7)丢弃异常值 --dropna()
sl_s=sl_s.dropna()
注:删除为空的异常值
可以利用where()把异常数据赋空,然后利用dropna()删除
(8)填充异常值 --fillna()
sl_s=sl_s.fillna()
(9)平均值 --mean()
sl_s.mean()
(10)标准差 --std()
Sl_s.std()
(11)最大值 --max()
sl_s.max()
(12)最小值 --min()
sl_s.min()
(13)中位数 --median()
sl_s.median()
(14)下四分位数 --quantile(q=0.25)
sl_s.quantile(q=0.25)
(15)上四分位数 --quantile(q=0.75)
sl_s.quantile(q=0.75)
(16)偏度 --skew()
sl_s.skew()
分析:小于0 是负偏 均值偏小,大部分数是比他的均值大的
大于 0 稍微有些振偏
远大于0, 是极度振偏,均值要比他的大多数值大好多。
(17)峰度 --kurt()
sl_s.kurt()
分析:<0 相比于正态分布,他的趋势相对平缓
远大于0 说明他的形变是非常大的,所以是不靠谱的
(18)获得离散化的分布(numpy模块) --histogram()
np.histogram(sl_s.values,bins = np.arange(0.0,1.1,0.1))
结果分析:
[195,1214,532,974,…]
[0.0,0.1,0.2,0.3,0.4…]
代表0.0-0.1之间有195个数,0.1-0.2之间有1214个数,以此类推
分布间隔为0.1
3.利用四分位数来去除异常值
3.1.提取大于1的值
le_s[le_s>1]
3.2 去除大于1的异常值
le_s[le_s<=1]
3.3 提取正常值(利用四分位数)
3.3.1 下四分位
q_low=le_s.quantile(q =0.25)
3.3.2 上四分位
q_high=le_s.quantile(q=0.75)
3.3.3 四分位间距
q_interval=q_high-q_low
3.3.4 定义k的值
K=1.5~3之间
如果k=1.5,删除的异常值是中度异常
如果k=3.0,删除的异常值是极度异常
3.3.5 筛选
le_s=le_s[le_s<q_high+k*q_interval][le_s>q_low-k*q_interval]
3.4 数据的个数 --len()
len(le_s)
3.5离散分布直方图(numpy模块)
np.histogram(le_s.values,bins=np.arange(0.0,1.1,0.1))
3.6回顾数据的平均值,标准差,中位数,最大值,最小值,偏度,峰度,确定数据的正常。
4.静态结构分析
4.1每个值出现的次数 --values_counts()
np_s.value_counts()
4.2获取该数据的构成和比例(每个值的频率)
np_s.value_counts(normalize=True)
4.3 排序
np_s.value_counts(normalize=True).sort_index()5.数据分区间
5.1把数据分成几份 --histogram()
np.histogram(amh_s.values,bins=10) 把数据分成10份
5.2另一种方法 加了区间,计算区间的频数
(左闭右开的区间)
Np.histogram(amh_s.values,bins = np.arange(amh_s.min(),amh_s.max()+10,10))
(左开右闭的区间)
amh_s.value_counts(bins=np.arange (amh_s.min(),amh_s.max()+10,10))6.英文异常值数据的处理
6.1 首先,统计该数据的分布频数
s_s.value_counts()
6.2确定异常值的名字。
6.3把异常值赋空(NaN) --where()
s_s.where(s_s!="name")
意思是把”name”的数据赋空
6.4把赋空的异常值删除 --dropna()删除异常值
s_s.where(s_s!="name").dropna()
6.5 检查删除异常值的结果
s_s.where(s_s!="name").dropna().value_counts()7.对比分析
7.1对表格中空值的行删除
Df = df.dropna(axis=0,how='any')
axis =0 ,代表的是行删除
how=‘any' 代表的是含有部分空值就执行行删除
how=‘all' 代表的是一行全部是空值执行行删除
7.2含有条件性的对异常值的删除
df=df[df["last_evaluation"]<=1] [df["salary"]!="name"][df["department" ]!="sale"]
7.3分组(比如:把同一部门的人分为一组) --groupby()
df.groupby("department")
7.4对分组后的组取均值
df.groupby("department").mean()
7.5 取部分数据(切片) --loc()
df.loc[:,["last_evaluation","department"]] .groupby("department")
7.6 取部分数据求平均
df.loc[:,["last_evaluation","department"]] .groupby("department").mean()
7.7 取部分数据求极差 --apply()
df.loc[:,["average_monthly_hours" ,"department"]].groupby ("department")[ "average_monthly_hours"]. apply(lambda x:x.max()-x.min())
总结
以上所述是小编给大家介绍的python实现数据分析与建模 ,网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!
来源:http://www.uml.org.cn/bigdata/201907113.asp
猜你喜欢
- 如何利用Image Data Type从数据库中读取图片,并在主页中显示图形?然后,写如下代码:< % @&nbs
- 一、实验介绍1.1 实验内容在本节课中,我们将讲解Pygame的常用对象及其操作,包括图形、动画、文字、音频等,确保同学们对Pygame有一
- PHP mysqli_thread_id() 函数返回当前连接的线程 ID,然后杀死连接:<?php// 假定数据库用户名:root,
- 在MySQL中有两种方法1、create table t_name select ...2、create table t_name like
- 一、CNN简介1. 神经网络基础输入层(Input layer),众多神经元(Neuron)接受大量非线形输入讯息。输入的讯息称为输入向量。
- 数据驱动模式的测试好处相比普通模式的测试就显而易见了吧!使用数据驱动的模式,可以根据业务分解测试数据,只需定义变量,使用外部或者自定义的数据
- 问题某些无聊的脚本小子在Web页面表单中填入了“pýtĥöñ”这样的文本,我们
- 本文实例讲述了Python3爬虫学习之爬虫利器Beautiful Soup用法。分享给大家供大家参考,具体如下:爬虫利器Beautiful
- 导言篇:我的python环境是:python3.6.5这里我选择的GUI编程包是:tkintertkinker在python2.5以后就是自
- 本文实例讲述了Go语言算法之寻找数组第二大元素的方法。分享给大家供大家参考。具体如下:该算法的原理是,在遍历数组的时,始终记录当前最大的元素
- 在使用pytorch作为深度学习的框架时,经常会遇到变量variable、张量tensor与矩阵numpy的类型的相互转化的问题,本章结合这
- 本文实例讲述了Python socket实现的简单通信功能。分享给大家供大家参考,具体如下:套接字(socket)是计算机网络数据结构,在任
- 一、什么是索引 减少磁盘I/O和逻辑读次数的最佳方法之一就是使用【索引】 索引允许SQL Server在表中查找数据而不需要扫描整个表。 1
- 一、匹配目标文件中所有以https?://开头,以.jpg|.png|.jpeg结尾的字符串二、尝试过程1) &n
- 今天在开发一个手机短信通讯录的前端界面时,界面中使用了checkbox,来做为各项的选择控件,但是操作时,除了点差子。由于逻辑需要,需要预先
- isdigit() isalpha()用于判断字符串的类型要求1统计某个字符串中的数字数量并输出,例如字符串为“adsf
- 很实用的过滤重复数据的asp代码,函数如下:<%'**************************************
- 自相关图是一个平面二维坐标悬垂线图。横坐标表示延迟阶数,纵坐标表示自相关系数偏自相关图跟自相关图类似, 横坐标表示延迟阶数,纵坐标表示偏自相
- 关于什么是并发模型,我在这里引用 Go 语言联合创造者 Rob Pike 的一段话:并发是指一次处理多件事。并行是指一次做多件事。二者不同,
- 前天不小心把硬盘格式化了,丢了好多照片,后来用Recuva这款软件成功把文件恢复过来,可是恢复的文件中有好多重复的文件和无法打开的图片,所以