pandas检查和填充缺失值的N种方法总结
作者：爱挠静香的下巴 发布时间：2021-03-27 03:25:21
标签：pandas,缺失值
一、构建示例数据
import pandas as pd
import numpy as np
data = {"ID":[202001, 202002, 202003, 202004, 202005, 202006, 202007, 202008, 202009, 202010],
"Chinese":[98, 67, 84, 88, 78, 90, 93, np.nan, 82, 87],
"Math":[92, 80, 73, np.nan, 88, 78, 90, 82, 77, 69],
"English":[88, 79, 90, 73, 79, 83, 81, np.nan, 71, np.nan]
}
df = pd.DataFrame(data)
df
二、检查缺失值的n种方法
2.1 确认是否有缺失值的两种方法
df.isnull().values.any()
True
df.isnull().sum().any()
True
2.2 查看缺失数目和缺失率
df.isnull().sum()
all_data_na = (df.isnull().sum()/len(df))*100
all_data_na = all_data_na.drop(all_data_na[all_data_na == 0].index).sort_values(ascending=False)
missing_data = pd.DataFrame({'缺失率' : all_data_na})
missing_data
2.3 查看非缺失值数目
df.info()
df.shape[0] - df.isnull().sum()
df.notnull().sum()
三、缺失值填充三种示例
# 用上下平均值填充English
df['English'] = df['English'].fillna(df['English'].interpolate())
df.head(10)
# 用中位数填充value列：
df['Math'] = df['Math'].fillna(df['Math'].median())
df.head(10)
# 用-1填充Chinese列：
df['Chinese'] = df['Chinese'].fillna(-1)
df.head(10)
来源：https://blog.csdn.net/zzpl139/article/details/128613459
0
投稿猜你喜欢
前言PC Server发展到今天，在性能方面有着长足的进步。64位的CPU在数年前都已经进入到寻常的家用PC之中，更别说是更高端的PC Se- 我想大家都有一些开了80端口的肉 * ，如果是国内的出于安全就不要往下看了，如果不不妨往下看一下，小弟献丑了，以求抛砖引玉。在肉鸡上放网站最麻
- 如果你用SQL Server 2005 Management Studio建立函数或存储过程，你会注意到这些新窗口中都是模板。通常，你可以获
- 环境python版本号系统游览器python 3.7.2win7google chrome关于本文本文将会通过爬虫的方式实现简单的百度翻译。
- 本文实例讲述了Python设置默认编码为utf8的方法。分享给大家供大家参考，具体如下：这是Python的编码问题，设置python的默认编
- BP神经网络是最简单的神经网络模型了，三层能够模拟非线性函数效果。难点：如何确定初始化参数？如何确定隐含层节点数量？迭代多少次？如何更快收敛
- python在mysql中插入null空值sql = “INSERT INTO MROdata (MmeUeS1apId) VALUES (
- 1.说明redis作为一个缓存数据库，在各方面都有很大作用，Python支持操作redis，如果你使用Django，有一个专为Django搭
- 大家都知道连续的英文或数字能是容器被撑大，不能根据容器的大小自动换行，网页设计初学者可能不知道怎么处理，下面是CSS如何将他们换行的方法！对
- 目录一、建立画布二、用plt.subplot函数建立坐标系，并分别绘制折线图和柱状图三、完整代码如下所示四、对应效果图如下所示一、建立画布i
- 最近听了张江老师的深度学习课程，用Pytorch实现神经网络预测，之前做Titanic生存率预测的时候稍微了解过Tensorflow，听说T
- 本文实例讲述了PHP读取txt文本文件并分页显示的方法。分享给大家供大家参考。具体实现方法如下：<?php &n
- 最近项目中要用到一个正则表达式，排除某个字符串，我们知道排除单个字符串的话，可以用[^abc],这样就可以排除a或者b或者c了，但是要排除a
- 我很久前在YAHOO上扣的代码，兼容性很好，在Windows下的主流浏览器中可以正常运行。大家先不要急着下载代码，你随时都可以下，我们来分
- 刚刚有人问我二年前写的那个小三角的效果还能作出什么样的效果，我正在看电视，画面上出现了这样一个小灯笼，于是，我就说，可以作个小灯笼玩玩。于是
- 假设现有一张人员表（表名：Person），若想将姓名、身份证号、住址这三个字段完全相同的记录查找出来，使用1: SELECT p
- 一.ajax介绍1、ajax的含义Ajax全称“Async Javascript And XML”即：异步的javascript和XML。它
- 1、root函数格式root()功能描述返回一个路径串变量应用代码'sample string = c:\intels\jingca
- 实例化对象名._类名__私有属性名 class Flylove:price = 123 def __init__(self):s
- 1、函数介绍REGEXP_LIKE 函数在功能上与 LIKE 函数非常相似。 然而，虽然 LIKE 允许简单的字符串匹配搜索，但 REGEX
