网络编程
位置：首页>> 网络编程>> Python编程>> pandas检查和填充缺失值的N种方法总结

pandas检查和填充缺失值的N种方法总结

作者：爱挠静香的下巴　　发布时间：2021-03-27 03:25:21　

标签：pandas,缺失值

一、构建示例数据

import pandas as pd
import numpy as np
data = {"ID":[202001, 202002, 202003, 202004, 202005, 202006, 202007, 202008, 202009, 202010],
      "Chinese":[98, 67, 84, 88, 78, 90, 93, np.nan, 82, 87],
      "Math":[92, 80, 73, np.nan, 88, 78, 90, 82, 77, 69],
      "English":[88, 79, 90, 73, 79, 83, 81, np.nan, 71, np.nan]
      }
df = pd.DataFrame(data)
df

pandas检查和填充缺失值的N种方法总结

二、检查缺失值的n种方法

2.1 确认是否有缺失值的两种方法

df.isnull().values.any()

True

df.isnull().sum().any()

True

2.2 查看缺失数目和缺失率

df.isnull().sum()

pandas检查和填充缺失值的N种方法总结

all_data_na = (df.isnull().sum()/len(df))*100
all_data_na = all_data_na.drop(all_data_na[all_data_na == 0].index).sort_values(ascending=False)
missing_data = pd.DataFrame({'缺失率' : all_data_na})
missing_data

pandas检查和填充缺失值的N种方法总结

2.3 查看非缺失值数目

df.info()

pandas检查和填充缺失值的N种方法总结

df.shape[0] - df.isnull().sum()

pandas检查和填充缺失值的N种方法总结

df.notnull().sum()

pandas检查和填充缺失值的N种方法总结

三、缺失值填充三种示例

# 用上下平均值填充English
df['English'] = df['English'].fillna(df['English'].interpolate())
df.head(10)

pandas检查和填充缺失值的N种方法总结

# 用中位数填充value列：
df['Math'] = df['Math'].fillna(df['Math'].median())
df.head(10)

pandas检查和填充缺失值的N种方法总结

# 用-1填充Chinese列：
df['Chinese'] = df['Chinese'].fillna(-1)
df.head(10)

pandas检查和填充缺失值的N种方法总结

来源：https://blog.csdn.net/zzpl139/article/details/128613459

0
投稿

猜你喜欢

手机版 网络编程 asp之家 www.aspxhome.com