pandas中的数据去重处理的实现方法
作者：我是小蚂蚁 发布时间：2022-05-13 23:28:50
标签：Pandas,清除重复数据
数据去重可以使用duplicated()和drop_duplicates()两个方法。
DataFrame.duplicated（subset = None，keep =‘first' ）返回boolean Series表示重复行
参数：
subset：列标签或标签序列，可选
仅考虑用于标识重复项的某些列，默认情况下使用所有列
keep：{‘first'，‘last'，False}，默认'first'
first：标记重复，True除了第一次出现。
last：标记重复，True除了最后一次出现。
错误：将所有重复项标记为True。
import numpy as np
import pandas as pd
from pandas import Series, DataFrame
df = pd.read_csv('./demo_duplicate.csv')
print(df)
print(df['Seqno'].unique()) # [0. 1.]
# 使用duplicated 查看 重复值
# 参数 keep 可以标记重复值 {'first'，'last'，False}
print(df['Seqno'].duplicated())
'''
0 False
1 True
2 True
3 True
4 False
Name: Seqno, dtype: bool
'''
# 删除 series 重复数据
print(df['Seqno'].drop_duplicates())
'''
0 0.0
4 1.0
Name: Seqno, dtype: float64
'''
# 删除 dataframe 重复数据
print(df.drop_duplicates(['Seqno'])) # 按照 Seqno 来 去重
'''
Price Seqno Symbol time
0 1623.0 0.0 APPL 1473411962
4 1649.0 1.0 APPL 1473411963
'''
# drop_dujplicates() 第二个参数 keep 包含的值 有： first、last、False
print(df.drop_duplicates(['Seqno'], keep='last')) # 保存最后一个
'''
Price Seqno Symbol time
3 1623.0 0.0 APPL 1473411963
4 1649.0 1.0 APPL 1473411963
'''
pandas 去除重复行
DataFrame.drop_duplicates（subset = None，keep ='first'，inplace = False ）
subset ： 指定列，默认情况下使用所有列
keep ： {'first'，'last'，False}，默认'first'
first ：删除重复项保留第一次出现的。last ：删除重复项保留最后一次出现的。false：删除所有重复项。
inplace ： 布尔值，默认为False 是否删除重复项或返回副本
栗子：
来源：https://blog.csdn.net/missyougoon/article/details/83926840
0
投稿猜你喜欢
- pattern可以是一个字符串也可以是一个正则，用于匹配要替换的字符，如果不写，字符串不做修改。\1 代表第一个分组repl是将会被替换的值
- 选项default-charaset-set=utf8;然后创建一个数据表 create table a_table(b varchar(2
- 关于iframe的使用iframe在同域时能自由操作iframe和父框架的内容(DOM)，在跨域时可以实现页面跳转。<iframe i
本文实例为大家分享了python实现ANN的具体代码，供大家参考，具体内容如下1.简要介绍神经网络神经网络是具有适应性的简单单元组成的广泛并- 一，实用方法1.线程之间执行是无序的，cpu调度哪个线程就执行哪个线程；2.主线程等待所有子线程结束后再结束，设置守护线程可以实现当主线程结
- 一、变量声明的方式let / constlet / const 共同点1.都是块级作用域2.在同一个作用域下,变量名不允许重复3.他们声明的
- 一、程序的组织结构任何简单的或者复杂的算法都可以由顺序结构、选择结构和循环结构这三种基本结构组合而成二、顺序结构程序从上到下顺序地执行代码，
- 前言本文主要给大家介绍了关于golang分页算法的相关内容，分享出来供大家参考学习，下面话不多说了，来一起看看详细的介绍吧示例代码如下：//
- 本文实例讲述了PHP排序二叉树基本功能实现方法。分享给大家供大家参考，具体如下：这里演示了排序二叉树节点的插入,中序遍历,极值的查找和特定值
- 装饰器实现Python 函数重载函数重载指的是有多个同名的函数，但是它们的签名或实现却不同。当调用一个重载函数 fn 时，程序会检验传递给函
- 本文实例讲述了Python使用当前时间、随机数产生一个唯一数字的方法。分享给大家供大家参考，具体如下：Python生成当前时间很简单，比Ja
- 快速排序是C.R.A.Hoare于1962年提出的一种划分交换排序。它采用了一种分治的策略，通常称其为分治法(Divide-and-Conq
- MySQL命令行导出数据库1，进入MySQL目录下的bin文件夹：cd MySQL中到bin文件夹的目录如我输入的命令行：cd C:\Pro
- 本文实例讲述了Python实现通过文件路径获取文件hash值的方法。分享给大家供大家参考，具体如下：import hashlibimport
- 本文实例为大家分享了Python查询IP地址归属的具体代码，供大家参考，具体内容如下#!/usr/bin/env python# -*- c
- 匹配文本并在其上一行追加文本问题描述Python匹配文本并在其上一行追加文本test.txtabcde1.读进列表后覆盖原文件 d
- os.systemsystem方法会创建子进程运行外部程序，方法只返回外部程序的运行结果。这个方法比较适用于外部程序没有输出结果的情况。im
- 本文实例讲述了Python实现的凯撒密码算法。分享给大家供大家参考，具体如下：一 介绍凯撒密码是一种非常古老的加密方法，相传当年凯撒大地行军
- 目录创建一个Django项目settings.py项目配置文件urls.py路由系统总结创建一个Django项目创建一个名为project的
- Golang 是一种简洁高效的编程语言，拥有强大的并发支持和丰富的标准库。在 Golang 中，计时器（timer）是一种常见的工具，用于定
