Python Pandas中DataFrame.drop_duplicates()删除重复值详解
作者：山茶花开时。 发布时间：2021-11-10 09:55:20
标签：pandas,dataframe.drop,duplicates(),重复值
语法
df.drop_duplicates(subset = None,
keep = 'first',
inplace = False,
ignore_index = False)
参数
1.subset:指定的标签或标签序列，仅删除这些列重复值，默认情况为所有列
2.keep:确定要保留的重复值，有以下可选项:
first:保留第一次出现的重复值，默认
last:保留最后一次出现的重复值
False:删除所有重复值
3.inplace:是否生效
4.ignore_index:如果为True，则重新分配自然索引(0,1,…,n - 1)
# 删除重复值 DataFrame.drop_duplicates()
import pandas as pd
df = pd.DataFrame([['x','x',1],['x','x',1],['z','x',2]], columns = ['A','B','C'])
# 删除重复行
res1 = df.drop_duplicates()
# 删除指定列
res2 = df.drop_duplicates(subset = ['A'])
# 保留最后一个
res3 = df.drop_duplicates(subset = ['A'], keep = 'last')
结果展示
df
res1
res2
res3
扩展:识别重复值
import pandas as pd
df = pd.DataFrame({
'studentID':['A001','A002','A003','A004','A005','A006','A006'],
'score':[100,93,94,96,93,95,95]})
# 识别重复值
duplicate_value = df[df.duplicated()]
df
由上图可知studentID为'A006'的记录有两条，我们可以使用duplicated()方法识别重复值，它返回的是布尔值结果(True:有重复值，False:无重复值)
duplicate_value
来源：https://blog.csdn.net/Hudas/article/details/122920865
0
投稿猜你喜欢
- 我差不多是与做web design的同时接触的flash design，因为那会普遍认为flash神通广大、无所不能。这些年我看Adobe的
- 1. 什么是phpDocumentor ? PHPDocumentor 是一个用PHP写的工具，对于有规范注释的php程序，它能够快速生成具
- 私有变量表示方法在变量前加上两个下划线的是私有变量。class Teacher(): def __init__(self,nam
- // 格式化字符串 Fmt("{0}.[{id}].{name}",{id:1,name:'
- 一些MySQL发布对MySQL数据库中的系统表的结构进行了更改，添加了新权限或特性。当你更新到新版本MySQL，你应同时更新系统表，以确保它
一、流程分析分析发现密码加密，且发送POST请求时header必须携带x-csrftoken，否则是报403。而x-csrftoken是在第- 一 、python模块 xml.dom 解析XML的APIminidom.parse(filename)加载读取XML文件doc.docum
- <input type=button value=刷新 onclick="window.location.reload()&
- 在任何编辑器中，获取光标位置都是非常重要的，很多人可能认为较难，其实只要处理好浏览器的兼容，还是比较容易实现的。下面我们一起来看看如何获取到
- 使用django实现注册登录的话，注册登录都有现成的代码，主要是自带的User字段只有（email,username,password）,所
- 交换变量 x = 6y = 5x, y = y, xprint x>>> 5print y>>>
- 测试需求 为了更好的测试你的ASP程序，你首先需要决定你的程序将来需要面对多大的压力。简单的说，压力或负载可以分解成以下数字：· 最低用户数
- 变量赋值与对象赋值对比<?php // 声明一个变量并赋值 $a = 1; // 将数据类型
- 这是Smashing Magazine花费几个月的时间研究编写的2009 年Web设计风格与潮流，Smashing Magazine 的编辑
- 以下保存成 App.xml , 与asp文件放在相同目录下! 代码如下: <?xml version="1.0"
- ＜％ '测试读取MySql数据库的内容strconnection="driver={mysql odbc 3.51 dri
- 去听了牛人 dbaron 的一个 Web Page Layout/Display in Mozilla 讲座( via )。讲的东西对我一个
- 登录页面能访问得到，但当执行下级目录的文件就不行了，浏览器直接跳出以下错误页面： 除些以外没有任何其它有价值的信息，因为此网站在我的电脑上执
- 如何编写具有良好结构的CSS？如果在设计流程中缺乏"秩序"或"章法"是非常不利的，你得冒着风险去添加
- 最近在做搜索设计时，发现了两个容易纠结的小问题，在这里谈谈自己的一些分析。问题一：提交的关键字是哪个？凡客的这个例子中，搜索建议“时尚斜拉链
