详解pandas使用drop_duplicates去除DataFrame重复项参数
作者：OraYang 发布时间：2021-09-12 12:36:26
Pandas之drop_duplicates：去除重复项
方法
DataFrame.drop_duplicates(subset=None, keep='first', inplace=False)
参数
这个drop_duplicate方法是对DataFrame格式的数据，去除特定列下面的重复行。返回DataFrame格式的数据。
subset : column label or sequence of labels, optional 用来指定特定的列，默认所有列
keep : {‘first', ‘last', False}, default ‘first' 删除重复项并保留第一次出现的项
inplace : boolean, default False 是直接在原来数据上修改还是保留一个副本
DataFrame中存在重复的行或者几行中某几列的值重复，这时候需要去掉重复行，示例如下：
data.drop_duplicates(subset=['A','B'],keep='first',inplace=True)
代码中subset对应的值是列名，表示只考虑这两列，将这两列对应值相同的行进行去重。默认值为subset=None表示考虑所有列。
keep='first'表示保留第一次出现的重复行，是默认值。keep另外两个取值为"last"和False，分别表示保留最后一次出现的重复行和去除所有重复行。
inplace=True表示直接在原来的DataFrame上删除重复项，而默认值False表示生成一个副本。
将副本赋值给dataframe：
data=data.drop_duplicates(subset=None,keep='first',inplace=False)
这一行代码与文章开头提到的那行代码效果等效，但是如果在该DataFrame上新增一列:
data['extra']=test_data['item_price_level']
就会报如下错误：
SettingWithCopyWarning: A value is trying to be set on a copy of a slice from a DataFrame.
所以如果想对DataFrame去重，最好采用开头提到的那行代码。
来源：https://blog.csdn.net/u010665216/article/details/78559091
0
投稿猜你喜欢
- 今天处理了一个日期选择器的ie和ff的兼容问题，本来这种情况就很难找错误，找了好久才把错误定位到js中创建元素的方法document.cre
- 这篇文章主要介绍了Python读取YAML文件过程详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋
- 本文实例讲述了Python实现约瑟夫环问题的方法。分享给大家供大家参考，具体如下：题目：0，1，...，n-1这n个数字排成一个圆圈，从数字
- 本文介绍了linux下如何备份与恢复mysql数据库。数据库备份是非常重要的。如果定期做好备份，这样就可以在发生系统崩溃时恢复数据到最后一次
- python编程中常用的12种基础知识总结：正则表达式替换，遍历目录方法，列表按列排序、去重，字典排序，字典、列表、字符串互转，时间对象操作
* 上有个有意思的话题叫细胞自动机：https://en.wikipedia.org/wiki/Cellular_automaton在2- 其实就是利用文件“global.asa”！许多ASP编程新手都想知道这东西是什么？事实上，global.asa就是一个事件驱动程序，其中共包
- 前言在我们实际开发中，经常需要将一组数据存储起来，以便使用。如果学习了其他的语言可能知道数组（Array）这个数据结构，它就可以将多个数据进
- theme: channing-cyan网页伪静态将 * 页伪装成静态网页，可以提升网页被搜索引擎检索道德概率表现形式为：网址看着像是一个具
- 前言每个人写脚本时的格式都会有所不同，有的会注明脚本本身的一些信息，有的则开门见山，这在小团队里其实没什么，基本别人做什么你也都知道，但如果
- 1 Git简介Git 是目前世界上最先进的分布式版本控制系统（没有之一）作用： 源代码管理为什么要进行源代码管理?
- 基本开发环境· Python 3.6· Pycharm相关模块使用目标网页分析输入想看的小说内容，点击搜索这里会返回很多结果，我只选择第一个
- 俺觉得自 己试着写写sql,调试调试还是有帮助的，读人家sql例子好像读懂了，自己写就未 必思路正确，调试得通，写得简洁。 这篇文字在网上被
- 现在我将清除页面缓存的一些方法总结如下：1、在Asp页面首部加入<％ Response.Buffer = True
- 此程序主要是针对某个目录下的全部文件进行筛选，会删除重复的文件。原理很简单，会计算每个文件的哈希，将哈希存入一个字典，文件名对应哈希。imp
- 看代码吧~import pymongofrom dateutil import parserdateStr = "2019-05-
- 本文实例总结了PHP中非常有用却鲜有人知的函数。分享给大家供大家参考，具体如下：PHP里有非常丰富的内置函数，很多我们都用过，但仍有很多的函
- 1.折线图 plt.plot()常用的一些参数：颜色（color)：‘c’ 青红（cyan）&
- Pythonpython 真的太好用了，但是它真的好慢啊（哭死) ; C++ 很快，但是真的好难写啊，此生能不碰它就不碰它。老天啊，有没有什
- 给每一个onClick再附加一个事件 <!DOCTYPE HTML PUBLIC "-//W3C//DTD HT
