详解pandas使用drop_duplicates去除DataFrame重复项参数
作者：OraYang 发布时间：2021-09-12 12:36:26
Pandas之drop_duplicates：去除重复项
方法
DataFrame.drop_duplicates(subset=None, keep='first', inplace=False)
参数
这个drop_duplicate方法是对DataFrame格式的数据，去除特定列下面的重复行。返回DataFrame格式的数据。
subset : column label or sequence of labels, optional 用来指定特定的列，默认所有列
keep : {‘first', ‘last', False}, default ‘first' 删除重复项并保留第一次出现的项
inplace : boolean, default False 是直接在原来数据上修改还是保留一个副本
DataFrame中存在重复的行或者几行中某几列的值重复，这时候需要去掉重复行，示例如下：
data.drop_duplicates(subset=['A','B'],keep='first',inplace=True)
代码中subset对应的值是列名，表示只考虑这两列，将这两列对应值相同的行进行去重。默认值为subset=None表示考虑所有列。
keep='first'表示保留第一次出现的重复行，是默认值。keep另外两个取值为"last"和False，分别表示保留最后一次出现的重复行和去除所有重复行。
inplace=True表示直接在原来的DataFrame上删除重复项，而默认值False表示生成一个副本。
将副本赋值给dataframe：
data=data.drop_duplicates(subset=None,keep='first',inplace=False)
这一行代码与文章开头提到的那行代码效果等效，但是如果在该DataFrame上新增一列:
data['extra']=test_data['item_price_level']
就会报如下错误：
SettingWithCopyWarning: A value is trying to be set on a copy of a slice from a DataFrame.
所以如果想对DataFrame去重，最好采用开头提到的那行代码。
来源：https://blog.csdn.net/u010665216/article/details/78559091
0
投稿猜你喜欢
前言最近在整理我磁盘上的照片，发现不少猫照，突然觉得若能把这些猫照都挑出来，观察它们的成长轨迹也是一件不错的事情。一张一张的找实在是太费劲了- 本文 Github.com/niumoo/JavaNotes 和 未读代码博客 已经收录，有很多系列文章。今天一个很简单的功能，触发了一个
- Numpy是什么很简单，Numpy是Python的一个科学计算的库，提供了矩阵运算的功能，其一般与Scipy、matplotlib一起使用。
- CSS hack是指我们为了兼容各浏览器，而使用的特别的css定义技巧。这是国外摘来的一张CSS hack列表，显示了各浏览器对css ha
- 本文实例为大家分享了TensorFlow实现简单线性回归的具体代码，供大家参考，具体内容如下简单的一元线性回归一元线性回归公式：其中x是特征
- 安装 Python去 Python 官方网站找到 Python 3 的下载地址，根据你的系统选择 32 位或者 64 位的安装包，下载好后双
- Python开发最牛逼的IDE——pycharm（其实其它的工具，例如eclipse也可以写，只不过比较麻烦，需要安装很多的插件，所以说py
- 自定义事件也可以用来创建自定义的表单输入组件，使用 v-model 来进行数据双向绑定。所以要让组件的 v-model 生效，它必须：接受一
- 我差不多是与做web design的同时接触的flash design，因为那会普遍认为flash神通广大、无所不能。这些年我看Adobe的
- 一 Django的视图函数view一个视图函数（类），简称视图，是一个简单的Python 函数（类），它接受Web请求并且返回Web响应。响
- 本文实例讲述了Python使用Flask框架同时上传多个文件的方法，分享给大家供大家参考。具体如下：下面的演示代码带有详细的html页面和p
- 阿里云 视频直播 配置 及 PHP-SDK 接入教程个人感觉,阿里的文档比微信的要坑很多…微信最多是有些比较重要的东西放到比较不起眼、比较难
- 有关换行的问题首先提一个问题，如下。python程序代码如下：print("I'm Bob. What's you
- 我就废话不多说了，大家还是直接看代码吧！talk is cheap from openpyxl import Workbook
- 函数很简单， 主要是针对字符串和数字两种类型的传入数据分别进行了处理，具体用法：字符类型的strUsername = C
- 一、简介开启慢查询日志，可以让MySQL记录下查询超过指定时间的语句，通过定位分析性能的瓶颈，才能更好的优化数据库系统的性能。二、参数说明s
- 在操作过程中，两表查询都没有问题，但是三表查询就开始出现问题有以下三张表，分表为pl表（uid，content），user表（id，user
- 这篇文章主要介绍了python字符串替换re.sub()实例解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值
- JavaScript组件打包模式js组件通常带着css image ，但这样使用起来可能会有些小麻烦，为了让组件足够的solo，有了把css
- 内容摘要： Request和Response这两个对象是ASP所提供的内置对象中最常用的两个。在浏览器（或其他用户代理）和Web服
