pandas重复行删除操作df.drop_duplicates和df.duplicated的区别
作者：jingzen 发布时间：2021-02-13 05:56:36
标签：pandas,df.drop,duplicates,df.duplicated
概念
df.duplicated（）
使用df.cuplicated()来查看重复数据，返回True,False，数据类型是bool.
也可以指定某一列是否有重复值df.cuplidated(‘colname’),不指定则默认为第一列。
df.dropduplicates(’col‘,keep=‘first’,inplace=False)
用来删除重复行。
实例
读取数据
# ％％ 提取数据 从sqlite
import pandas as pd
from sqlalchemy import create_engine
'''创建sqlite3连接'''
eg = create_engine('sqlite:///I:/jianguoyun/Udoc/WorkDb/dataset2022.db') #创建数据库连接
# 读取数据库文件
q_store = """
select * from pj_store20220525
"""
# 读取表
cols= ['货号','品类','节庆','库位','合格','换包装','错码','维修','总数量' ]
df = pd.read_sql(q_store,eg)[cols]
计算重复项
# df.duplicated 计算重复项
cond = df.duplicated('货号') # 查看货号相同的项 df.duplicated返回的是布尔值
def_line = df[cond]
def_line
计算有多少个重复行
#有多少个重复行
dep_data = df.duplicated('货号').sum()
dep_data
用df.drop_duplicates提取夏季品类
# 用df.drop_duplicates提取夏季品类
df_category = df.query('节庆=="夏季"').drop_duplicates('品类',keep='last',inplace=False)
df_category['品类'].sort_values()
参数：
keep ，保留最后last还是第一行first,
inplace:是否替换原列表,false:不替换，True，替换。
来源：https://blog.csdn.net/m0_46326858/article/details/124969949
0
投稿猜你喜欢
自己写的小工具，可以直接获取csdn文章并转换为markdown格式效果图核心代码from PySide2.QtWidgets import- 情感分析（sentiment analysis）是2018年公布的计算机科学技术名词。它可以根据文本内容判断出所代表的含义是积极的还是负面的
- 目录jiaba库的使用1、jieba库的安装2、统计荷塘月色词频总结jiaba库的使用jieba库是一款优秀的 Python 第三方中文分词
- 一、在Yii中实现乐观锁乐观锁（optimistic locking）表现出大胆、务实的态度。使用乐观锁的前提是， 实际应用当中，发生冲突的
- ASP实现即时显示当前页面浏览人数online.asp文件 <!--#include file="dbconn.a
- pycharm里边安装不上d2l包。按以下步骤操作即可成功解决。1、首先查看现在pycharm所在的环境File—>
- 链接的 target 属性怎么用 JS 来控制？ 在HTML 4.0 Strict和XHTML 1.0 STRICT里不允许在<a&g
- Microsoft SQL Server 2000的会话上下文信息使应用程序得以设置二进制值，以便在同一会话或连接上运行的多个批处理、存储过
- Python 是面向对象的语言，所以程序抛出的异常也是类。常见的异常类1.NameError：尝试访问一个没有申明的变量2.ZeroDivi
- 1、你需要通过指定的文本模式去检查字符串的开头或者结尾，比如文件名后缀，URL Scheme 等等。检 查 字 符 串 开 头 或 结 尾
- 曲线一解释这里是使用matplotlib来绘制正态分布的曲线。代码实现import numpy as npimport matplotlib
- JavaScript中indexOf函数方法是返回 String 对象内第一次出现子字符串的字符位置。使用方法：strObj.indexOf
- 本文实例为大家分享了python绘制分组对比柱状图的具体代码，供大家参考，具体内容如下首先放效果图: # -*- co
- 之前遇到一个场景是这样的：我在自己的电脑上需要用mongodb图形客户端，但是mongodb的服务器地址没有对外网开放，只能通过先登录主机A
- 不同的色彩空间中对图片的色彩体现有很大不同#色彩空间的相互转换：最常见的是HSV与RGB,YUV与RGB的相互转换#常见色彩空间有：#RGB
- ACCESS有个BUG，那就是在使用 like 搜索时如果遇到日文就会出现“内存溢出”的问题，提示“80040e14/内
- 问题创建一个二叉树二叉树有限多个节点的集合，这个集合可能是：空集由一个根节点，和两棵互不相交的，分别称作左子树和右子树的二叉树组成创建二叉树
- jxdawei的个人博客：http://www.iwcn.net本文目的：与您分享如何学习基于web标准的网页制作。适合人群：网页制作初学者
- 图片外框特征参数: ①dashed：虚线②dotted：点虚线③solid：实线④double：双线⑤groove：沟
- python语句mode = ‘test’ if y is None else &lsquo
