MySQL中的多字段相同数据去重复
作者：嗨皮螃 发布时间：2024-01-17 11:21:21
标签：MySQL,多字段,数据,去重
MySQL多字段相同数据去重复
MySQL多字段去重复实际上是单字段去重复的衍生，原理就是把多字段数据通过子查询合并为单字段的数据表，再通过单字段数据group by 进行汇总，用 having把 count(字段) > 1的数据都显示出来，最后把查找到的重复数据 用min方法或者max方法获取最小id或者最大id来选择删除。
1、多字段转单字段
这里需要把id显示出来，后面有用到
SELECT id,CONCAT(`host`,path,params) AS uuid FROM static_url
2、把多字段合并为单字段
的查询结果放入子查询，查找存在重复的数据，并显示重复数
SELECT COUNT(a.id),a.uuid FROM (
SELECT id,CONCAT(`host`,path,params) AS uuid FROM static_url
) a GROUP BY a.uuid HAVING COUNT(a.id) > 1
3、将查询到的重复id
来获取重复数据里最小的id
SELECT min(a.id) FROM (
SELECT id,CONCAT(`host`,path,params) AS uuid FROM static_url
) a GROUP BY a.uuid HAVING COUNT(a.id) > 1
4、将获取到重复数据最小的id值
放入 IN内作为删除数据的条件
DELETE FROM static_url WHERE id IN(
SELECT min(a.id) FROM (
SELECT id,CONCAT(`host`,path,params) AS uuid FROM static_url
) a GROUP BY a.uuid HAVING COUNT(a.id) > 1
)
5、bug补充
如果直接执行步骤4的代码时，MySQL会卡住，会卡住，卡住，住！
虽然逻辑上来说没问题，但执行的时候嵌套过多子查询，就会出现问题，所以要把子查询数据拎出来再放入删除语句内
DELETE FROM static_url WHERE id IN(
91383,26240,26256,26269,26129,26108,26029,26067,26095,26309,26595,51805,37459,32493,32417
)
6、将步骤4的代码多执行几次
直到执行结果显示没有删除到数据的时候才停止，因为重复数据不一定只重复一次，很可能重复好几次，每一次执行只能删除重复数据的最小id，不是只保留最大id
来源：https://blog.csdn.net/shark_pang/article/details/125440416
0
投稿猜你喜欢
本文主要给大家介绍了关于MySQL服务自动停止的解决方法，分享出来供大家参考学习，下面来一起看看：问题描述服务器上安装的 MySQL，会出现- 爬取一些网站下指定的内容，一般来说可以用xpath来直接从网页上来获取，但是当我们获取的内容不唯一的时候我们无法选择，我们所需要的、所指定的
- 你是否发现，在浩如烟海的应用程序堆里，具有漂亮图标和清爽名字的 App 更容易被用户喜爱。作为开发者，面对这自己的作品，能否自问一句：“从图
- 字符串是不可变类型，可以重新赋值，但不可以索引改变其中一个值，只能拼接字符串建立新变量索引和切片索引：越界会报错切片：越界会自动修改不包含右
- 在日常应用中，往往根据实际需求录入一些值，而这些值不能直接使用，所以Sql中经常会对字段值进行一些常规的处理。这里搜集了（提取数字、英文、中
- 话说网站首页是用.NET语言写的，而二级栏目页却是用ASP写的，然后再配上众多全手工的静态专题页，整个网站形成了一个大杂烩。想要在这大杂烩中
- odeJs 微信公众号功能开发,移动端 H5页面调用微信的支付功能。这几天根据公司的需要使用 node 和 h5页面调用微信的支付功能完成支
- 请按步骤进行,未进行前面的步骤时,请不要做后面的步骤，以免损坏你的数据库.一般不建议做第4,6两步，第4步不安全,有可能损坏数据库或丢失数据
- 前言分水岭算法是用于分割的经典算法，在提取图像中粘连或重叠的对象时特别有用，例如下图中的硬币。使用传统的图像处理方法，如阈值和轮廓检测，我们
- 这篇文章主要介绍了如何基于pythonnet调用halcon脚本,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值
- 前言目前学习python几个月了，由于自己比较喜欢跑马拉松，已经跑过了很多场比赛，前些天就写了个简单的爬虫爬取了网上三千多场马拉松比赛的报名
- 实例如下所示：# -*- coding: UTF-8 -*-from urllib import requestif __name__ ==
- 1、安装AnacondaAnaconda指的是一个开源的Python发行版本，其包含了conda、Python等180多个科学包及其依赖项。
- 目录1 键的类型，列表/字典不可以，其它都可以2 多个对象可当作键名，顺序不同时是不同的键3 结论【有误】：今天看别人代码时发现一个事，就是
- 1. 表单框类型<!DOCTYPE html><html lang="en"><head&
- 在 Python 的项目中，如何管理所用的全部依赖库呢？最主流的做法是维护一份“requirements.txt”，记录下依赖库的名字及其版
- 在我们使用pyCharm编辑器中有一些方法或者库都是需要我们自行安装，下面就来安装一波安装第三方库有俩个方法使用pip命令来进行安装（pip
- Python中的random模块用于生成随机数。下面介绍一下random模块中最常用的几个函数。random.randomrandom.ra
- 实例1：获取星期字符串程序读入一个表示星期几的数字（1~7)，输出对应的星期字符串名称。例如，输入 3，返回“星期三&a
- 同步数据库：使用上述两条命令同步数据库1.认识migrations目录：migrations目录作用：用来存放通过makemigration
