MySQL 去除重复数据实例详解
作者：lqh 发布时间：2024-01-24 13:21:53
标签：MySQL,去除
MySQL 去除重复数据实例详解
有两个意义上的重复记录，一是完全重复的记录，也即所有字段均都重复，二是部分字段重复的记录。对于第一种重复，比较容易解决，只需在查询语句中使用distinct关键字去重，几乎所有数据库系统都支持distinct操作。发生这种重复的原因主要是表设计不周，通过给表增加主键或唯一索引列即可避免。
select distinct * from t;
对于第二类重复问题，通常要求查询出重复记录中的任一条记录。假设表t有id,name,address三个字段，id是主键，有重复的字段为name,address，要求得到这两个字段唯一的结果集。
-- Oracle、MySQL，使用相关子查询
select * from t t1
where t1.id =
(select min(t2.id)
from t t2
where t1.name = t2.name and t1.address = t2.address);
-- Hive只支持在FROM子句中使用子查询，子查询必须有名字，并且列必须唯一
select t1.*
from t t1,
(select name, address, min(id) id from t group by name, address) t2
where t1.id = t2.id;
-- 还可以使用hive的row_number()分析函数
select t.id, t.name, t.address
from (select id, name, address,
row_number() over (distribute by name, address sort by id) as rn
from t) t
where t.rn=1;
感谢阅读，希望能帮助到大家，谢谢大家对本站的支持！
来源：http://blog.csdn.net/wzy0623/article/details/53926508
0
投稿猜你喜欢
- 有在论坛上看到一帖，《请教查询出连续日期记录的方法》，截图如下：Insus.NET尝试写了程序并做了测试，可以得到预期的结果，SQL代码可参
- 在写代码时，经常会遇到多个矩阵数组拼接的情况，numpy里dstack, hstack, vstack, 都有拼接的作用，那么这些函数是怎么
如下所示：import pandas as pd#如果需要的话,需将df中的date列转为datetimedf.date = pd.to_d- 随着 CSS3 渐入人心，Web 字体逐渐成为话题，这种即将让未来的 Web 更加丰富多彩的技术（或者说标准）拥有多种可能，虽然 .webf
- php5.2新增的json功能是非常受欢迎的，但是经过测试发现， json_encode对中文的处理是有问题的， 1.不能处理GB编码，所有
- 前言爬虫和反爬虫日益成为每家公司的标配系统。爬虫在情报获取、虚假流量、动态定价、恶意攻击、薅羊毛等方面都能起到很关键的作用，所以每家公司都或
- 1.首先注册应用，获取 appkey、appsecretapi_url = "https://oapi.dingtalk.com/
- 写在前面其实我之前写过一个简单的识别手写数字的程序，但是因为逻辑比较简单，而且要求比较严苛，是在50x50大小像素的白底图上手写黑色数字，并
- 本文实例为大家分享了python递归全排列的实现方法，供大家参考，具体内容如下排列：从n个元素中任取m个元素，并按照一定的顺序进行排列，称为
- 先看一个实例这是我用asp写的一个搜索一个字符串里面第一张图片地址的函数（当然你可以将values那里换一个得到所有图片地址）functio
- 一、安装与配置1、配置GitLab服务在PyCharm中默认已经集成了Git和GitHub，打开File-->Setting-->
- 学了这么长时间的Pygame，一直想写个游戏实战一下。看起来很简单的游戏，写其来怎么这么难。最初想写个俄罗斯方块，想了很长时间如何实现，想来
- 为什么要做接口自动化框架1、业务与配置的分离2、数据与程序的分离；数据的变更不影响程序3、有日志功能，实现无人值守4、自动发送测试报告5、不
- 数据库服务器主要用于存储、查询、检索企业内部的信息，因此需要搭配专用的数据库系统，对服务器的兼容性、可靠性和稳定性等方面都有很高的要求。下面
- 本程序属于一种特别的方法。使用范围比较有限，而且有一定的危险性。借鉴了asp后门里的一些方法。由于读取某IP的网卡MAC地址本程序通过调用a
- 每天换一个壁纸，每天好心情。# -*- coding: UTF-8 -*- from __future__ import unicode_l
- Python中的函数调用与c++不同的是将this指针直接作为self当作第一个形参进行处理，从而将静态函数与实例方法的调用形式统一了起来。
- 集合 (set)1、由不同的元素组成，用{ }大括号括起来，用，逗号隔开2、无序的3、集合中的元素必须是比可变类型4、集合会自动去重例如：s
- 大家好，我是煎蛋哥！上篇文章聊到了 Python 实现大 * 票自由的完整流程如何使用 Python 实现彩票自由（大乐透）和体彩大乐透类似
- 1. 获取时间1.1 当前时间获取package mainimport ( "
