Django 解决distinct无法去除重复数据的问题
作者:CQ-LQJ 发布时间:2023-02-09 22:13:22
使用distinct在mysql中查询多条不重复记录值的解决办法
如何使用distinct在mysql中查询多条不重复记录值?
有时候想用distinct去掉queryset中的重复项,看django文章中是这么说的
>>> Author.objects.distinct()
[...]
>>> Entry.objects.order_by('pub_date').distinct('pub_date')
[...]
>>> Entry.objects.order_by('blog').distinct('blog')
[...]
>>> Entry.objects.order_by('author', 'pub_date').distinct('author', 'pub_date')
[...]
>>> Entry.objects.order_by('blog__name', 'mod_date').distinct('blog__name', 'mod_date')
[...]
>>> Entry.objects.order_by('author', 'pub_date').distinct('author')
[...]
Note
django文档 * 别介绍了,distinct的列一定要先order_by并且在第一项。
When you specify field names, you must provide an order_by() in the QuerySet, and the fields in order_by() must start with the fields in distinct(), in the same order.
For example, SELECT DISTINCT ON (a) gives you the first row for each value in column a. If you don't specify an order, you'll get some arbitrary row.
完全照做,用的mysql数据库最后出现了这样的警告:
raise NotImplementedError('DISTINCT ON fields is not supported by this database backend')
NotImplementedError: DISTINCT ON fields is not supported by this database backend
告诉我数据库不支持。
当然可以这样:
items = []
for item in query_set:
if item not in items:
items.append(item)
首先,我们必须知道在django中模型执行查询有两种方法:
第一种,使用django给出的api,例如filter value distinct order_by等模型查询api;
代码:LOrder.objects.values('finish_time').distinct()
这里应注意,原官方文档中写到:
示例(第一个之后的示例都只能在PostgreSQL 上工作):
>>> Author.objects.distinct() [...] >>> Entry.objects.order_by('pub_date').distinct('pub_date') [...] >>> Entry.objects.order_by('blog').distinct('blog') [...] >>> Entry.objects.order_by('author', 'pub_date').distinct('author', 'pub_date') [...] >>> Entry.objects.order_by('blog__name', 'mod_date').distinct('blog__name', 'mod_date') [...] >>> Entry.objects.order_by('author', 'pub_date').distinct('author')
因为我使用的mysql数据库,所以在distinct只能是第一中用法,或者可以这样用
LOrder.objects.values('finish_time').distinct().order_by('finish_time')
第二种,使用原始SQL查询
LOrder.objects.raw('SELECT DISTINCT id,finish_time FROM keywork_lorder group by finish_time')
上面直接使用mysql语句进行剔重,这里需要特别注意的是:
一是原始SQL查询只有一种字段不可以被丢掉,官方文档中这样说道:
只有一种字段不可以被省略——就是主键。 Django 使用主键来识别模型的实例,所以它在每次原始查询中都必须包含。 如果你忘记包含主键的话,会抛出一个InvalidQuery异常。
意思是,如果你的sql语句是这样的'SELECT DISTINCT finish_time FROM keywork_lorder ',那么将会报错Raw query must include the primary key,就是id字段不能被丢掉!
二是,这里是原始mysql查询语句,mysql去掉重复项要这样写:'SELECT DISTINCT id,finish_time FROM keywork_lorder group by finish_time'
补充:使用Distinct去除重复数据
distinct用于在查询中返回列的唯一不同值(即去重复),支持单列或多列。
在实际的应用中,表中的某一列含有重复值是很常见的,如employee员工表的dept部门列。
如果在查询数据时,希望得到某列的所有不同值,可以使用distinct。
distinct 语法
select 【distinct】 column_name1,column_name2
from table_name;
下面开始操作
创建一个足迹表
create table footprint(
id int not null auto_increment primary key,
username varchar(30) comment '用户名',
city varchar(30) comment '城市',
visit_date varchar(10) comment '到访日期'
);
插入一些数据
insert into footprint(username, city, visit_date) values('mofei', '贵阳', '2019-12-05');
insert into footprint(username, city, visit_date) values('mofei', '贵阳', '2020-01-15');
insert into footprint(username, city, visit_date) values('mofei', '北京', '2018-10-10');
insert into footprint(username, city, visit_date) values('zhangsan', '上海', '2020-01-01');
insert into footprint(username, city, visit_date) values('zhangsan', '上海', '2020-02-02');
insert into footprint(username, city, visit_date) values('lisi', '拉萨', '2016-12-20');
这些用户到访过那些城市
mysql> select distinct city from footprint;
和group by 效果相同,只不过distinct专门负责去重复这个活
mysql> select city from footprint group by city;
查询有几个用户在使用系统
mysql> select distinct username from footprint;
dictinct作用于两个字段时,多条数据都相同时会保留一条
以上内容来自墨菲墨菲的补充
补充知识:Distinct和Group by去除重复字段记录
重复记录 有两个意义,一是完全重复的记录,也即所有字段均重复的记录
二是部分关键字段重复的记录,比如Name字段重复,而其他字段不一定重复或都重复可以忽略。
1、对于第一种重复,比较容易解决,使用
select distinct * from tableName
就可以得到无重复记录的结果集。
如果该表需要删除重复的记录(重复记录保留1条),可以按以下方法删除
select distinct * into #Tmp from tableName
drop table tableName
select * into tableName from #Tmp
drop table #Tmp
发生这种重复的原因是表设计不周产生的,增加唯一索引列即可解决。
2、这类重复问题通常要求保留重复记录中的第一条记录,操作方法如下
假设有重复的字段为Name,Address,要求得到这两个字段唯一的结果集
select identity(int,1,1) as autoID, * into #Tmp from tableName
select min(autoID) as autoID into #Tmp2 from #Tmp group by Name
select * from #Tmp where autoID in(select autoID from #tmp2)
最后一个select即得到了Name,Address不重复的结果集(但多了一个autoID字段,实际写时可以写在select子句中省去此列)
其它的数据库可以使用序列,如:
create sequence seq1;
select seq1.nextval as autoID, * into #Tmp from tableName
zuolo: 我根据上面实例得到所需要的语句为 SELECT MAX(id) AS ID,Prodou_id,FinalDye FROM anwell..tblDBDdata GROUP BY Prodou_id,FinalDye ORDER BY id,之前一直想用Distinct来得到指定字段不重复的记录是个误区。
来源:https://www.cnblogs.com/CQ-LQJ/p/5133390.html


猜你喜欢
- 本文实例讲述了Python模拟登录12306的方法。分享给大家供大家参考。具体实现方法如下:#!/usr/bin/python# -*- c
- 以下是一些Python实用技巧和工具,希望能对大家有所帮助。交换变量x = 6y = 5x, y = y, xprint x>>
- from urllib.request import urlopen
- 目的描述:为了让没有安装Python的人也能使用我们编写的.py文件,我们需要将编写好的Python程序生成.exe文件。第一步 下载pyi
- 不知道大家有没发现DWMX中有一个和FW差不多的制作弹出菜单功能?这个功能允许用文字和图片做为主菜单,如果用文字的话要先做虚拟链接。下面简单
- 页面中header部分一般位于最上端(有时根据需要也会位于某一侧,不管它在页面中的位置如何,在XHTML代码中它总是优于其它元素先加载),内
- #coding:utf-8"""__new__和__init__到底是怎么一回事,看下面的代码如果类没有定义_
- 我们都知道Jupyter notebook更换主题后看着会很舒服,但是有个问题主题更换后工具栏不显示了。usename$ jt -lAvai
- 1、基本原理访问网站扫码登录页,网站给浏览器返回一个二维码和一个唯一标志KEY浏览器开启定时轮询服务器,确认KEY对应的扫码结果用户使用ap
- 前几天又有人在我的这篇文章 python项目练习一:即时标记 下留言,关于其中一个闭包和re.sub的使用不太清楚。我在自己的博客上搜索了下
- 方法如下: response.cookies(cookiesname)[(key)|.attribute]=value 解释如下:cooki
- 有些时候我们需要得到刚刚插入数据库中的条目id,用于相关系统的更改,在以前我是使用select+top 1+desc 这种笨方法实现的,在没
- 本文实例讲述了PHP闭包定义与使用。分享给大家供大家参考,具体如下:<?phpfunction getClosure($i){ &nb
- 一、解析网站1.1 获取音频地址在喜马拉雅网站上,随便点开一个音频,打开“开发者工具”,再点击播放按钮,可以看到出现了多个请求:经过排查,发
- AERGO SHIP:用于开发智能合约的包管理器用于构建、测试和部署分布式应用程序的客户端框架和开发环境构建大型分布式应用程序是很困难的,因
- JavaScript中访问节点对象的方法有哪些? var obj = document.getElementById('fdafda
- Apache SkyWalking 在本月初发布了 SkyWalking Backend、UI 的 9.2.0 版本 以及&nbs
- 简介rpc:远程过程调用协议。简单的来说就是客户端可以很方便得远程调用服务端的接口程序,而不用管底层是如何实现的。XML-RPC的全称是XM
- 一、异步解决方案的进化史JavaScript的异步操作一直是个麻烦事,所以不断有人提出它的各种解决方案。可以追溯到最早的回调函数(ajax老
- 代码如下:from PIL import Image #图像处理模块import numpy as npa = np.asarr