python redis连接 有序集合去重的代码
作者:misszm 发布时间:2023-10-23 21:24:32
标签:python,redis,有序,集合,去重
python redis连接 有序集合去重的代码如下所述:
# -*- coding: utf-8 -*-
import redis
from constant import redis_ip, redis_db, redis_pw, redis_zset_name
pool = redis.ConnectionPool(host=redis_ip, db=redis_db, password=redis_pw)
# pool = redis.ConnectionPool(db=6, password=redis_pw)
rr = redis.Redis(connection_pool=pool) # # 客户端StrictRedis=Redis 合并了
pipe = rr.pipeline(transaction=True) # 批量操作, 遇到异步容易出错, 可以不使用, 直接用 rr 连接对象,一次一个添加
def distinct_md5(date, eml_md5, eml_path, redis_fail_path):
"""
用md5标记去重, Redis有序集合去重, Redis版本不一样, 用法有区别
:param date: 排序分数: int
:param eml_md5: 文件或者其他md5
:return: 1 添加成功, 没有去重 0 失败, 去重
"""
# pipe.zadd(redis_zset_name, eml_md5, date)
# pipe.zadd(redis_zset_name, {date: eml_md5}, nx=True) # nx 只插入,存在的值不会修改其分数
# pipe.zadd(redis_zset_name, {date: eml_md5})
pipe.zadd(redis_zset_name, {eml_md5: date})
return pipe.execute()[0] # 1 添加, 0 没添加
# pipe.zcard('eml_md5_zset') # 查看总个数
def del_redis_md5(n, m): # 按照分数值进行删除, n, m 为分数, 前后闭区间
pipe.zremrangebyscore(redis_zset_name, n, m)
pipe.execute()
总结
以上所述是小编给大家介绍的python redis连接 有序集合去重的代码,希望对大家有所帮助,如果大家有任何疑问欢迎给我留言,小编会及时回复大家的!
来源:https://www.cnblogs.com/520zm/p/11298208.html
0
投稿
猜你喜欢
- 马上就要过节了,想把自己的项目搞得酷炫一些,对整个网站的按钮添加图标、飘花效果、首屏大图展示、顶部导航背景图,于是就写了这一遍文字,如有兴趣
- PHP ZipArchive 是PHP自带的扩展类,可以轻松实现ZIP文件的压缩和解压,使用前首先要确保PHP ZIP 扩展已经开启,具体开
- 所谓的列表推导式,就是指的轻量级循环创建列表。基本使用方式# 创建一个0-10的列表a = [x for x in range(11)]pr
- 前言最近参加了datawhale的组队学习活动,在组队学习动员下,开始通过强迫自己输出来实现更好的输入与处理,6-15开始自己的第一次文章发
- # -*- coding: cp936 -*-from scapy.all import *from threading import Th
- 语法:replace(self, to_replace=None, value=None, inplace=False, limit=Non
- 本文实例讲述了Python创建xml文件的方法。分享给大家供大家参考,具体如下:这是一个使用ElementTree有关类库,生成xml文件的
- 本文实例讲述了Python实现小数转化为百分数的格式化输出方法。分享给大家供大家参考,具体如下:比如将 0.1234 转化为 12.34%
- 一、背景python是一个动态语言,可以支持我们在运行时动态的给类、对象添加属性或者方法;但是如果我们想要限制可以添加的属性或方法该怎么办呢
- 大家好,我是Peter~本文讲解的是如何利用Pandas函数求解两个DataFrame的差集、交集、并集。模拟数据模拟一份简单的数据:In
- 动机: 查询功能是我们在网站上见过的最普遍也是最常用的一个功能模块了。以往的信息查询都是连接到数据库的,每一次点击都必须要后台数据库的支持。
- 本文探讨了提高MySQL 数据库性能的思路,并从8个方面给出了具体的解决方法。1、选取最适用的字段属性MySQL可以很好的支持大数据量的存取
- 一、前言本文就从数据爬取、数据清洗、数据可视化,这三个方面入手,但你简单完成一个小型的数据分析项目,让你对知识能够有一个综合的运用。整个思路
- 在应用中,有时候会 依赖第三方模块执行方法,比如调用某模块的上传下载,数据库查询等操作的时候,如果出现网络问题或其他问题,可能有超时重新请求
- 现有问题当前的项目中包括一个6200万行、500多列的表。其中的数据来自SQL Server以外,它们到达的表中有一个标识主键,所有剩下的列
- 软件环境: 1、操作系统:Windows 2000 Server 2、数 据 库:Oracle 8i R2 (8.1.7) for NT 企
- 下面是我写的NumericStepper:谢谢 果果 和 Rimifon , 我对代码进行了完善, 支持自适应小数位数:
- MVC模式MVC, 全名Model View Controller, 是软件工程中的一种软件架构模式,把软件系统分为三个基本部分:模型(Mo
- 背景中秋的时候,一个朋友给我发了一封邮件,说他在爬链家的时候,发现网页返回的代码都是乱码,让我帮他参谋参谋(中秋加班,真是敬业= =!),其
- 一、通用爬虫通用网络爬虫是搜索引擎抓取系统(Baidu、Google、Sogou等)的一个重要组成部分。主要目的是将互联网上的网页下载到本地