解决redis与Python交互取出来的是bytes类型的问题
作者:重装大师1024 发布时间:2021-04-26 20:54:08
标签:redis,Python,bytes
基本代码
from redis import *
if __name__ == '__main__':
sr = StrictRedis(host='localhost', port=6379, db=0)
result=sr.set('name','python')
print(result)
result1 = sr.get('name')
print(result1)
运行结果:
True
b'python'
这里我们存进去的是字符串类型的数据,取出来却是字节类型的,这是由于python3的与redis交互的驱动的问题,Python2取出来的就是字符串类型的。
为了得到字符串类型的数据,你可以每次取出来decode一下,但是太繁琐了,可以这样设置:
sr = StrictRedis(host='localhost', port=6379, db=0,decode_responses=True)
即在连接数据库的时候加上decode_responses=True即可
补充知识:python读并写入redis 使用pipline管道
日常开发中,我们总是需要将一些文件写入到缓存中。而读文件较快的方式就是python了,另外python提供了非常好用的api帮助我们连接redis。本例中将会用rediscluster包来连接redis集群,并使用pipeline管道插入文件
# encoding: utf-8
from rediscluster import StrictRedisCluster
import sys
import os
import datetime
# redis_nodes = [{"host": "10.80.23.175", "port": 7000},
# {"host": "10.80.23.175", "port": 7001},
# {"host": "10.80.24.175", "port": 7000},
# {"host": "10.80.24.175", "port": 7001},
# {"host": "10.80.25.175", "port": 7000},
# {"host": "10.80.25.175", "port": 7001}
# ]
def redis_cluster():
redis_nodes = [{"host": "10.80.23.175", "port": 7000},
{"host": "10.80.23.175", "port": 7001},
{"host": "10.80.24.175", "port": 7000},
{"host": "10.80.24.175", "port": 7001},
{"host": "10.80.25.175", "port": 7000},
{"host": "10.80.25.175", "port": 7001}
]
try:
redisconn = StrictRedisCluster(startup_nodes=redis_nodes,
skip_full_coverage_check=True)
return redisconn
except Exception as e:
print("Connect Error!")
sys.exit(1)
def to_redis(redis_conn1, file_name):
# file_name = "D:\data\logs\hippo.log"
pipe = redis_conn1.pipeline()
# pos = []
index = 0
count = 0
with open(file_name, 'r') as file_to_read:
while True:
lines = file_to_read.readline()
lines = lines.replace("\n", "")
if not lines:
break
pass
s = lines.split("\t")
value = s[1]
key = s[0]
result = pipe.lpush(key, value)
# print(file_name + s)
index = index + 1
if index > 5000:
pipe.execute()
index = 0
count = count + 1
print("execute insert! count is %d" % count)
pass
pass
pipe.execute()
def read_file(path):
if os.path.isfile(path):
print("start execute file %s" % path)
to_redis(path)
else:
for root, dirs, files in os.walk(path):
# print('root_dir:', root) # 当前目录路径
# print('sub_dirs:', dirs) # 当前路径下所有子目录
print('files:', files) # 当前路径下所有非目录子文件
for fileName in files:
all_name = root + "/" + fileName
print("start execute file %s" % all_name)
to_redis(redis_conn, all_name)
start_time = datetime.datetime.now()
redis_conn = redis_cluster()
file_paths = sys.argv[1]
# 第一个参数是本文件 故去掉
#file_paths.pop[0]
#for file_name in file_paths:
#print(file_paths)
read_file(file_paths)
end_time = datetime.datetime.now()
print("use times is %d " % (end_time - start_time).seconds)
在使用的时候需要将要插入的文件以参数形式传入到命令中
例如,将 /data/a.log 插入到redis中
python RedisFIleToRedis.py /data/a.log
来源:https://blog.csdn.net/weixin_40612082/article/details/83958864


猜你喜欢
- MySQL 内连接、左连接、右连接、外连接、多表查询构建环境:create table t_emp(id int primary key,
- encode() 方法返回字符串的编码版本。默认编码是当前的默认字符串编码。可给予设置不同的错误处理机制。语法以下是encode
- 在一篇文章中看到关于PHP引用的图解,对于加深对PHP引用的理解很有帮助,在这里备份一下。如果你对PHP的引用一点也不了解,可以先看我之前的
- 我们学习编程,在学习的时候,会有想把有用的知识点保存下来,我们可以把知识点的内容爬下来转变成pdf格式,方便我们拿手机可以闲时翻看,是很方便
- Python获取电脑截图有多种方式,具体如下:PIL中的ImageGrab模块windows APIPyQtpyautoguiPIL中的Im
- 前言:平时根据需求写代码.人工进行测试往往不会面面俱到,还会因为需求的改变繁琐的进行测试通过完成一个测试函数,可以大大简化测试的步骤,并且在
- django restframework 导入excel内容,可以查看另外一篇文章一、基础环境web架构:前后端分离,前端使用vue,后端使
- 1.合并1.1 结构合并将两个结构相同的数据合并1.1.1 concat函数函数配置:concat([dataFrame1, dataFra
- SOCKET编程socket(套接字):是一个网络通信的端点,能实现不同主机的进程通信, -通过IP+端口定位对方并发送消息的通信机制分为U
- 正文方法一:直接使用已知的cookie访问特点:简单,但需要先在浏览器登录原理:简单地说,cookie保存在发起请求的客户端中,服务器利用c
- 让我们重温一下JavaScript的一些基础知识,请先写出以下代码中问号处的答案,再运行比较!<script type=&q
- 一、python中字符串转换成数字(方法1)类中进行导入:import stringstr='555'num=string.
- SQL Server UPDATE语句用于更新数据,下面就为您详细介绍SQL Server UPDATE语句语法方面的知识,希望可以让您对S
- 在使用列表、数组和矩阵的过程中,经常需要相互转换。特此总结相互间转换的过程及结果,供大家参考。第三方包:numpy
- vuex状态刷新网页时数据被清空问题vuex状态管理,在网页刷新数据被清空的解决方法。在main.js中写入下面的代码段(亲测有效)//刷新
- networkx返回图的邻接矩阵最近有用到关于邻接矩阵的一些问题,平时不太常用所以一直没注意到networkx里面的函数,权当笔记了,有兴趣
- 在实际工作中,有时候需要对判断字符串是否为合法的json格式解决方法使用json.loads,这样更加符合‘Pythonic'写法代
- 姿态检测是计算机视觉领域的一个活跃研究领域。你可以从字面上找到数百篇研究论文和几个试图解决姿势检测问题的模型。之所以有如此多的机器学习爱好者
- 前言在以前,商业分析对应的英文单词是Business Analysis,大家用的分析工具是Excel,后来数据量大了,Excel应付不过来了
- 前言本文提供获取视频时长的python代码,精确到毫秒,一如既往的实用主义。环境依赖 ffmpeg环境安装,可以参考:window