通过缓存+SQL修改优雅地优化慢查询
作者:Robinbin 发布时间:2024-01-21 12:01:16
问题描述
单例数据库模式中,后端高并发请求多(读多写少),导致数据库压力过大,关键接口响应变慢,严重影响体验。
需求
减少接口的响应时间。
寻找解决方案
由于问题主要处在数据库压力过大的情况,采用两种优化思路优化查询过程:
使用缓存分担数据库压力
对查询数据库过程做优化
缓存方案
更新策略
使用Redis,虽然可以很好地减少数据库的压力,但是同时在高并发的情况下,容易出现数据不一致的情况,尤其是在更新数据的时候。
最常见的导致不一致的原因是双写操作,即高并 * 况下短时间内对数据库进行两次写操作。为了最小程度地出现这种情况,缓存在更新策略上采用先更新数据库后删除缓存的方式。
对于双写问题,在最坏情况下,写请求A在更新数据库后,被写请求B先一步更新数据库+删除缓存,然后A请求才删除缓存,也不会导致后续请求读取到错误的值。
对于先写后读,在最坏情况下,写请求A在更新数据库后,被读请求C先一步在缓存读取到旧值,然后A请求才删除缓存,也只会影响这段时间的读请求,删除后的读请求不影响。
对比其他方案(先更新缓存后更新数据库、先删除缓存后更新数据库、先更新数据库后更新缓存)在最坏情况下会导致的错误(更新数据库失败导致缓存是未知值、双写后数据库变成旧值、更新缓存失败导致缓存保存旧值)要好得多。
但是先更新数据库后删除缓存也不是完全安全的,除了上文提到的高并发下先写后读可能读到旧值外,若删除缓存失败,也有可能导致读到旧值。处理方法见下文。
缓存架构
添加缓存,势必要修改业务代码,如何配置架构才能把对代码的入侵性讲到最低,这里使用监听数据库binlog的方法,使用中间件监听mysql的日志,当出现操作时,通知专门的模块来修改缓存,做到修改缓存和业务逻辑解耦。
同时为了解决缓存删除失败的问题,当发生失败时,发送消息至消息队列传递给专门的模块进行重试删除。
中间件选择:
缓存使用Redis
监听binlog使用canal
消息队列使用RocketMQ
架构如下所示:
SQL优化
查询优化可以从两个方面进行:
根据高频的查询case,遵循最左匹配原则,设置对应的索引或联合索引
通过了解业务场景,看看能否将一些小SQL合并成大SQL
通过本文的介绍,我们可以看到,优化慢查询并不一定需要对程序代码进行复杂的修改。通过巧妙地运用缓存和SQL优化手段,我们可以达到相同或者更好的效果。在实际的开发中,我们应该继续探索和研究这些优化方法,以提高程序的效率和稳定性。
来源:https://www.cnblogs.com/robinbin/p/17294552.html


猜你喜欢
- 为了防止再次被攻击,做个验证码过滤程序是必要的。我在网上找了一些资料,觉得用别人做好的代码总是很不爽,自己做麻又不会写复杂的代码,特别是生成
- Windows下的安装:下载地址:https://pypi.python.org/pypi/pyquery/#downloads下载后安装:
- 在我们平常使用Python进行数据处理与分析时,在import完一大堆库之后,就是对数据进行预览,查看数据是否出现了缺失值、重复值等异常情况
- 最近在做个大数据量的录入,为了方便客户输入,需要通过方向键来移动到输入框中,本代码仅供学习、研究,请勿用于其它用途:D下面贴的代码只是贴出来
- 姿态检测是计算机视觉领域的一个活跃研究领域。你可以从字面上找到数百篇研究论文和几个试图解决姿势检测问题的模型。之所以有如此多的机器学习爱好者
- 本文实例讲述了python写xml文件的操作的方法,分享给大家供大家参考。具体方法如下:要生成的xml文件格式如下:<?xml ver
- 利用python的递归来执行求和、计数、求最大元素的方法简直溜到爆,这里粘贴一下代码:列表的递归求和:def sum(list): if l
- 正在看的ORACLE教程是:Oracle 数据表分区的策略。本文描述通过统计分析出医院信息系统需分区的表,对需分区的表选择分区键,即找出包括
- 这个需求是有个表结构,本身设计为 但现在需要将blob里地17、18、19三个字段里的数据作为数字保存在blob外新增的三个字段Gem1 G
- 1.数组中已存在两个可直接用来重排序的方法:reverse()和sort()。reverse()和sort()方法的返回值是经过排序后的数组
- 1. 背景golang 原生 json 包,在处理 json 对象的字段的时候,是需要严格匹配类型的。但是,实际上,当我们与一些老系统或者脚
- 目录需求背景思路分析UI展示开始使用一 编写支付组件模板二 支付组件的JS相关代码和说明附:组件JS完整的源码需求背景市场报告列表展示的报告
- —1—如果你对本文的代码感兴趣,可以去 Github (文末提供)里查看。第一次运行的时候会报一个错误(还没找到解决办法),不过只要再运行一
- 1.首先安装 “Python” 插件2.安装 pylint 语法检查器推荐安装在当前的 Python
- 1. 代码完整的源代码:import torchfrom torch import nn# 定义一个LSTM模型class LSTM(nn.
- 简介HTTP协议规定post提交的数据必须放在消息主体中,但是协议并没有规定必须使用什么编码方式。服务端通过是根据请求头中的Content-
- 区别1let和var用来声明变量,const用来声明常量。变量就是赋值后可以改变它的值,常量就是赋值后就不能改变它的值。当声明为对象时,可以
- 如下所示:from kafka import KafkaClientfrom kafka.producer import SimplePro
- 作者:peace.zhao 关于 游标 if,for 的例子 create or replace procedure peace_if is
- 一、什么是RequestsRequests 是Python语编写,基于urllib,采Apache2 Licensed开源协议的 HTTP