图文详解Mysql使用left join写查询语句执行很慢问题的解决
作者:zyypjc 发布时间:2024-01-13 17:14:52
(一)前言
这几天供应商在测试环境上使用MYSQL数据库做开发时遇到一个SQL性能问题,即在他开发环境本地跑SQL速度很快就一两秒时间,但是同样的SQL放在测试环境上死活跑了很久一直出不了结果。最后求助到我这边,以下正文是我解决这次问题的一个过程浅谈,供大家参考。
(二)正文
本文使用NAVICAT试用版作为基础工具来说明,需要永久激活的可以在网上找到相关介绍走正式途径。
其次附上一篇文章,解释说明如果在NAVICAT中运行一条长时间的SQL想关闭终止它,图形化点击失败时候所应该采取的方式,文章链接如下:
在Navicat上如何停止正在运行的MYSQL语句
1. 表结构/索引展示
以下将大致描述下本次遇到性能问题涉及的两张表(rep_consultant_first和rep_newcomer_consultant)的表结构和索引。
(1)表结构
a. rep_consultant_first
b. rep_newcomer_consultant
(2)各表索引情况
a. rep_consultant_first
b. rep_newcomer_consultant
2. 存在性能问题的SQL语句
这条SQL语句的意图在于找出rep_newcomer_consultant表中缺失的存在于rep_consultant_first表中的数据,即可求这两张表的差集(rep_consultant_first - rep_newcomer_consultant),简单说就是下图里的红色填充区域。
select consultantNumber,
customerId,userName,
telephoneNumber,
sponsorConsultantNumber,
signUpDate
from rep_consultant_first rcf left join rep_newcomer_consultant rnco
on rnco.rncoConsultantNumber=rcf.consultantNumber
where rnco.rncoConsultantNumber is null;
直接运行后我们发现这条语句运行了好几十分钟依旧没有结果,假如只是稍微慢一点那可能勉强说得过去,但是目前这种情况实在是到无法接受的情况了!!!
3. 解决思路
(1)执行计划思路调优
一般SQL慢了,第一个想的一定是查一下执行计划是不是哪个环节没有走索引,走了全表扫描,让我们选中SQL部分,点击“解释已选择的”来看下这条SQL的执行计划详情:
从执行计划中我们看到别名为rcf(即rep_consultant_first表)的type方式走了ALL,即全表扫描,那自然而然我们会先想从这里去优化。
回到rep_consultant_first表的索引位置,我们看到在select后筛出来的字段里只有consultant number和sponsorConsultantNumber字段上有索引而其他并没有,所以不可避免走了全表扫描
那我们先尝试下给未加索引的字段加上一组索引,大致流程如下:
a. 找到所要加索引字段所在的表(rep_consultant_first),右键点击后选择"设计表"
b. 找到索引选项卡,添加索引TestIndex,最后点击保存。
让我们重新回到一开始的SQL,看一下加完索引后是否执行计划有优化:
可以看出,执行计划的TYPE从ALL变成了INDEX且EXTRA列明确说明了Using index了,那说明执行计划确实改变了,没有扫全表,不过遗憾的是。。。SQL依旧跑不出来。。。
(2)字符集匹配调优
此时真的黔驴技穷了么??还真没有 !足球篮球世界里我们经常看到最后时刻逆袭的致命一击取得胜利,在SQL优化里我们同样有这样的机会! 仔细回想了下,似乎在MYSQL相关手册资料中的优化TIPS里除了添加相关字段索引之外,那left join中关联两表的字段,字符集是否需要统一???
有了这个思路,我们立马着手再看下这条问题SQL语句,我们重点关注rep_consultant_first表上的consultantNumber字段以及rep_newcomer_consultant表上的rncoConsultantNumber字段:
对比之下,立马看出了区别!在rep_consultant_first上字段consultantNumber的字符集为utf8mb4,而rep_newcomer_consultant上字段rncoConsultantNumber的字符集为gbk。在官方相关文档中提到过关联字段除了需要有索引外,拥有相同的字符集以及数据类型相当重用,这会极大影响查询速度!
接下来我们来具体操作下,可以将rep_newcomer_consultant上字段rncoConsultantNumber的字符集改从gbk改为utf8mb4,排序方式也改为和rep_consultant_first表一样的utf8mb4_0900_ai_ci试一试,点击保存按钮:
保存成功后,我们立马再运行下慢SQL:
一下子只有0.885秒了!!速度飙升到无法言喻的速度!至此我们基本算优化成功了。
(三)总结
经过这个案例后,我搜罗总结了下本例涉及到一些优化注意点:
1. 关于执行计划中TYPE的性能比较
2. 关于left join优化
1、left join选择小表作为驱动表(这部分基本是大家的共识)
2、如果左表比较大,并且业务要求驱动表必须是左表,那么我们可以通过where条件语句,使得左表被过滤的小一些,主要原理和第一条类似
3、关联字段给索引,因为在mysql的嵌套循环算法中,是通过关联字段进行关联,并查询的,所以给关联字段索引很必要
4、如果sql里面有排序,请给排序字段加上索引,不然会造成排序使用全表扫描
参考:https://www.oschina.net/question/930697_2190172
5、如果where条件中含有右表的非空条件(除开is null),则left join语句等同于join语句,可直接改写成join语句。6、根据文档,MySQL能更高效地在声明具有相同类型和尺寸的列上使用索引。所以把表与表之间的关联字段给上encoding和collation(决定字符比较的规则)全部改成统一的类型
7、右表的条件列一定要加上索引(主键、唯一索引、前缀索引等),最好能够使type达到range及以上(ref,eq_ref,const,system)
3. 其他注意点
来源:https://blog.csdn.net/zyypjc/article/details/128029514


猜你喜欢
- PSUtil是一个跨平台的Python库,用于检索有关正在运行的进程和系统利用率(CPU,内存,磁盘,网络,传感器)的信息。它可以跨平台使用
- 企业管理器中没有改数据库名的功能,如果一定要用企业管理器来实现,你可以备份数据库,然后还原,在还原时候可以指定另一个库名,然后再删除旧库就行
- 题目描述1046. 最后一块石头的重量 - 力扣(LeetCode)有一堆石头,每块石头的重量都是正整数。每一回合,从中选出两块 最重的 石
- 在python里面,读取或写入csv文件时,首先要import csv这个库,然后利用这个库提供的方法进行对文件的读写。典型的数据集stoc
- 1、代码1:(1)进度条等显示在主窗口状态栏的右端,代码如下:from PyQt5.QtWidgets import QMainWindow
- 一、mysqlcheck简介mysqlcheck客户端可以检查和修复MyISAM表。它还可以优化和分析表。mysqlcheck的功能类似my
- 一、复合查询1.1 多表查询实际开发中往往数据来自不同的表,所以需要多表查询,但是可以将多张表做笛卡尔积后的表当做是一张表,也就是单表查询。
- 首先创建scrapy项目命令:scrapy startproject douban_read创建spider命令:scrapy genspi
- 前言在设计爬虫项目的时候,首先要在脑内明确人工浏览页面获得图片时的步骤一般地,我们去网上批量打开壁纸的时候一般操作如下:1、打开壁纸网页2、
- 前言最近公司为客户重新部署了一套新环境,由我来完成了基础环境的配置,配置过程中总结了一些经验,分享给各位园友使用 curl 命令检查网络拿到
- 前言今天学习Django框架,用ajax向后台发送post请求,直接报了403错误,说CSRF验证失败;先前用模板的话都是在里面加一个 {%
- 运行下列脚本,可以打印出模型各个节点变量的名称:from tensorflow.python import pywrap_tensorflo
- 今天给大家讲的是ASP给图片加水印的知识ASP给图片加水印是需要组件的…常用的有aspjpeg和中国人自己开发的wsImage…前者有30天
- SQL Server 2008我们也能从中体验到很多新的特性,但是对于SQL Server 2008安装,还是用图来说话比较好。本文将从SQ
- 如果你看到别人写trim函数是用循环而不用正则表达式来写,请不要取笑,也许,他们就是高手。如果你很自信你的trim函数效率很高,请看完本文再
- 基本使用首先要下载 pymysqlpip install pymsql以下是 pymysql 的基本使用import pymysql# 链接
- 如下: function checkAttachment(){ alert("here"); var attachmen
- 1.tqdm模块是python进度条库, 主要分为两种运行模式1.1基于迭代对象运行: tqdm(iterator)import timef
- python作为使用最广泛的编程语言之一,有着无穷无尽的第三方非标准库的支持。简单的语法、优雅的代码块使其在各个业务领域都混的风生水起,除了
- PYTHON是一门动态解释性的强类型定义语言:编写时无需定义变量类型;运行时变量类型强制固定;无需编译,在解释器环境直接运行。动态和静态静态