小米正式开源 SQL 智能优化与改写工具 SOAR
作者：mrr 发布时间：2024-01-20 09:34:56
近日，小米正式宣布开源 SOAR。
截至今日，该项目已经获得了 350 个「star」以及 44 个「fork」（GitHub项目地址：https://github.com/XiaoMi/soar）
SOAR 简介
SOAR，即 SQL Optimizer And Rewriter，是一款 SQL 智能优化与改写工具，由小米运维 DBA 团队出品
SOAR 体系架构
SOAR主要由语法解析器，集成环境，优化建议，重写逻辑，工具集五大模块组成。
语法解析和语法检查
一条SQL从文件，标准输入或命令行参数等形式传递给SOAR后首先进入语法解析器，选用了vitess的语法解析库作为SOAR的语法解析库，但随时需求的不断增加我们发现有些复杂需求使用vitess的语法解析实现起来比较逻辑比较复杂。于是参考业办其他数据库产品，于是引入了TiDB的语法解析器做为补充。后来发现这两个解析库还存在一定的盲区，于是又引入了MySQL执行返回结果作为多多版本SQL方言的补充。大家也可以看到在语法解析器这里，SOAR的实现方案是松散的、可插拔的。SOAR并不直接维护庞大的语法解析库，它把各种优秀的语法解析库集成在一起，各取所长。
集成环境
集成环境区分线上环境和测试环境两种，分别用于解决不同场景下用户的SQL优化需求。一种常见的情况是已有表结构需要优化查询SQL的场景，可以从线上环境导出表结构和足够的采样数据到测试环境，在测试环境上就可以放心的执行各种高危操作而不用担心数据被损坏。另一种常见的情况是建一套全新的数据库，需要验证提供的数据字典中是否存在优化的可能。对于这种情况，很有可能你不需要知道线上环境在哪儿，完全只是想先试试看，如果报错了马上改对就是了。当然还有更多种组合的场景需求，将在集成环境一单分类说明。
优化建议
目前SOAR可以提供的优化建议有基于启发式规则(通常也称之为经验)的优化建议，基于索引优化算法给出的索引优化建议，以及基于EXPLAIN信息给出的解读。
重写逻辑
上面提到的优化建议是早期实现的主要功能，早期的功能还只是停留在建议上，对于一些初级用户看到建议也不一定会改写。为了进一步简化SQL优化的成本，SOAR又进一步挖掘了自动SQL重写的功能。现在提供几十种常见场景下的SQL等价转写，不过相比SQL优化建议还有很大的改进空间。这部分的功能和逻辑将在重写逻辑一章中详细说明。
工具集
除了SQL优化和改写以外，为了方便用户使用以及美化输出展现形式，SOAR还提供了一些辅助的小工具，比如markdown转HTML工具，SQL格式化输出工具等等。你可以在常用命令中找到这些小工具的使用方法。
SOAR 功能特点
SOAR的功能特点如下：
● 跨平台支持（支持Linux, Mac环境，Windows环境理论上也支持，不过未全面测试）
● 支持基于启发式算法的语句优化
● 支持复杂查询的多列索引优化（UPDATE, INSERT, DELETE, SELECT）
● 支持EXPLAIN信息丰富解读
● 支持SQL指纹、压缩和美化
● 支持同一张表多条ALTER请求合并
● 支持自定义规则的SQL改写
此外，小米的SOAR与业内其他优秀产品对比，也有着非常大的优势：
0
投稿猜你喜欢
- computedcomputed只接收一个getter函数1、getter必须有返回值2、computed返回一个只读响应式ref对象 （只
如何巧用三元表达式一开始我并不喜欢阅读别人的代码，话说程序员最讨厌的事：写代码要写文档、写代码要写注释、别人的代码没有文档、别人的代码没有注- 前言vue.js的UI组件库，在git上有多个项目，我见的使用者比较多的是iView和Element.两个组件库，组件都很丰富。官网的介绍i
- 本文实例为大家分享了python实现批量格式转换的具体代码，供大家参考，具体内容如下深度学习过程中总是绕不开数据集的制作，有时候实际图片格式
- 利用Python中的socket模块中的来实现UDP协议，这里写一个简单的服务器和客户端。为了说明网络编程中UDP的应用，这里就不写图形化了
- 如果不能设计一个合理的数据库模型，不仅会增加客户端和服务器段程序的编程和维护的难度，而且将会影响系统实际运行的性能。所以，在一个系统开始实施
- 《python基础教程》书中的第四个练习，新闻聚合。现在很少见的一类应用，至少我从来没有用过，又叫做Usenet。这个程序的主要功能是用来从
- 本文实例讲述了Python实现简单的获取图片爬虫功能。分享给大家供大家参考，具体如下：简单Python爬虫，获得网页上的照片#coding=
- 二维列表转一维列表from compiler.ast import flattena=[[1,2],[5,6]]print(flatten(
- 查找资料，基本上判断python对象是否为可调用的函数，有三种方法使用内置的callable函数callable(func)用于检查对象是否
- 需求：因需要将一json文件中大量的信息填入一固定格式的Excel表格，单纯的复制粘贴肯定也能完成，但是想偷懒一下，于是借助Python解决
- 一、枚举与字典类型字典类型的缺点：1.值可变 2.没有防止相同标签的功能枚举的特点：1.枚举类的值不可以被外界更改 2.不能存在相同的标签，
- MySQL 是完全网络化的跨平台关系型数据库系统，同时是具有客户机/服务器体系结构的分布式数据库管理系统。MySQL 是完全网络化
- 最近做了一个系统由于部分接口需要进行耗时操作，因而不希望用户进行频繁访问，需要进行访问频率限制。如果要自己实现一个访问限制功能相对来说也不会
- 本文实例为大家分享了PyQt5实现简易计算器的具体代码，供大家参考，具体内容如下效果图： 界面代码calc_interface.py# -*
- 今天学习Numpy时，想到了一个小问题。在Numpy中，随机生成array是比较容易的，用np.random.rand即可。如下a = np
- 一：队列配置队列的配置文件放置在config/queue.php文件中，laravel框架中支持的队列驱动有：sync, database,
- 本文主要是对leveldb进行一个简单的介绍及使用Python语言对其进行操作的代码示例，具体如下。leveldb 是google实现的一种
- 图片优化1、图片大小优化，部分图片使用WebP（需要考虑webp兼容性）在线生成，如智图、又拍云gulp生成，gulp-webp或gulp-
- 前言在前几篇博客中，分别就棋子的颜色识别、模板匹配等定位方式进行了介绍和实践，这一篇博客就来验证一下github中最热门的跳一跳 * 中采用的
