Mysql四种分区方式以及组合分区落地实现详解
作者:广海_小疯疯丶 发布时间:2024-01-23 05:05:25
标签:mysql,分区,落地
看这篇文章前需要先了解一下以下几个问题~
一、问题
1.分区是什么
分区:就是把一张表数据分块存储
目的:提升索引的查询效率
2.Mysql为什么要使用分区
先从数据分析
然后进行索引优化
然后引入分区
3.Mysql中分区原理
客户端---------> Id 和分区键进行比较------------->找到指定分区---------->和数据库查询一致
4.Mysql中分区局限
必须使用分区字段才行,不然分区查询就会失败。走所有分区。
目前Range是范围分区,但是有时候我们会发现。分区大小永远是静态的。
所以会存在一个分区表大小不均。如何让分区表大小均衡呢?
二、分区落地实现
1.Range分区
条件
Product-Partiton表
步骤
1、先创建Product-Partiton-Range
CREATE TABLE `product-Partiton-Range` (
`Id` BIGINT(8) NOT NULL,
`ProductName` CHAR(245) NOT NULL DEFAULT '1',
`ProductId` CHAR(255) NOT NULL DEFAULT '1',
`ProductDescription` CHAR(255) NOT NULL DEFAULT '1',
`ProductUrl` CHAR(255) NOT NULL DEFAULT '1',
PRIMARY KEY (`Id`),
INDEX `ProductId` (`ProductId`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4
PARTITION BY RANGE (Id) PARTITIONS 3 (
PARTITION part0 VALUES LESS THAN (12980),
PARTITION part1 VALUES LESS THAN (25960),
PARTITION part2 VALUES LESS THAN MAXVALUE);
2、然后查询分区表
select * from product-Partiton-Range where Id = 25000
2.Hash分区
步骤
1、先创建Product-Partiton-Hash
CREATE TABLE `product-Partiton-Hash` (
`Id` BIGINT(8) NOT NULL,
`ProductName` CHAR(245) NOT NULL DEFAULT '1',
`ProductId` CHAR(255) NOT NULL DEFAULT '1',
`ProductDescription` CHAR(255) NOT NULL DEFAULT '1',
`ProductUrl` CHAR(255) NOT NULL DEFAULT '1',
PRIMARY KEY (`Id`),
INDEX `ProductId` (`ProductId`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4
PARTITION BY HASH (Id) PARTITIONS 3;
Hash分区只能进行数字字段进行分区,无法进行字符字段进行分区。如果需要对字段值进行分区。
必须包含在主键字段内。
3.Key分区
步骤
1、先创建Product-Partiton-Key
CREATE TABLE `product-Partiton-Key` (
`Id` BIGINT(8) NOT NULL,
`ProductName` CHAR(245) NOT NULL DEFAULT '1',
`ProductId` CHAR(255) NOT NULL DEFAULT '1',
`ProductDescription` CHAR(255) NOT NULL DEFAULT '1',
`ProductUrl` CHAR(255) NOT NULL DEFAULT '1',
PRIMARY KEY (`Id`),
INDEX `ProductId` (`ProductId`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4
PARTITION BY KEY (ProductName) PARTITIONS 3;
#建立复合主键
CREATE TABLE `product-Partiton-Key` (
`Id` BIGINT(8) NOT NULL,
`ProductName` CHAR(245) NOT NULL DEFAULT '1',
`ProductId` CHAR(255) NOT NULL DEFAULT '1',
`ProductDescription` CHAR(255) NOT NULL DEFAULT '1',
`ProductUrl` CHAR(255) NOT NULL DEFAULT '1',
PRIMARY KEY (`Id`),
INDEX `ProductId` (`ProductId`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4
PARTITION BY KEY (ProductName) PARTITIONS 3;
以上分区都是一个特点:所有的分区必须连续和连续大小进行分区。
我们再来看一个场景:如何对商品订单分区。
4.Mysql中如何落地List分区
步骤
1、先创建Product-Partiton-List
CREATE TABLE `product-Partiton-List` (
`Id` BIGINT(8) NOT NULL,
`ProductName` CHAR(245) NOT NULL DEFAULT '1',
`ProductId` CHAR(255) NOT NULL DEFAULT '1',
`ProductDescription` CHAR(255) NOT NULL DEFAULT '1',
`ProductUrl` CHAR(255) NOT NULL DEFAULT '1',
`ProductStatus` int NOT NULL DEFAULT 0,
PRIMARY KEY (`Id`),
INDEX `ProductId` (`ProductId`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4
PARTITION BY LIST(ProductId) (
PARTITION a VALUES IN (1,5,6),
PARTITION b VALUES IN (2,7,8)
);
商品主键和商品名称进行分区。
5.Mysql中如何落地组合分区
步骤
CREATE TABLE `product-Partiton-flex` (
`Id` BIGINT(8) NOT NULL,
`ProductName` CHAR(245) NOT NULL DEFAULT '1',
`ProductId` CHAR(255) NOT NULL DEFAULT '1',
`ProductDescription` CHAR(255) NOT NULL DEFAULT '1',
`ProductUrl` CHAR(255) NOT NULL DEFAULT '1',
PRIMARY KEY (`Id`,`ProductName`),
INDEX `ProductId` (`ProductId`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4
PARTITION BY RANGE (Id) PARTITIONS 3
SUBPARTITION BY KEY(ProductName)
SUBPARTITIONS 2 (
PARTITION p0 VALUES LESS THAN (12980),
PARTITION p1 VALUES LESS THAN (25960),
PARTITION p2 VALUES LESS THAN MAXVALUE
);
三、Mysql如何管理分区
1.删除分区
ALERT TABLE users DROP PARTITION p0;
#删除分区 p0
2.重建分区
2.1RANGE 分区重建
ALTER TABLE users REORGANIZE PARTITION p0,p1 INTO (PARTITION p0 VALUES LESS THAN (6000000));
#将原来的 p0,p1 分区合并起来,放到新的 p0 分区中。
2.2 LIST 分区重建
ALTER TABLE users REORGANIZE PARTITION p0,p1 INTO (PARTITION p0 VALUES IN(0,1,4,5,8,9,12,13));
#将原来的 p0,p1 分区合并起来,放到新的 p0 分区中。
2.3 HASH/KEY 分区重建
ALTER TABLE users REORGANIZE PARTITION COALESCE PARTITION 2;
#用 REORGANIZE 方式重建分区的数量变成2,在这里数量只能减少不能增加。想要增加可以用 ADD PARTITION 方法。
3. 新增分区
3.1 新增 RANGE 分区
#新增一个RANGE分区
ALTER TABLE category ADD PARTITION (PARTITION p4 VALUES IN (16,17,18,19)
DATA DIRECTORY = '/data8/data'
INDEX DIRECTORY = '/data9/idx');
3.2 新增 HASH/KEY 分区
ALTER TABLE users ADD PARTITION PARTITIONS 8; #将分区总数扩展到8个。
3.3 给已有的表加上分区
alter table results partition by RANGE (month(ttime))
(
PARTITION p0 VALUES LESS THAN (1),
PARTITION p1 VALUES LESS THAN (2) ,
PARTITION p2 VALUES LESS THAN (3) ,
PARTITION p3 VALUES LESS THAN (4) ,
PARTITION p4 VALUES LESS THAN (5) ,
PARTITION p5 VALUES LESS THAN (6) ,
PARTITION p6 VALUES LESS THAN (7) ,
PARTITION p7 VALUES LESS THAN (8) ,
PARTITION p8 VALUES LESS THAN (9) ,
PARTITION p9 VALUES LESS THAN (10) ,
PARTITION p10 VALUES LESS THAN (11),
PARTITION p11 VALUES LESS THAN (12),
PARTITION P12 VALUES LESS THAN (13)
);
4.默认分区限制分区字段必须是主键(PRIMARY KEY)的一部分,去除此限制
[方法1] 使用ID:
mysql> ALTER TABLE np_pk
-> PARTITION BY HASH( TO_DAYS(added) )
-> PARTITIONS 4;
#ERROR 1503 (HY000): A PRIMARY KEY must include all columns in the table's partitioning function
mysql> ALTER TABLE np_pk
-> PARTITION BY HASH(id)
-> PARTITIONS 4;
Query OK, 0 rows affected (0.11 sec)
Records: 0 Duplicates: 0 Warnings: 0
[方法2] 将原有PK去掉生成新PK
mysql> alter table results drop PRIMARY KEY;
Query OK, 5374850 rows affected (7 min 4.05 sec)
Records: 5374850 Duplicates: 0 Warnings: 0
mysql> alter table results add PRIMARY KEY(id, ttime);
Query OK, 5374850 rows affected (7 min 4.05 sec)
Records: 5374850 Duplicates: 0 Warnings: 0
来源:https://blog.csdn.net/qq_34202873/article/details/121111232


猜你喜欢
- 原理请查看前面几篇文章。1、数据源SH600519.csv 是用 tushare 模块下载的 SH600519 贵州茅台的日 k 线数据,本
- function ten2eight(x){ var s=[]; var r=''; while(x>0){ s.pu
- 本文整理了一部分我们平时在项目中经常遇到的关于go语言JSON数据与结构体之间相互转换的问题及解决办法。基本的序列化首先我们来看一下Go语言
- oracle命令删除用户:connect / as sysdba; shutdown abort; startup;&n
- 什么是Urllib库Urllib是Python提供的一个用于操作URL的模块,我们爬取网页的时候,经常需要用到这个库。升级合并后,模块中的包
- 导航是网页设计的重点,我们在设计一个网站的时候,常常从导航入手,不夸张的说,导航的设计甚至决定了整个网站的风格。这就需要我们平常多留心收集优
- Vue 3.2 引入了语法,这是一种稍微不那么冗长的声明组件的方式。您可以通过向 SFC 的元素添加属性来启用它,然后可以删除组件中的一些样
- pytorch geometric的GNN、GCN节点分类# -*- coding: utf-8 -*-import osimport to
- 1、Python函数函数是Python为了代码最大程度的重用和最小化代码冗余而提供的基本程序结构,用于将相关功能打包并参数化Python中可
- 如下所示:import webbrowserimport codecsimport timewith open("test.txt
- 我们可以利用err对象来判断。当程序没有出现错误就说明已经执行了sql操作: sql="insert into
- Math.min()和Math.max()用法相似。两个方法用来获取给定的一组数值中的最大值或最小值,但是却不接受数组作为参数。当然可以写个
- 一、概念介绍矩形树图(Treemap),即矩形式树状结构图,利用矩形的面积表示数值的大小,颜色用于类别区分,常用于呈现多类别的一维数值比较,
- 1.首先引入import { Toast } from 'vant'写个小列子绑定一个click事件2.写事件在method
- 本文适用场景:想用Tkinter开发界面程序并屏幕居中,但没找到相应的API。这两天玩了玩Tkinter,感觉不错,就是屏幕居中这个问题在网
- 1.1. 下载:官网下载zip包,我下载的是64位的:下载地址:https://dev.mysql.com/downloads/mysql/
- 事务概念一个事务可以理解为一组操作,这一组操作要么全部执行,要么全部不执行。特性Read UncommitRead CommitRepeta
- 通常我们用 Python 绘制的都是二维平面图,但有时也需要绘制三维场景图,比如像下面这样的:这些图怎么做出来呢?今天就来分享下如何一步步绘
- 任务通过输入的sin曲线与预测出对应的cos曲线#初始加载包 和定义参数import torchfrom torch import nnim
- Pandas使用这些函数处理缺失值:isnull和notnull:检测是否是空值,可用于df和seriesdropna:丢弃、删除缺失值ax