Mysql脏页flush及收缩表空间原理解析
作者:Jimmyhe 发布时间:2024-01-21 23:07:25
mysql脏页
由于WAL机制,InnoDB在更新语句的时候,制作了写日志这一个磁盘操作,就是redo log,在内存写完redo log后,就返回给客户端, 即更新成功。
把内存里的数据写入磁盘的过程,术语就是flush,在flush之前,实际数据和数据库中的数据是不一致的,因为在redo log基础上更新了还未写入,数据库是老的,当内存数据页跟磁盘数据页内容不一致的时候,称这个内存页为脏页,内存写入后就一致了,称为干净页,
如果mysql偶尔运行速度很慢,很可能是在刷脏页。引发数据库flush的过程
redo log满了,系统停止所有更新操作,将checkpoint向前推进,腾出空间继续写。
系统内存不足,需要新的内存页不够用,就会淘汰一些数据页,留给别的数据页使用,如果淘汰的是脏页,就会先写到磁盘。
mysql空闲的时候。
正常关闭mysql的时候
在第一种情况下,redo log满了,这种情况是innodb要避免的,因为整个系统都不能再更新了,这是不能接受的
第二种情况,内存满了,要先写到磁盘,innodb用缓冲池管理内存,有三种状态
还没有用的内存页
用了并且是干净页
用了并且是脏页(淘汰的时候需要写入到磁盘)
所以我们有时使用数据库会发现数据库性能突然下降,可能就是在处理脏页。
刷脏页控制策略
Innodb_io_capacity参数,这个参数会告诉innodb你的磁盘io能力。(有公式计算)
innodb刷盘主要两个因素:脏页比例和redo log的写盘速度
innodb_max_derty_pages_pct是脏页比例上限,默认是75%,调整好Innodb_io_capacity参数值,使脏页比例不要超过75%收缩表空间
场景例子:数据库占用空间太大,把最大的表删掉了一半数据,表的大小还是没有变化。
数据删除流程
加入要删掉R4,InnoDB引擎只会把R4这个记录标记为删除,如果之后再掺入一个ID在300-600之间的记录时,会复用这个位置,但是磁盘文件的大小并不会缩小。
如果删掉了一个数据页上的所有记录,这个数据页就可以被复用。
注意:数据页的复用跟记录的复用是不同的。
比如R4这条记录被删除,如果插入一个ID是400的行,直接复用这个空间,但是如果插入ID是800的行,就不能复用这个位置了。
但是整个数据页Page A上的所有记录删除之后,pageA标记为可复用,如果插入一条ID=50的记录需要用新的数据页的时候,PageA是可以背负用的。
如果我们用delete命令把整个表数据删除,结果是所有的数据页都会标记为可复用,但是在磁盘上,文件不会变小。
插入数据流程
如果数据按照索引顺序插入的,索引是紧凑的,但是如果是随机插入的,就会造成索引的数据页分页。
如果pageA已经满了,在插入一行数据会怎样?由于A满了,在插入一个id是550的数据时,就会申请一个新的页面pageB来保存数据,分裂完成后pageA的末尾就留下了空洞。
更新索引上的值也是删除一个旧的值,再插入一个新值,也会造成空洞。
收缩空间
新建一个与表A相同结构的表B,按照主键ID递增的顺序,把数据一行一行的从A里读出来再插入到表B中,表B中无空洞,数据页的利用率也更高,如果我们把表B作为临时表,数据从表A导入到B中的操作完成后,用B替换A,从效果上也起到了收缩A的作用。
在整个DDL过程中,表A不能有更新,所以这个DDL不是online的,在5.6之后的版本中,流程做了更改:
建立一个临时文件,扫描A中的所有数据页,
用数据页中A的记录生成B+树,存储在临时文件中
将所有对A的操作记录在一个日志文件中
临时文件生成后,将日志文件的操作应用到临时文件,得到一个逻辑数据上与表A相同的数据文件
用临时文件替换表A的数据文件
图示
可以看到,与图3过程的不同之处在于,由于日志文件记录和重放操作这个功能的存在,这个方案在重建表的过程中,允许对表A做增删改操作。
使用alter table A engine=InnoDB命令来重建表。在MySQL 5.5版本之前,这个命令的执行流程跟我们前面描述的差不多,区别只是这个临时表B不需要你自己创建,MySQL会自动完成转存数据、交换表名、删除旧表的操作。
来源:https://www.cnblogs.com/jimmyhe/p/11072355.html
猜你喜欢
- 1.查看当前电脑python版本python -V // 显示2.7.x2.用brew升级pythonbrew update p
- 本文为大家分享了Python多线程聊天室,是一个Socket,两个线程,一个是服务器,一个是客户端。 最近公司培训,要写个大富翁的小程序,准
- 前言神经网络在设置的神经网络足够复杂的情况下,可以无限逼近一段非线性连续函数,但是如果神经网络设置的足够复杂,将会导致过拟合(overfit
- 目录一、使用JDBC连接数据库1.使用JDBC-ODBC桥驱动程序连接数据库2.下面进行代码演示3.注意点二、源码:一、使用JDBC连接数据
- 本文解决问题:批量删除多行txt文本中的内容。思路:1.找出需要删除行的 id(就是需要删除那些行,把这是第几行给记录下来。)2.将原文本内
- 1. 安装vim:# apt-get install -y vim-gnome2. 安装ctags,ctags用于支持tagli
- 对numpy 矩阵进行通道间求均值给定一个3x2x2得矩阵,得到一个2x2的矩阵,其中对应元素是通道间的均值import numpy as
- TKinter库,Python 的 GUI 库非常多,之所以选择 Tkinter,一是最为简单,二是自带库,不需下载安装,随时使用,跨平台兼
- 先给一个例子:假设在一个表单中有一个按钮id="save"$(document).ready(function(){&n
- 最近有个部署需求,需要读取py文件格式的配置项,我的实现思路是把配置文件解析到内存中。主要使用两种方法:importlib.import_m
- 一、urllib 和 urllib2的关系在python2中,主要使用urllib和urllib2,而python3对urllib和urll
- 本文实例为大家分享了Python人脸识别的具体代码,供大家参考,具体内容如下1.利用opencv库sudo apt-get install
- 读取十万多条文本写入SQLite类型数据库,由于文本中存在中文字符,插入到数据库没错,取出时一直是UnicodeDecodeError,导致
- 在Matlab使用Plot函数实现数据动态显示方法总结中介绍了两种实现即时数据动态显示的方法。考虑到使用python的人群日益增多,再加上本
- 文档格式的排错 我妈妈_的清单中有数十条菜谱,甚至数百条。如果产生一个致命错误,排错将非常困难 - 你将一行一行地寻找丢失的标记符。如果使用
- 每次查询分析器寻找路径时,并不会每一次都去统计索引中包含的行数,值的范围等,而是根据一定条件创建和更新这些信息后保存到数据库中,这也就是所谓
- <% '************************************************
- 隐写术是在任何文件中隐藏秘密数据的艺术。秘密数据可以是任何格式的数据,如文本甚至文件。简而言之,隐写术的主要目的是隐藏任何文件(通常是图像、
- 本文实例讲述了Python从函数参数类型引出元组。分享给大家供大家参考,具体如下:自定义函数:特殊参数def show(name="
- 前言 本篇章主要介绍串的KMP模式匹配算法及其改进,并用Python实现KMP算法。1. BF算法 BF算法,即Bruce−ForceB