MySQL如何优雅的删除大表实例详解
作者:easydba 发布时间:2024-01-24 10:15:03
前言
删除表,大家下意识想到的命令可能是直接使用DROP TABLE "表名",这是初生牛犊的做法,因为当要删除的表达空间到几十G,甚至是几百G的表时候。这样一条命令下去,MySQL可能就直接夯住了,外在表现就是QPS急速下降,客户请求变慢。
解决办法
1.业务低峰时间手动执行删除
这个可能就需要DBA不辞辛劳,大晚上爬起来删表了。
2.先清除数据,最后再删除的方式
譬如1000万条数据,写脚本每次删除20万,睡眠一段时间,继续执行。这样也能做到对用户无感知。
3.对表文件(idb文件)做一个硬链接来加速删除
这个方法利用了linux下硬链接的知识,来进行快速删除,不记得话可以回去翻一下《鸟哥的linux私房菜》
ln data_center_update_log.ibd data_center_update_log.ibd.hdlk
[root@mysql01 sports_center]# ll
总用量 19903792
-rw-r----- 1 mysql mysql 9076 10月 17 13:15 data_center_update_log.frm
-rw-r----- 2 mysql mysql 8447328256 12月 23 11:35 data_center_update_log.ibd
-rw-r----- 2 mysql mysql 8447328256 12月 23 11:35 data_center_update_log.ibd.hdlk
执行上面命令后,我们就多了一个data_center_update_log.ibd.hdlk文件。此操作实际上不会占用磁盘空间,只是增加了一次对磁盘上文件的引用。
当我们删除其中任何一个文件时,都不会影响磁盘上真实的文件,只是将其引用数目减去1。当被引用的数目变为1的时候,再去删除文件,才会真正做IO来删除它。
正是利用这个特点,将由原来mysql来删除大文件的操作,转换为一个简单的操作系统级的文件删除,从而减少了对mysql的影响。
4.登陆mysql,执行drop表操作
很快,200万条数据只用了1秒完成,此操作是在创建硬链接后执行的
mysql> drop tables data_center_update_log;
Query OK, 0 rows affected (1.02 sec)
mysql> exit
Bye
退出来,再次查看数据目录,发现就只剩data_center_update_log.ibd.hdlk硬链接文件了
[root@mysql01 sports_center]# ll
总用量 19903792
-rw-r----- 2 mysql mysql 8447328256 12月 23 11:35 data_center_update_log.ibd.hdlk
5.如何正确删除ibd.hdlk硬链接文件呢
虽然drop table之后,剩下的硬链接文件已经和mysql没有关系了。但如果文件过大,直接用rm命令来删除,也是会造成IO开销飙升,CPU负载过高,进而影响到MySQL。
这里我们用到的方法,可以循环分块删除,慢慢地清理文件,通过一个脚本即可搞定
Truncate命令通常用于将文件缩小或扩展到指定的大小。如果文件大于指定的大小,则会丢失额外的数据。如果文件较短,则会对其进行扩展,并且扩展部分的读数为零字节。
5.1 安装truncate命令
[root@mysql01 ~]# cruncate
-bash: cruncate: 未找到命令
通常操作系统会安装truncate命令,该命令在coreutils安装包里面,如果没有安装可以使用下面命令安装
[root@mysql01 ~]# yum provides truncate
coreutils-8.22-24.el7.x86_64 : A set of basic GNU tools commonly used in shell scripts
源 :base
匹配来源:
文件名 :/usr/bin/truncate
可以看到truncate由coreutils安装包提供,下面安装coreutils安装包:
[root@mysql01 ~]# yum install -y coreutils
5.2 truncate常用选项
-c, --no-create --> 不创建任何文件
-o, --io-blocks --> 将大小视为存储块的数量,而不是字节
-r, --reference=RFILE --> 参考指定的文件大小
-s, --size=SIZE --> 按照指定的字节设置文件大小
5.3 truncate_bigfile.sh脚本
原理:使用truncate -s选项可以指定文件大小,通过脚本指定每次文件减少的大小,并sleep睡眠一定时间,从而达到可控的删除文件
附:truncate_bigfile.sh脚本
#! /bin/bash
#
TRUNCATE=/usr/bin/truncate
FILE=$1
if [ x"$1" = x ];then
echo "Please input filename in"
exit 1;
else
SIZE_M=$(du -sm "$1" | awk '{print $1}')
for i in $(seq "${SIZE_M}" -100 0)
do
sleep 1
echo "${TRUNCATE} -s ${i}M ${FILE}"
${TRUNCATE} -s "${i}"M "${FILE}"
done
fi
if [ $? -eq 0 ];then
\rm -f "${FILE}"
else
echo "Please check file"
fi
总结
来源:https://www.cnblogs.com/easydb/p/14185881.html
猜你喜欢
- 本文实例讲述了Python基于递归和非递归算法求两个数最大公约数、最小公倍数。分享给大家供大家参考,具体如下:最大公约数和最小公倍数的概念大
- csscompressor 库使用在 Python 中可以使用多种方法来压缩 CSS 文件。其中一种流行的方法是使用 csscompress
- 本文实例讲述了Python实现的人工神经网络算法。分享给大家供大家参考,具体如下:注意:本程序使用Python3编写,额外需要安装numpy
- 什么是生产者消费者模型在 工作中,大家可能会碰到这样一种情况:某个模块负责产生数据,这些数据由另一个模块来负责处理(此处的模块是广义的,可以
- 1、互动流通的活跃度是社区网站的关键,产品设计者大都需要在此猛下药。facebook有利用率最高的minifeed,myspace有“好友的
- 引言欢迎来到我们的系列博客《Python全景系列》!在这个系列中,我们将带领你从Python的基础知识开始,一步步深入到高级话题,帮助你掌握
- 我想大多写web的朋友应该和我一样,正则是不可少的,可是每次到用时去百度一下,也麻烦,存在电脑里也得找半天~换了电脑还是得靠google了~
- 1.客户端的主页面:<%@LANGUAGE="VBSCRIPT" CODEPAGE="936"
- 本文实例讲述了Python面向对象之类的定义与继承用法。分享给大家供大家参考,具体如下:定义一个类类中的方法同,类外方法,默认传self值类
- 前段时间练习过的一个小项目,今天再看看,记录一下~项目结构说明:datefile文件夹:保存车辆信息表的xlsx文件file文件夹:保存图片
- 使用pip安装Django时报错,先是:C:\Users\admin>pip install django Collecting dj
- 因为他的简单实用和数量庞大的插件,所以我们喜欢和使用jQuery,在jQuery数量庞大的插件中有很大的一部分是关于图片的,所以今天我们就整
- 一 CGI.pm中的方法(routines)调用1. CGI.pm实现了两种使用方法,分别是面向对象的方式和传统的perlmodule方法的
- 一、前言前两篇博客讲解了爬虫解析网页数据的两种常用方法,re正则表达解析和beautifulsoup标签解析,所以今天的博客将围绕另外一种数
- Jones向量假设光波沿z轴传播,那么其三个方向的电场分量可以表示为Jones矩阵能够保证二维列向量形状不变的运算有无穷多种,但最符合我们直
- 第一种np矩阵可以直接与标量运算>>>import numpy as np>>>arr1 = np.ar
- 复制代码 代码如下: public partial class CMS_DBDataContext { partial void OnCre
- UDP 套接字是可以使用 connect 系统调用连接到指定的地址的。从此以后,这个套接字只会接收来自这个地址的数据,而且可以使用 send
- 本文主要介绍了pandas导出数据到文件的四种方式,分享给大家,主要也是给自己留个笔记,具体如下:import pandas as pdim
- 一、功能实现对学生对个人信息的增删查改实现后台对所有学生信息的操作二、平台windows+pycharm(python开发工具)三、逻辑框图