mysql千万级数据大表该如何优化?
发布时间：2024-01-20 22:08:05
标签：mysql,千万级
1.数据的容量：1-3年内会大概多少条数据，每条数据大概多少字节；
2.数据项：是否有大字段，那些字段的值是否经常被更新；
3.数据查询SQL条件：哪些数据项的列名称经常出现在WHERE、GROUP BY、ORDER BY子句中等；
4.数据更新类SQL条件：有多少列经常出现UPDATE或DELETE 的WHERE子句中；
5.SQL量的统计比，如：SELECT：UPDATE+DELETE：INSERT=多少？
6.预计大表及相关联的SQL，每天总的执行量在何数量级？
7.表中的数据：更新为主的业务 还是 查询为主的业务
8.打算采用什么数据库物理服务器，以及数据库服务器架构？
9.并发如何？
10.存储引擎选择InnoDB还是MyISAM？
大致明白以上10个问题，至于如何设计此类的大表，应该什么都清楚了！
至于优化若是指创建好的表，不能变动表结构的话，那建议InnoDB引擎，多利用点内存，减轻磁盘IO负载，因为IO往往是数据库服务器的瓶颈
另外对优化索引结构去解决性能问题的话，建议优先考虑修改类SQL语句，使他们更快些，不得已只靠索引组织结构的方式，当然此话前提是，
索引已经创建的非常好，若是读为主，可以考虑打开query_cache，
以及调整一些参数值：sort_buffer_size,read_buffer_size,read_rnd_buffer_size,join_buffer_size
其他人建议：
1. 索引, 避免扫描,基于主键的查找,上亿数据也是很快的;
2. 反范式化设计,以空间换时间,避免join,有些join操作可以在用代码实现,没必要用数据库来实现;
0
投稿猜你喜欢
- 设计师不等于美工设计无所不在，但大多数企业不知道如何使用它。现代设计进入中国大概是二十多年的时间，而在国外，尤其在美国在欧洲，大概有一百年的
select先说switch...case...switch...case... 很常用，且很好理解。其作用和if...else...一样。- 如何使用表单发送电子邮件？邮件也可以用表单格式发送吗？我见一个朋友这样做的。当然可以，用OCXMail就行：formToEmail.htm&
- 以前的Dreamweaver中是没有图片处理功能的，即使你要处理也只能使用CSS中的相关滤镜进行一些效
- 今天在做python获取邮件时需要递归调用解析函数才可以解析邮件内容，最后想要将解析出的内容返回时发现返回的是None 可以内容却可以打印出
- 工作时需要取得MySQL中一个表的字段是否存在于是就使用Describe命令来判断mysql_connect(localhost, root
- mysql数据库没有增量备份的机制，当数据量太大的时候备份是一个很大的问题。还好mysql数据库提供了一种主从备份的机制，其实就是把主数据库
- SQL Server：Select TOP N * From TABLE Order By NewID() view
- 前言本人曾对 Vuex 作过详细介绍，但是今天去回顾的时候发现文章思路有些繁琐，不容易找到重点。于是，在下班前几分钟，我对其重新梳理了一遍。
- 前言索引和切片是NumPy中最重要最常用的操作。熟练使用NumPy切片操作是数据处理和机器学习的前提，所以一定要掌握好。参考NumPy官方文
- 从一个问题说起五年前在腾讯的时候，发现分页场景下，mysql请求速度非常慢。数据量只有10w的情况下，select xx from 单机大概
- 比如有一个a = {‘a': 1}希望变为a = {‘b' :1}即：在保留value不变的情况下，替换key值目前能想到的
- 前言哈喽，大家好，我是asong；前几天逛github发现了一个有趣的并发库-conc，其目标是：更难出现goroutine泄漏处理pani
- 最近几年，jupyter在全球数据科学领域，已经成为不可或缺的重要工具。在jupyter中用python写程序，若import了自己写的外部
- 使用 vue-cli构建的项目,在 默认情况下 ,执行 npm run build 会将所有的js代码打包为一个整体,打包位置是
- 需求说明：将单个或者多个Excel文件数据进行去重操作，去重的列可以通过自定义制定。开始源码说明之前，先说明一下工具的使用过程。1、准备需要
- 1. 基本介绍tensorflow设备内存管理模块实现了一个best-fit with coalescing算法（后文简称bfc算法）。bf
- 下面步骤展示的是如何经过VirtualBox管理器，使得pycharm和ubuntu中的项目环境连接对应起来！如果你有属于自己的服务器，核心
- 运行vue项目报错 Module build failedModule build failed (from ./node_modules/
- 记一次在写cli脚本的时候，碰到的一个问题。问题自己是写服务端的，有时候会写一些cli脚本去跑测试。习惯main.go写主流程，其他子文件写
