MyBatis实现Mysql数据库分库分表操作和总结(推荐)
作者:LinkinStar 发布时间:2024-01-24 07:19:11
前言
作为一个数据库,作为数据库中的一张表,随着用户的增多随着时间的推移,总有一天,数据量会大到一个难以处理的地步。这时仅仅一张表的数据就已经超过了千万,无论是查询还是修改,对于它的操作都会很耗时,这时就需要进行数据库切分的操作了。
MyBatis实现分表最简单步骤
既然文章的标题都这么写了,不如直接上干货来的比较实际,我们就先来看看如何实现最简单的分表。
1、我们模拟用户表数据量超过千万(虽然实际不太可能)
2、用户表原来的名字叫做user_tab
,我们切分为user_tab_0
和user_tab_1
(实际也可能不是这么随意的名字),这样就能把原来千万的数据分离成两个百万的数据量的两张表了。
3、如何操作这两张表呢?我们利用userId也就是用户的唯一标识进行区分。
4、userId%2 == 0
的用户操作表user_tab_0
,同理userId%2 == 1
的用户操作表user_tab_1
5、那么在MyBatis中sql语句如何实现呢?下面是举例查询一个用户的sql语句
<select id="getUser" parameterType="java.util.Map" resultType="UserDO">
SELECT userId, name
FROM user_tab_#{tabIndex}
WHERE userId = #{userId}
</select>
其中我们传入了两个参数tabIndex和userId,tabIndex就是需要操作表的标示值(0或1),这样如果需要查询userId为5的用户,那么最终出现的sql语句就会是:
SELECT userId, name
FROM user_tab_1
WHERE userId = 5
其他多余的DAO服务和实现我这里就不多展示了,相信聪明的你肯定会的。
上面基本上就是所有实现的内容了,下面就要开始详细说说分离的细节了,看热闹的基本可以散了。
我将从下面几个角度分别来说说。我尽可能用最简单的白话来说。
分离的方式
切分的方式主要有两种,水平切分和垂直切分。
1、水平切分
简单的说就是,把一张表分离成几张一模一样的表,然后表的名字不同。就和上面最简单的例子一样。
这种切分适合于一张表的数据量过大而导致操作时间变慢的情况,如保存的一些记录表。
2、垂直切分
把不同的业务模块分成不同的数据库,这些业务模块直接最好是0耦合(简单的说就是毫无关系)。
这主要是适合数据量普遍较大,而且业务场景比较分散,互相之间没有逻辑关系的情况。
分离的策略
具体的策略有很多种,你也可以设计你自己的,普遍的策略有下面几种,只是列举就不具体展开了。
1、“%”取模,也就是上面例子中实现的,也是最简单的一种。
2、MD5哈希
3、移位
4、日期时间(根据不同的日期分表,如一个月一张表,这个月就操作这张表,下个月就下张表)
5、枚举范围(用户1-10000操作第一张表,用户10001-20000操作第二张表)
分离的问题
下面说说最终要的点,导致的问题。
数据库肯定不是你说分就分的。(人家比较有感情的,怎么能说分就分呢?)
正经来说,我列举了下面几个分离只有会导致的问题。
1、添加时主键唯一性的问题;分离之后多张表,就会导致原有的自增长主键不唯一,所以没有办法自增长了,导致问题,解决方案的也是有的,比如单独维护一张主键表专门用来存放当前主键,或者说用别的中间件等。
2、新增时的效率问题,虽然不是个大问题,但是新增肯定会多了计算量嘛,这个问题可以忽略不计。
3、查询所带来的分页问题,分离成多张表之后,分页查询就很困难了,这也考虑到不同的分离用不同的解决方案,总之会产生问题。
4、同理,关联查询,原本一张表关联别的表或者别的表关联一张表,都很简单,但是现在分离之后就难了。
5、事务问题,多张表需要使用分布式事务才能完成原来带有事务的操作。因为原来的事务只是锁一张表现在可能要锁多张了呢。
6、扩展性问题,有的切分策略下,对数据的扩展性其实不好,之后如果有更多的数据来了,是说还能再新建表来扩展吗?
分离的原则
下面总结了几点分离的原则,主要是参考了网络上的,没有任何实际的依据(我也不是个年薪百万的DBA也碰不到那么大的数据去实际检验嘛),所以如果有任何问题也请指出。
1、能不分就不分
2、能分少就不分多
3、多冗余,不关联
4、避免使用分布式事务,主要是太难我也不会啊
5、单表千万记录以内就不分
6、现在不分以后分也来得及
7、扩展,耦合,仔细考虑
实现分离的方式
最后说说分离的方式,现在流行使用的DAO框架是MyBatis,也有很多别的框架。分离的实现主要有下面几种方式。
1、原生实现,就和最上面的例子一样,不需要其他任何的东西,利用原生的框架,自己去控制实现。
优点是:容易控制,掌握主动权。
缺点是:代码量多,需要自己很清楚,修改不方便,不支持复杂的切分,比如切分之后还需要做一些分页查询,还有上面说的主键问题等。
2、插件实现,利用框架本身开发的一些插件,去实现这些插件,然后利用插件去访问数据库,直接实现分离。
优点是:代码量少,实现简单,扩展性好。
缺点是:不易控制,分离方式有限,出现问题难以解决。没有找到特别成熟的插件。
3、中间件实现。利用一些数据库访问的中间件,在访问数据库之前做一些操作使得sql进行相应的变化从而实现分离。
优点是:耦合小,扩展性好,可以解决分布式事务的问题。
确定是:实现比较复杂,需要对中间件进行学习,成本较大。维护也是一个大问题,万一挂掉了。。
总之方式各有千秋,但是考虑到成本上面,第一种几乎是0成本,即可上手,而且比较容易控制,就如同最上面给出的例子一样,而且当前我处理的数据还没有到达那种处处要分离的地步,所以我选择第一种。也推荐使用。如果你找到比较好用的插件或者中间件也可以在评论中推荐。
总结
在实际项目中,我是因为用户的账户记录过多所以不得不进行分离,而且因为账户记录更多的只是新增没有修改和删除,查询也是少数,所以使用了最简单的方式进行分离,也选择了最简单的策略。希望上面的原则策略方式和问题的总结能对你有所帮助,有所参考。如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对脚本之家网站的支持!
来源:http://www.cnblogs.com/linkstar/p/7404698.html


猜你喜欢
- 近来学习炒股,免不了上班时间看盘,总不能光明正大的用电脑看行情,一直盯着手机影响也不好,容易引起“关注”。所以就想自己做一个网页来达到看盘的
- 目录1. 柱状图概述1.1什么是柱状图1.2柱状图使用场景1.3柱状图绘制步骤1.3案例展示2. 柱状图属性2.1柱状体颜色填充2.2状描边
- 发现这个也是偶然,在测试的时候发现的,因此问题还发现一个bug。蛮有意思~ 假如输入http://www.aspxhome.com的话,在
- Softmax回归函数是用于将分类结果归一化。但它不同于一般的按照比例归一化的方法,它通过对数变换来进行归一化,这样实现了较大的值在归一化过
- Python全局锁(1)全局锁导致的问题全局锁的英文简称是GIL,全称是Global Interpreter Lock(全局解释器锁),来源
- 【内容】: 最近python挺火,空闲时间看了几个python视频,觉得简单易懂,开发效
- 基于smtplib包制作而成,但在实践中发现一个不知道算不算是smtplib留的一个坑,在网络断开的情况下发送邮件时会抛出一个socket.
- 如下所示:import jsonf = open("index.html", "wb")json.d
- 一、集中式vs分布式1.Subversion属于集中式的版本控制系统集中式的版本控制系统都有一个单一的集中管理的服务器,保存所有文件的修订版
- 在Linux下安装Oracle数据库是一件较为麻烦的事情。由于Linux的安装过程中可能会选择不同的安装包,会导致Oracle安装过程中缺失
- 利用numpy和scipy,我们可以很容易根据欧拉角求出旋转矩阵,这里的旋转轴我们你理解成四元数里面的旋转轴 import nu
- Python continue语句:当执行到 continue 语句时,将不再执行本次循环中 continue 语句接下来的部分,而是继续下
- 写了网址规范化后,尚奇公司的柳先生建议再深入讨论一下301转向/重定向。下面就谈谈我所了解的301转向在搜索引擎优化方面的应用。什么是301
- 本文实例为大家分享了微信小程序实现扫雷游戏的具体代码,供大家参考,具体内容如下实验小提醒,打开微信小程序模板时,一定要看清楚,要选js模板,
- import matplotlib.pyplot as pltimport jiebafrom wordcloud import wordc
- 前言今天在升级下载Python第三方库的时候特别慢,最后去升级pip的时候竟然还time out了,哇心态炸了。 最后想了一下为什么会这么慢
- 当Python中用到双重for循环设计的时候我一般会使用循环的嵌套,但是在Python中其实还存在另一种技巧——for复合语句。简单写一个小
- 导入模块from bs4 import BeautifulSoupsoup = BeautifulSoup(html_doc,"h
- 其实老早之前就已经做完了,这次稍微改进一下浏览地址:http://www.healdream.com/upload/html/autocli
- 一、手指触屏,利用touchstart和touchend计算前后滑动距离,判断是上拉还是下滑。二、js中距离:pageY、clientY、o