springboot 按月分表的实现方式
作者:终成一个大象 发布时间:2023-11-25 00:03:47
一、项目背景
在实际工作中,会遇到业务比较集中的情况,随着时间推延,这部分业务关联的mysql表就会越来越大,十分臃肿。尽管在项目架构上做了读写分离,也会导致查询的时候出现比较慢的情况,导致线上慢查询的出现。
这种情况下导致的慢查询,单纯从sql优化的角度是无法解决的,此时我们就会用到分库分表。由于我们目前的问题是部分mysql表比较大,采用分表的方式即可解决,本文主要讨论分表的情况。
1、分表的方式
垂直分表
简单理解:把同一个表中的数据按列拆分
到不同的表中。
所谓的垂直分表指的是将表结构按照功能模块、关系密切程度划分出来,部署到不同的库或者不同的表中。
水平分表
简单理解:把同一个表中的数据按行拆分
到不同的表中。
所谓的水平分表,即将数据按照某种规则存储到不同的表中。例如日志表,可以使用按月或者按天分表,即每个月的日志数据单独存储在一张表中。这些表同时属于一张主表,拥有相同的表结构,但查询时可以大大减轻主表查询的负担。
二、代码实现
主要使用mybatis-plus提供的功能来实现功能。
1、pom文件依赖
<dependency>
<groupId>com.baomidou</groupId>
<artifactId>mybatis-plus-boot-starter</artifactId>
<version>3.1.1</version>
</dependency>
2、配置文件
# mybatis-plus 配置
mybatis-plus.configuration.call-setters-on-nulls=true
# xml 文件路径
mybatis-plus.mapper-locations=classpath*:mapping/*.xml
# entity 文件路径
mybatis-plus.type-aliases-package=com.geniuworks.bot.entity
# 打印sql语句执行日志
mybatis-plus.configuration.log-impl=org.apache.ibatis.logging.stdout.StdOutImpl
# 需要按月分表的表名
mp.tableNames=message
3、MybatisPlusConfig实现
MybatisPlusConfig配置类实现:
package com.geniuworks.bot.config;
import com.alibaba.fastjson.JSON;
import com.alibaba.fastjson.JSONObject;
import com.baomidou.mybatisplus.extension.parsers.DynamicTableNameParser;
import com.baomidou.mybatisplus.extension.parsers.ITableNameHandler;
import com.baomidou.mybatisplus.extension.plugins.PaginationInterceptor;
import com.geniuworks.bot.entity.Tables;
import lombok.extern.slf4j.Slf4j;
import org.apache.ibatis.reflection.MetaObject;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
import java.text.SimpleDateFormat;
import java.util.Collections;
import java.util.Date;
import java.util.HashMap;
import java.util.List;
/**
* @Author dingws
* @PackageName
* @Package
* @Date 2022/1/5 1:53 下午
* @Version 1.0
*/
@Configuration
@Slf4j
public class MybatisPlusConfig {
@Autowired
private Tables tableNames;
/**
*
* @return
*/
@Bean
public PaginationInterceptor paginationInterceptor(){
PaginationInterceptor paginationInterceptor = new PaginationInterceptor();
DynamicTableNameParser dynamicTableNameParser = new DynamicTableNameParser();
dynamicTableNameParser.setTableNameHandlerMap(new HashMap<String, ITableNameHandler>(2){{
//涉及表集合
List<String> tables = tableNames.getTableNames();
//动态表规则 初始表名+_+code
tables.forEach(tableTitle -> put(tableTitle,(metaObject, sql, tableName) -> tableName + String.valueOf(getParamValue("month",metaObject))));
}});
paginationInterceptor.setSqlParserList(Collections.singletonList(dynamicTableNameParser));
return paginationInterceptor;
}
/**
*
* @param title
* @param metaObject
* @return
*/
private Object getParamValue(String title, MetaObject metaObject){
//获取参数
Object originalObject = metaObject.getOriginalObject();
JSONObject originalObjectJSON = JSON.parseObject(JSON.toJSONString(originalObject));
JSONObject boundSql = originalObjectJSON.getJSONObject("boundSql");
JSONObject parameterObject = boundSql.getJSONObject("parameterObject");
SimpleDateFormat formatter = new SimpleDateFormat("yyyy_MM");
if(parameterObject.get(title) == null){
return "";
}
Date date = parameterObject.getObject(title, Date.class);
log.info("param value = " + formatter.format(date));
return "_" + formatter.format(date);
}
}
Tables类实现:
package com.geniuworks.bot.entity;
import lombok.Data;
import org.springframework.boot.context.properties.ConfigurationProperties;
import org.springframework.context.annotation.Configuration;
import java.util.List;
/**
* @Author dingws
* @PackageName
* @Package
* @Date 2022/1/5 2:18 下午
* @Version 1.0
*/
@Configuration
@ConfigurationProperties("mp")
@Data
public class Tables {
private List<String> tableNames;
}
4、优雅的使用
在使用的时候,只需要在mysql表对应的entity里添加一个字段month即可。
如果month不为空就会按照month的日期所在的月份对数据库表明进行动态拼接。如果month为空则不进行拼接,直接访问总表。
entity类实现:
package com.geniuworks.bot.entity;
import java.util.Date;
import lombok.AllArgsConstructor;
import lombok.Data;
import lombok.NoArgsConstructor;
@Data
@AllArgsConstructor
@NoArgsConstructor
public class Message {
private String id;
private String sessionId;
private Date createdTime;
private String content;
// 根据该字段所在的月分,区分访问的表名
private Date month;
}
mapper类实现:
package com.geniuworks.bot.mapper;
import com.geniuworks.bot.entity.Message;
import com.geniuworks.bot.vo.MessageVo;
import com.geniuworks.bot.vo.StatisticsVo;
import org.apache.ibatis.annotations.Mapper;
import org.apache.ibatis.annotations.Param;
import org.apache.ibatis.annotations.Select;
import java.util.Date;
import java.util.List;
import java.util.Map;
@Mapper
public interface MessageMapper {
/**
* insert record to table
* @param record the record
* @return insert count
*/
int insert(Message record);
/**
* insert record to table selective
* @param record the record
* @return insert count
*/
int insertSelective(Message record);
/**
* update record selective
* @param record the updated record
* @return update count
*/
int updateByPrimaryKeySelective(Message record);
/**
* update record
* @param record the updated record
* @return update count
*/
int updateByPrimaryKey(Message record);
5、mysql表名拆分
需要手动把当年需要的数据库手动创建出来,命名规则对应MybatisPlusConfig类中的拼接规则。
三、遇到的问题
由于我一直用的是mybatis组件,需要升级为mybatis-plus,在升级的过程中出现如下的问题。
1、Invalid bound statement (not found)
问题原因: pom文件依赖的是mybatis-plus,配置文件中使用的是mybatis的配置,导致mybatis加载失败。
解决方法:把配置文件的mybatis配置改为mybatis-plus配置
2、resultType=“java.util.Map”,返回字段名被包装
问题原因: 在未升级成mybatis-plus之前,可以直接放回数据库中的字段命名。 升级之后,mybatis-plus将放回字段自动映射为entity中的字段命名。
解决方案: 梳理受到影响的代码逻辑,更新使用的字段命名。
来源:https://blog.csdn.net/Martin_chen2/article/details/122491174
![](https://www.aspxhome.com/images/zang.png)
![](https://www.aspxhome.com/images/jiucuo.png)
猜你喜欢
- public void add(intindex, Eelement)从index索引的位置添加element元素,后面的元素都往
- 目录一,功能二,工具三、效果图:四、数据库设计五、JAVA层次分析六、主要Java代码分析一,功能管理员登录图书借阅信息管理图书信息管理管理
- java获取系统路径字体、得到某个目录下的所有文件名、获取当前路径package com.liuxing.test;import java.
- 本文介绍了详解Maven * Nexus的安装与使用,分享给大家,具体如下:1.安装1.1 安装docker并加速yum update &am
- import java.util.regex.Matcher;import java.util.regex.Pattern; /*
- Collectors.toMap空指针问题在工作中遇到了一个List转Map的时候的一个NullPointException.情形很简单,问
- AnDroidDraw 是一个与 DroidDraw 集成的 Android 应用程序,它允许你从 DroidDraw 应用 程序下载你的
- 基于Java swing+MySQL实现学生信息管理系统:主要实现JDBC对学生信息进行增删改查,应付一般课设足矣,分享给大家。(由于篇幅原
- 1 配置文件的方法我们编写spring 框架的代码时候。一直遵循是这样一个规则:所有在spring中注入的bean 都建议定义成私有的域变量
- [LeetCode] 205. Isomorphic Strings 同构字符串Given two strings s
- Spring介绍:spring 使用基本的 JavaBean 来完成以前只可能由 EJB 完成的事情。然而, Spring的用途不仅限于服务
- 一、BufferedImage类介绍生成验证码图片主要用到了一个BufferedImage类,如下:创建一个DrawImage Servle
- 一、缩略图在浏览相册的时候,可能需要生成相应的缩略图。直接上代码:public class ImageUtil { private Logg
- 最近在做的工作要用到本地方法,需要在Java中加载不少动态链接库(以下为方便延用Windows平台下的简写dll,但并不局限于Windows
- 1.在res上面右键->New->Android resource directory2.点击之后,出现下图Resource t
- Spring Cloud Gateway使用Spring Cloud Gateway是一个基于Spring Boot 2.x和Spring&
- 在开发过程中,我们经常需要将数据库查询到的值放入jsp页面进行显示,在springmvc的controller中,我们采用request将数
- 一、JdbcTemplateSpring 框架对 JDBC 进行封装,使用 JdbcTemplate 方便实现对数据库操作二、实战2.1 引
- 第一个SpringMvc HelloWorld无启动类springboot才有启动类前端操作访问项目名进入默认主页,显示一个链接点击链接后请
- 抽象方法与虚方法的区别先说两者最大的区别:抽象方法是需要子类去实现的。虚方法是已经实现了的,可以被子类覆盖,也可以不覆盖,取决于需求。因为抽