并发环境下mysql插入检查方案
作者:lijiao 发布时间:2024-01-27 00:59:09
业务背景:
基本业务场景是这样的,请求数据(车辆vin信息)进入到接口中,需要先判断其在数据库中的状态,如果库中不存在该vin,或者该vin状态位为“1(已完成)”,则执行一些检查操作后,将数据插入到数据库中,此时新增vin状态为0,调用人工处理接口,十分钟后返回结果,将状态置为1。如果其状态位为“0(正在处理)”则驳回操作,返回提示信息。
在单线程环境下,这样的业务没有问题,然而当并发访问接口时,会出现同时进入两条vin相同的请求AB,正常情况应该插入一条A,驳回一条B。然而并发环境下,B执行检查状态时A还没有插入,因此AB都进入到了数据库中,数据就错误了。
解决方案一:
首先想到的是使用sql处理,对数据库对应字段加唯一索引,保证一致性。如果插入重复的数据,则catch该异常,做出提示。
ALTER tableName ADD UNIQUE [indexName] ON (tableColumns(length))
但是由于业务限制,vin在库中是可以重复的,多条重复数据查询最新,所以不能再vin上添加唯一索引。
解决方案二:
使用mysql事务操作,将检查是否存在和插入作为一个事务进行处理,当检查失败的时候,不进行插入。从网上搜索了一下,大致思路如下:
public static void StartTransaction(Connection con, String[] sqls) throws Exception {
try {
// 事务开始
con.setAutoCommit(false); // 设置连接不自动提交,即用该连接进行的操作都不更新到数据库
sm = con.createStatement(); // 创建Statement对象
//依次执行传入的SQL语句
for (int i = 0; i < sqls.length; i++) {
sm.execute(sqls[i]);// 执行添加事物的语句
}
con.commit(); // 提交给数据库处理
// 事务结束
//捕获执行SQL语句组中的异常
} catch (SQLException e) {
try {
System.out.println("事务执行失败,进行回滚!\n");
con.rollback(); // 若前面某条语句出现异常时,进行回滚,取消前面执行的所有操作
} catch (SQLException e1) {
e1.printStackTrace();
}
} finally {
sm.close();
}
}
但是这样实际上还是没有解决并发的问题,这样只是把两个操作变成了一个原子的sql操作,可以用于同时插入两条数据一致性的情况,但并不适合需求。
既然sql层面没有解决问题,就考虑从java的并发编程方向解决。
解决方案三:
java解决并发问题,首先想到的是使用内置锁或者可重入锁,基本语法如下:
·内置锁:
由于是在Servlet中进行的处理,因此使用synchronized(this)直接处理业务代码,使得并 * 况下,只能有一个线程访问到该段业务代码:
synchronized(this){
//todo1:检查vin是否存在
//todo2:如果不存在插入vin
}
·可重入锁:
相当于更灵活的内置锁,在这里与内置锁基本相同
public class DashengCallBack extends HttpServlet {
private static ReentrantLock lock= new ReentrantLock();
protected void doGet(HttpServletRequest request, HttpServletResponse response){
lock.lock();
try{
//todo1:检查vin是否存在
//todo2:如果不存在插入vin
}finally{
lock.unlock();
}
}
}
经过测试,这个方案是可行的,最终没有采用的原因是因为直接使用这种方式加锁,加锁的代码太多,影响效率。
解决方案四:
设置一个查询Map,插入前存储数据,插入后删除数据,代码如下:
ConcurrentHashMap<String, String> vinMap=new ConcurrentHashMap<String,String>();
if(vinMap.containsKey(vin)){
// todo1: vin 请求完毕后, 从vinInRequestMap里删掉这个vinNo
// todo2: 返回正在查询
}
vinMap.put(vin, "");
//todo3:插入vin到数据库
vinMap.remove(vin);
}
这个方案基本满足了业务需求,唯一的问题是要求接口的更新时间要与业务时间错开,否则更新接口会清空vinMap,导致库中数据混乱,出现错误。


猜你喜欢
- 最近接触了一些selenium模块的相关知识,觉得还挺有意思的,于是决定亲自尝试写一些爬虫程序来强化selenium模块(一定要多尝试、多动
- 本文实例为大家分享了微信小程序实现扫雷游戏的具体代码,供大家参考,具体内容如下实验小提醒,打开微信小程序模板时,一定要看清楚,要选js模板,
- HTML是万维网上发布超文本的通用语言[1]。从1982年Tim Berners-Lee简化SGML建立HTML的原始定义到2001年发布X
- 今天主要是来说一下怎么可视化来监控你的爬虫的状态。相信大家在跑爬虫的过程中,也会好奇自己养的爬虫一分钟可以爬多少页面,多大的数据量,当然查询
- 如下所示:import threadingimport timesem=threading.Semaphore(4) #限制线程的最大数量为
- 今天用FrontPage2003,无意中发现一个bug,稍加研究,基本发现这个bug的规律了首先是我的系统版本和Frontpage版本:我的
- 一、Browser Capabilities组件 该组件最主要的作用是:提取识别客户端浏览器的版本信息。其原理是这样的:当客户端浏览器向服务
- 1、准备表结构及对应的表数据a、表结构:create table TB_TREE(CID NUMBER not null,CNAME VAR
- 一维线性拟合数据为y=4x+5加上噪音结果:import numpy as npfrom mpl_toolkits.mplot3d impo
- 由于测试环境上面使用的zabbix服务器配置比较低,经常会遇到性能瓶颈(主要是数据库和磁盘I/O等),于是倒逼我使用了一些方式来缓解这些问题
- 引言:一开始二维码加群,但是呢,这个东西隔一段时间会过期,我需要 每隔一段时间去更新二维码,然后当群人数超过100人了,只能邀请进群, 这个
- 通过HTTP_USER_AGENT判断用户是从手机上访问,还是电脑IE上访问。 asp代码片段:主要使用了正则匹配手机环境,大家可以补充手机
- 目录前言前期准备数据的选择与获取分词筛选与可视化总结前言”数据可视化“这个话题,相信大家并不陌生,在一些平台,经常可以看到一些动态条形图的视
- 这篇文章主要介绍了Pycharm debug调试时带参数过程解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值
- 如果在select语句前放上关键词explain,mysql将解释它如何处理select,提供有关表如何联接和联接的次序。explain的每
- 本文实例为大家分享了python爬取51job中hr的邮箱具体代码,供大家参考,具体内容如下#encoding=utf8import url
- 在某些编程语言中,例如 C/C++、C#、PHP、Java、JavaScript 等等,do-while 是一种基本的循环结构。它的核心语义
- 在目标检测中一个很重要的问题就是NMS及IOU计算,而一般所说的目标检测检测的box是规则矩形框,计算IOU也非常简单,有两种方法:1. 两
- 我之前写过一篇基于JS的石头剪子布程序 《JavaScript实现的石头剪刀布游戏源码分享》,今天又基于Python写了一个实例,这里边的算
- 一、layui下拉复选实现的背景:实现一个管理员拥有多个权限二、 具体实现://依赖资源<link rel="stylesh