Java多线程实现第三方数据同步
作者:我高考零分! 发布时间:2023-06-30 10:57:57
标签:Java,多线程,数据同步
本文实例为大家分享了Java多线程实现第三方数据同步的具体代码,供大家参考,具体内容如下
一、场景
最近的一项开发任务是同步第三方数据,而第三方数据一般有存量数据和增量数据,存量数据有100w+。在得知此需求时,进行了一定的信息检索和工具学习,提前获取存量数据到目标库,再使用kettle进行存量数据转换;增量数据则根据业务方规定的请求时间,通过定时任务去获取增量数据并进行数据转换。在数据获取和转换时,我们应该要记录每一次的请求信息,便于溯源和数据对账!!!
二、获取数据的方式
2.1 递归方式
使用递归方式时,要求数据量少,否则会出现栈溢出或堆溢出!!!并且递归方式是单线程,所以会导致同步速度很慢!!!
/**
* 数据同步 - 递归方式
* 此处存量数据只需要请求到数据并保存数据库即可,后期通过kettle进行转换。
* Data为自定义实体类,这里仅做示例!!!
*/
private void fetchAndSaveDB(int pageIndex, int pageSize) throws Exception {
log.info("【数据同步 - 存量】,第{}次同步,", pageIndex);
List<Data> datas= getDataByPage(pageIndex,pageSize);
if (CollectionUtils.isNotEmpty(datas)) {
dataService.saveOrUpdateBatch(datas);
log.info("【数据同步 - 存量】,第{}次同步,同步成功", pageIndex);
if (datas.size() < pageSize) {
log.info("【数据同步 - 存量】,第{}次同步,获取数据小于每页获取条数,证明已全部同步完毕!!!", pageIndex);
return;
}
// 递归操作-直到数据同步完毕
fetchAndSaveDB(pageIndex + 1, pageSize);
} else {
log.info("【数据同步 - 存量】,第{}次同步,获取数据为空,证明已全部同步完毕!!!", pageIndex);
return;
}
}
/**
* 获取分页数据,Data为自定义实体类,这里仅做示例!!!
*/
private List<Data> getDataByPage(int pageIndex, int pageSize) throws Exception {
//通过feign调用第三方接口获取数据
String data = dataFeignService.fetchAllData(pageSize, pageIndex);
JSONObject jsonObject = JSONObject.parseObject(data);
JSONArray datalist = jsonObject.getJSONArray("datalist");
List<Data> datas = datalist.toJavaList(Data.class);
return datas;
}
2.2 多线程方式
由于递归方式是单线程,考虑到数据的庞大,且易造成内存溢出,因此将递归更换成多线程方式,不仅避免了内存溢出的情况,且速度大大的提升!!!
public void synAllData() {
// 定义原子变量 - 页数
AtomicInteger pageIndex = new AtomicInteger(0);
// 创建线程池
ExecutorService fixedThreadPool = Executors.newFixedThreadPool(10);
// 100万数据
int total = 1000000;//数据总量
int times = total / 1000;
if (total % 1000!= 0) {
times = times + 1;
}
LocalDateTime beginLocalDateTime = LocalDateTime.now();
log.info("【数据同步 - 存量】开始同步时间:{}", beginLocalDateTime.format(DateTimeFormatter.ofPattern("yyyy-MM-dd HH:mm:ss")));
for (int index = 1; index <= times; index++) {
fixedThreadPool.submit(new Runnable() {
@Override
public void run() {
try {
multiFetchAndSaveDB(pageIndex.incrementAndGet(), 1000);
} catch (Exception e) {
log.error("并发获取并保存数据异常:{}", e);
}
}
});
}
LocalDateTime endLocalDateTime = LocalDateTime.now();
log.info("【数据同步 - 存量】同步结束时间:{},总共耗时:{}分钟",
endLocalDateTime.format(DateTimeFormatter.ofPattern("yyyy-MM-dd HH:mm:ss")),
Duration.between(beginLocalDateTime, endLocalDateTime).toMinutes());
}
/**
* 数据同步 - 【多线程方式】
*
* @throws Exception
*/
private void multiFetchAndSaveDB(int pageIndex, int pageSize) throws Exception {
log.info("【数据同步 - 存量】,第{}次同步,", pageIndex);
List<Data> datas= getDataByPage(pageIndex, pageSize);//getDataByPage()同上2.1
if (CollectionUtils.isNotEmpty(datas)) {
log.info("【数据同步 - 存量】,第{}次同步,同步成功", pageIndex);
if (datas.size() < pageSize) {
log.info("【数据同步 - 存量】,第{}次同步,获取数据小于每页获取条数,证明已全部同步完毕!!!", pageIndex);
return;
}
} else {
log.info("【数据同步 - 存量】,第{}次同步,获取数据为空,证明已全部同步完毕!!!", pageIndex);
return;
}
}
三、增量数据如何对接
增量数据需要写定时任务,可使用Scheduled注解,并需要将增量数据存放到目标库中且进行数据转换!!!此处就不再提供代码,可以参考上面的存量数据的方式编写!!!
来源:https://blog.csdn.net/Amber_1/article/details/124978946
0
投稿
猜你喜欢
- 数据校验在web应用里是非常重要的功能,尤其是在表单输入中。在这里采用Hibernate-Vapdator进行校验,该方法实现了JSR-30
- 一、几句话使用Gradle及其推荐的项目框架把密码等敏感数据放入gradle.properties不要自己写Http客户端,使用Volley
- 什么是Dozer?Dozer是一种Java Bean到Java Bean的映射器,递归地将数据从一个对象复制到另一个对象,它是一个强大的,通
- 首先,来看一下,快速排序的实现的动态图:快速排序介绍:快速排序,根据教科书说法来看,是冒泡排序的一种改进。快速排序,由一个待排序的数组(ar
- 在任何Java面试当中多线程和并发方面的问题都是必不可少的一部分。如果你想获得任何股票投资银行的前台资讯职位,那么你应该准备很多关于多线程的
- 前言本文主要给大家介绍的是关于obix协议在java中的配置和使用,分享出来供大家参考学习,下面话不多说了,来一起看看详细的介绍吧。什么是
- 在项目中经常要用到将字符串解析成Locale,但是没有一个比较好用的类。java本身提供了3个构造函数,但是实际使用过程中,需要自己解析,比
- Maven是个很好用的管理工具,不经能够管理jar,还能实现打包。这里讲解Maven 本地打包,服务器打包,可以全部交给jenkins去完成
- 五子棋游戏(Java),供大家参考,具体内容如下思路:1.首先创建一个棋盘,建立一个二维数组,此文中为一个15*15的二维数组,2.初始化棋
- 一、spring-boot-devtools在pom中直接引入依赖<dependency> <groupId&
- 本文实例讲述了java实现简单的英文文本单词翻译器功能。分享给大家供大家参考,具体如下:直接上代码:package fanyi;import
- 本文实例讲述了C#使用Ado.net读取Excel表的方法。分享给大家供大家参考。具体分析如下:微软NET提供了一个交互的方法,通过使用AD
- 本文主要介绍了关于c#和java base64不一致的解决方法,分享出来供大家参考学习,下面话不多说了,来一起看看详细的介绍吧不一致的问题不
- 目录简介:根据sun的官方文档描述:示例:@SuppressWarnings注解的作用一.@SuppressWarings注解示例1——抑制
- 1. Easy Rules 概述Easy Rules是一个Java规则引擎,灵感来自一篇名为《Should I use a Rules En
- Android中的异步消息机制分为四个部分:Message、Handler、MessageQueue和Looper。其中,Message是线
- 本文实例为大家分享了JavaMail实现带附件的邮件发送的具体代码,供大家参考,具体内容如下发送纯文本的邮件package com.haiw
- java 计算同比增长工具类为了数据的严谨性,统一装换为BigDecimal,话不多说,看代码。package com.pig4cloud.
- 1. 原因最近学习spring data JPA 时候要用到分页功能,但是发现网上所有教程都是通过new PageRequest()方法解决
- 加密配置文件的SQL账号密码一般项目的配置文件里的信息都是明文的,导致有时候比较敏感的信息也直接暴露得超级明显,比如SQL的链接 账号 密码