Java中多线程下载图片并压缩能提高效率吗
作者:马男波杰克 发布时间:2023-08-06 07:40:10
目录
前言
实现思路
实测
前言
需求 导出Excel:本身以为是一个简单得导出,但是每行得记录文件中有一列为图片url,需要下载所有记录行对应得图片,然后压缩整个文件夹。
这里只做4.5.得代码讲解描述,其它也没什么好说得,话不多说上代码.
实现思路
多线程实现使用了线程池,Jdk1.8并发包下的CompletableFuture
第一步:得到基础数值
// 线程数
Integer threadNum = 10;
// 每条线程需要处理的图片数
int dataNum = imageInfoVos.size() / threadNum;
// 写入线程数
List<Integer> threadS = new ArrayList<>();
for(int i=0; i<threadNum; i++){
threadS.add(i);
}
首先我们保存了需要下载的图片的Url列表,多线程的方式下载我们需要保证每个线程下载的图片不会重复,因此我们需要根据规则来切割保存Url列表的集合,从而保证每个线程下载属于自己的任务,上代码:
// 接上文代码
threadS.stream().map(item -> CompletableFuture.runAsync(() ->{
List<Image> theadItem = imageInfoVos.subList(dataNum * item,(item+1)==threadNum?imageInfoVos.size():Math.min(dataNum * (item + 1 ), imageInfoVos.size()));
threadDownPic(theadItem,item,dirName);
},threadPoolTaskExecutor)).collect(Collectors.toList()).forEach(item ->{
try {
item.get();
}catch (Exception e){
log.error("============ 多线程down执行等待异常 msg:{} =============", e.getMessage());
}
});
这里进行拆分讲解
使用CompletableFuture.runAsync 走异步方式,遍历item
如item=10,也就是线程数为10,则直接执行10次(有线程池的前提下
)
// 使用CompletableFuture.runAsync 走异步方式,遍历item
// 如item=10,也就是线程数为10,则直接执行10次(有线程池的前提下)
threadS.stream().map(item -> CompletableFuture.runAsync(() ->{
规则:
根据item数值通过sublist 从开始到结束,截取对应线程所需要下载的Url列表
例:dataNum为每个线程需要完成的下载数如上文 dataNum为100时
如:item=0 dataNum* item(0) =0,Math.min(dataNum * (item + 1 )=100
(item+1)==threadNum?imageInfoVos.size() 此次是为了保证最后一个线程处理最后不足的图片
根据如上规则即可得到每个线程需要下载的图片Url保证不会重复
// 根据item数值通过sublist 从开始到结束,截取对应线程所需要下载的Url列表
// 例:dataNum为每个线程需要完成的下载数如上文 dataNum为100时
// 如:item=0 dataNum* item(0) =0,Math.min(dataNum * (item + 1 )=100
// 根据如上规则即可得到每个线程需要下载的图片Url保证不会重复
// (item+1)==threadNum?imageInfoVos.size() 此次是为了保证最后一个线程处理最后不足的图片
List<ImageInfoVo> theadItem = imageInfoVos.subList(dataNum * item,(item+1)==threadNum?imageInfoVos.size():Math.min(dataNum * (item + 1 ), imageInfoVos.size()));
// theadItem:图片Url item:所属下标 dirName:写入路径url
threadDownPic(theadItem,item,dirName);
由于执行的异步方式,此处是为了线程池中所有线程都结束才能往下走,执行压缩文件步骤,这里提一嘴,如果没有手动赋予线程池,CompletableFuture默认使用ForkJoinPool.commonPool,会根据电脑核心数来指定,
比如:我本机未指定就是7个线程,执行方法时,会执行完前面7个线程任务,才会继续创建3个线程继续执行后续未完成的
},threadPoolTaskExecutor)).collect(Collectors.toList()).forEach(item ->{
try {
item.get();
}catch (Exception e){
log.error("============ 多线程down执行等待异常 msg:{} =============", e.getMessage());
}
});
实测
主要代码也写完了,这种方式真的能提高效率吗?下面我贴几张测试图来说明
其实这种方式并没有显著的提高效率,当然这是我本机环境测试的。
效率是由网速决定,而不是由本机Cpu和io决定,比如10M带宽,一个线程一个一个顺序下载,但速度是10M,10个线程,可能每个线程的速度是1M,结果没有什么两样。
相对于网速,多线程带来的cpu以及io节省的时间几乎可以忽略,瓶颈还是在网速.
来源:https://juejin.cn/post/6976454072685559822
猜你喜欢
- 本文实例为大家分享了java实现单词小游戏的具体代码,供大家参考,具体内容如下介绍公司最近有一个竞技场项目,里面有一个单词小游戏。游戏大概就
- thymeleaf介绍简单说, Thymeleaf 是一个跟 Velocity、FreeMarker 类似的模板引擎,它可以完全替代 JSP
- 在java中,可以根据Class类的对象,知道某个类(接口)的一些属性(成员 ,方法,注释,注解)等。由于最近的工作中用到了这些,其中需要在
- Spring BeanPostProcessor执行顺序首先 Spring 通过调用构造方法创建 User 对象;User 对象创建好之后,
- 在 Java 中,LinkedList 和 ArrayList 的性能是不同的,具体取决于你所需要的操作。对于频繁的插入和删除操作,Link
- java 计算同比增长工具类为了数据的严谨性,统一装换为BigDecimal,话不多说,看代码。package com.pig4cloud.
- 一个线程如何知道另一线程已经结束?Thread类提供了回答此问题的方法。有两种方法可以判定一个线程是否结束。第一,可以在线程中调用isAli
- 在项目中如果有些参数经常需要修改,或者后期可能需要修改,那我们最好把这些参数放到properties文件中,源代码中读取properties
- JAVA中去掉空格 1. String.trim() trim()是去掉首尾空格 2.str
- 打印Java程序的线程栈信息jstack可以得知当前线程的运行情况安装jstack等命令集,jstack是开发版本jdk的一部分,不是开发版
- 本文通过优化买票的重复流程来说明享元模式,为了加深对该模式的理解,会以String和基本数据类型的包装类对该模式的设计进一步说明。读者可以拉
- java数组初始化赋初值方法一int[] vis1;//声明未初始化 vis1=new in
- 最近一段时间生产环境频繁出问题,每次都会生成一个hs_err_pid*.log文件,因为工作内容的原因,在此之前并没有了解过相关内容,趁此机
- Stream流常见的中间操作方法Streamfilter(Predicate predicate):用于对流中的数据进行过滤predicat
- 前言本文主要介绍了关于java静默加载Class的相关内容,之所以有这篇文章,是因为有时候在开发的时候,我们有这样的场景,我们只想得到一个C
- 一.求两直线交点class Point { double x; do
- 目录1、Integer a = 1;2、对于同一类中的两个方法 , 在判断它们是不是重载方法时 , 肯定不考虑( )3、对于Java中异常的
- C#连接本地.mdf文件:项目中右键点击,新增——数据——基于服务的数据库,项目下直接生成.mdf数据库文件,后台(数据库的写入用参数传递)
- 目录Spring事件驱动源码实战在项目实际开发过程中,我们有很多这样的业务场景:一个事务中处理完一个业务逻辑后需要跟着处理另外一个业务逻辑,
- 通过使用java mail来实现读取163邮箱,qq邮箱的邮件内容。1.代码实现创建springboot项目,引入依赖包<!--mai