Java8 中的ParallelStream
作者:onlythinking 发布时间:2022-09-07 19:00:23
目录
1、Stream API
2、ParallelStreams执行原理
3、ParallelStreams注意事项
前言:
并行编程势不可挡,Java从1.7开始就提供了Fork/Join 支持并行处理。java1.8 进一步加强。
并行处理就是将任务拆分子任务,分发给多个处理器同时处理,之后合并。
1、Stream API
Java 8 引入了许多特性,Stream API
是其中重要的一部分。区别 InputStream OutputStream
,Stream API
是处理对象流而不是字节流。
执行原理如下,流分串行和并行两种执行方式
// 串行执行流
stream().filter(e -> e > 10).count();
// 并行执行流
.parallelStream().filter(e -> e > 10).count()
2、ParallelStreams执行原理
并行执行时,java
将流划分为多个子流,分散在不同CPU并行处理,然后进行合并。
并行一定比串行更快吗?这不一定,取决于两方面条件:
处理器核心数量,并行处理核心数越多自然处理效率会更高。
处理的数据量越大,优势越强。这也很好理解,比如十个人干一个人就能完成的活儿会比它自己干更便宜?
3、ParallelStreams注意事项
使用并行流时,不要使用collectors.groupingBy,collectors.toMap
,替代为
collectors.groupingByConcurrent , collectors.toConcurrentMap
,或直接使用串行流。
原因,并行流执行时,通过操作Key来合并多个map的操作比较昂贵。详细大家可以查看官网介绍。
https://docs.oracle.com/javase/tutorial/collections/streams/parallelism.html#concurrent_reduction
Map<String, List<Person>> byGender =
roster
.stream()
.collect(Collectors.groupingBy(Person::getGender));
ConcurrentMap<String, List<Person>> byGender =
roster
.parallelStream()
.collect(Collectors.groupingByConcurrent(Person::getGender));
ParallelStreams
默认使用 ForkJoinPool.commonPool()
线程池。
注意:默认情况下,你写的 ParallelStreams 都是通过该线程池调度执行,整个应用程序都共享这个线程池。
看一个例子,我们查询一批新闻数据,可以利用并行化来处理远程新闻下载。
public List<News> queryNews(Stream<String> ids) {
return ids.parallel()
.map(this::getNews) // 网络操作,新闻下载
.collect(toList());
}
因为是网络操作,存在很多不确定性,假如某个任务运行时间较长,导致线程池资源占据,阻塞其它线程,这样就阻止了其他的并行流任务正常进行。
如果解决这个问题的其中一种方式,进行线程池隔离
。那么如何自定义并行流的线程池呢?
ForkJoinPool
构造参数我们默认设置为CPU核心数。
ForkJoinPool customThreadPool = new ForkJoinPool(4);
long actualTotal = customThreadPool
.submit(() -> roster.parallelStream().reduce(0, Integer::sum)).get();
总结:
Java 1.8
提供的Stream API
简化了代码,很好用。不过在使用过程中应该注意以上问题。
来源:https://www.onlythinking.com/2020/06/05/%E4%BD%A0%E5%9C%A8%E4%BD%BF%E7%94%A8java-8-parallel-streams-%E5%90%97%EF%BC%9F/


猜你喜欢
- 本文较为详细的讲述了在WCF数据访问中使用缓存提高Winform字段中文显示速度的方法,分享给大家供大家参考之用。具体方法如下:在我们开发基
- 本文实例为大家分享了Java实现单向链表反转的具体代码,供大家参考,具体内容如下1、实现代码public class LinkedListT
- 1. 数据构造索引2个文档到 hotel 索引中:PUT /hotel/_doc/1{ "title": &
- 目录一、二叉树的顺序存储1.堆的存储方式2.下标关系二、堆(heap)1.概念2.大/小 根堆2.1小根堆2.2大根堆3.建堆操作3.1向下
- SpringBoot分离打Jar包的两种方式方式一:基于maven-jar-plugin此方式基于这个小伙伴的配置改的:https://ww
- 学习Java实现飞机航班管理系统,本文有该系统的功能截图,和数据库设计SQL语句供大家参考1.飞机航班管理系统背景本系统模拟飞机航班管理业务
- 先说明一下,项目代码已上传至github,不想看长篇大论的也可以先去下代码,对照代码,哪里不懂点哪里。代码在这https://github.
- 目录一、什么是RPC?二、实现RPC需要解决那些问题?1. 约定通信协议格式2. 序列化方式3. TCP粘包、拆包4. 网络通信框架的选择三
- @property可以将python定义的函数“当做”属性访问,从而提供更加友好访问方式,但是有时候setter/deleter也是需要的。
- 代码注释是架起程序设计者与程序阅读者之间的通信桥梁,最大限度的提高团队开发合作效率。也是程序代码可维护性的重要环节之一。所以我们不是为写注释
- C#支持的位逻辑运算符如表2.9所示。运算符号意义运算对象类型运算结果类型对象数实例~位逻辑非运算整型,字符型整型1~a&位逻辑与运
- 本文实例分析了C#中out保留字的用法,分享给大家供大家参考。具体用法分析如下:C#中的out保留字表示这个变量要回传值,最简单的应用是除法
- 首先写一个测试文件然后点击IDEA右侧的maven,然后选择package,之后点击上面运行或者直接双击即可,等下方控制台构建成功即可:然后
- 1.概述在平时的开发中,有一些Jar包因为种种原因,在Maven的中央仓库中没有收录,所以就要使用本地引入的方式加入进来。2. 拷贝至项目根
- Java读文件修改默认换行符Java默认换行符是'\n'。但有时数据并不以'\n'进行换行方法如下publi
- 一、常用功能java.utils.Collections是集合工具类,用来对集合进行操作。部分方法如下:public static <
- using System;using System.Collections.Generic;using System.Linq;using
- 以下内容归纳了通过Java程序打印PDF文档时的3种情形。即:1 静默打印2 显示打印对话框打印3 打印PDF时自定义纸张大小使用工具:Sp
- 本文实现springboot的多文件上传,首先创建一个springboot项目,添加spring-boot-starter-web依赖。然后
- 本文演示android中图片加载到内存首先设计界面:代码如下:<LinearLayout xmlns:android="ht