Java——基于CompletableFuture的流水线并行处理

2024-03-26 20:28
文章标签 java 流水线 completablefuture 并行处理

本文主要是介绍Java——基于CompletableFuture的流水线并行处理，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

CompletableFuture在JDK1.8提供了一种更加强大的异步编程的api。它实现了Future接口，也就是Future的功能特性CompletableFuture也有；除此之外，它也实现了CompletionStage接口，CompletionStage接口定义了任务编排的方法，执行某一阶段，可以向下执行后续阶段。

CompletableFuture相比于Future最大的改进就是提供了类似观察者模式的回调监听的功能，也就是当上一阶段任务执行结束之后，可以回调你指定的下一阶段任务，而不需要阻塞获取结果之后来处理结果。

CompletableFuture常见api详解：

1、实例化CompletableFuture

// 构造方法创建
CompletableFuture<String> completableFuture = new CompletableFuture<>();
completableFuture.complete("hello");
System.out.println(completableFuture.get());
// 静态方法创建
/**
supply 和 run 的主要区别就是 supply 可以有返回值，run 没有返回值。
Executor 就是用来执行异步任务的线程池,
如果不传Executor 的话，默认是ForkJoinPool这个线程池的实现。
一旦通过静态方法来构造，会立马开启异步线程执行Supplier或者Runnable提交的任务。
**/
public static <U> CompletableFuture<U> supplyAsync(Supplier<U> supplier);
public static <U> CompletableFuture<U> supplyAsync(Supplier<U> supplier, Executor executor);public static CompletableFuture<Void> runAsync(Runnable runnable);
public static CompletableFuture<Void> runAsync(Runnable runnable, Executor executor);
// 一旦任务执行完成，就可以打印返回值，这里的使用方法跟Future是一样的。
CompletableFuture<String> completableFuture = CompletableFuture.supplyAsync(() -> "hello");
System.out.println(completableFuture.get());

使用构造方法需要其它线程主动调用complete来表示任务执行完成，因为很简单，因为在构造的时候没有执行异步的任务，所以需要其它线程主动调用complete来表示任务执行完成。

2、获取任务执行结果

public T get();
public T get(long timeout, TimeUnit unit);
public T getNow(T valueIfAbsent);
public T join();
  • get()和get(long timeout, TimeUnit
    unit)是实现了Future接口的功能，两者主要区别就是get()会一直阻塞直到获取到结果，get(long timeout,
    TimeUnit unit)值可以指定超时时间，当到了指定的时间还未获取到任务，就会抛出TimeoutException异常。
  • getNow(T valueIfAbsent)：就是获取任务的执行结果，但不会产生阻塞。如果任务还没执行完成，那么就会返回你传入的
    valueIfAbsent 参数值，如果执行完成了，就会返回任务执行的结果。
  • join()：跟get()的主要区别就是，get()会抛出检查时异常，join()不会。

3、主动触发任务完成

public boolean complete(T value);
public boolean completeExceptionally(Throwable ex);
  • complete：主动触发当前异步任务的完成。调用此方法时如果你的任务已经完成，那么方法就会返回false；如果任务没完成，就会返回true，并且其它线程获取到的任务的结果就是complete的参数值。
  • completeExceptionally：跟complete的作用差不多，complete是正常结束任务，返回结果，而completeExceptionally就是触发任务执行的异常。

4、对任务执行结果进行下一步处理

// 只能接收任务正常执行后的回调
public <U> CompletionStage<U> thenApply(Function<? super T,? extends U> fn);
public CompletableFuture<Void> thenRun(Runnable action);
public CompletionStage<Void> thenAccept(Consumer<? super T> action);

这类回调的特点就是，当任务正常执行完成，没有异常的时候就会回调。

  • thenApply：可以拿到上一步任务执行的结果进行处理，并且返回处理的结果
  • thenRun：拿不到上一步任务执行的结果，但会执行Runnable接口的实现
  • thenAccept：可以拿到上一步任务执行的结果进行处理，但不需要返回处理的结果
// 只能接收任务处理异常后的回调
public CompletionStage<T> exceptionally(Function<Throwable, ? extends T> fn);

当上面的任务执行过程中出现异常的时候，会回调exceptionally方法指定的回调，但是如果没有出现异常，是不会回调的。

exceptionally能够将异常给吞了，并且fn的返回值会返回回去。

其实这个exceptionally方法有点像降级的味道。当出现异常的时候，走到这个回调，可以返回一个默认值回去。

// 能同时接收任务执行正常和异常的回调
public <U> CompletionStage<U> handle(BiFunction<? super T, Throwable, ? extends U> fn);
public CompletionStage<T> whenComplete(BiConsumer<? super T, ? super Throwable> actin);

不论前面的任务执行成功还是失败都会回调的这类方法指定的回调方法。

  • handle :
    跟exceptionally有点像，但是exceptionally是出现异常才会回调，两者都有返回值，都能吞了异常，但是handle正常情况下也能回调。
  • whenComplete：能接受正常或者异常的回调，并且不影响上个阶段的返回值，也就是主线程能获取到上个阶段的返回值；当出现异常时，whenComplete并不能吞了这个异常，也就是说主线程在获取执行异常任务的结果时，会抛出异常。

示例：

    @Testpublic void then(){CompletableFuture<String> completableFuture1 = CompletableFuture.supplyAsync(() -> 10).thenApply(v -> ("上一步的执行的结果为：" + v));System.out.println(completableFuture1.join());CompletableFuture<Void> completableFuture2 = CompletableFuture.supplyAsync(() -> 10).thenRun(() -> System.out.println("上一步执行完成"));CompletableFuture<Void> completableFuture3 = CompletableFuture.supplyAsync(() -> 10).thenAccept(v -> System.out.println("上一步执行完成，结果为：" + v));CompletableFuture<Integer> completableFuture5 = CompletableFuture.supplyAsync(() -> {return 100;}).exceptionally(e -> {System.out.println("出现异常了，返回默认值");return 110;});System.out.println(completableFuture5.join());CompletableFuture<Integer> completableFuture6 = CompletableFuture.supplyAsync(() -> {int i = 1 / 0;return 100;}).exceptionally(e -> {System.out.println("出现异常了，返回默认值");return 110;});System.out.println(completableFuture6.join());CompletableFuture<String> completableFuture4 = CompletableFuture.supplyAsync(() -> {//模拟异常int i = 1 / 0;return 10;}).thenApply(v -> ("上一步的执行的结果为：" + v));System.out.println(completableFuture4.join());CompletableFuture<Integer> completableFuture7 = CompletableFuture.supplyAsync(() -> {int i = 1 / 0;return 10;}).whenComplete((r, e) -> {System.out.println("whenComplete被调用了");});System.out.println(completableFuture7.join());}

上一步的执行的结果为：10
上一步执行完成
上一步执行完成，结果为：10
100
出现异常了，返回默认值
110java.util.concurrent.CompletionException: java.lang.ArithmeticException: / by zerowhenComplete被调用了
Exception in thread "main" java.util.concurrent.CompletionException: java.lang.ArithmeticException: / by zero

5、对任务结果进行合并

public <U,V> CompletionStage<V> thenCombine(CompletionStage<? extends U> other,BiFunction<? super T,? super U,? extends V> fn);

这个方法的意思是，当前任务和other任务都执行结束后，拿到这两个任务的执行结果，回调 BiFunction ，然后返回新的结果。

6、以Async结尾的方法

public CompletionStage<Void> thenAcceptAsync(Consumer<? super T> action,Executor executor);
public CompletionStage<Void> thenAcceptAsync(Consumer<? super T> action);

thenAcceptAsync跟thenAccept的主要区别就是thenAcceptAsync会重新开一个线程来执行下一阶段的任务，而thenAccept还是用上一阶段任务执行的线程执行。

两个thenAcceptAsync主要区别就是一个使用默认的线程池来执行任务，也就是ForkJoinPool，一个是使用方法参数传入的线程池来执行任务。

当然除了thenAccept方法之外，上述提到的方法还有很多带有Async结尾的对应的方法，他们的主要区别就是执行任务是否开启异步线程来执行的区别。

CompletableFuture实战测试：

场景：

  • 从某宝、某东、某多多去获取某个商品的价格、折扣
  • 并计算出实际付款金额
  • 最终返回最优的平台与价格信息

多线程形式：
多线程流程图

@Slf4j
public class CompleteFutureTest1 {static ThreadPoolExecutor threadPool = new ThreadPoolExecutor(50,100,10,TimeUnit.SECONDS,new ArrayBlockingQueue<>(200),Executors.defaultThreadFactory(),new ThreadPoolExecutor.AbortPolicy());public static void main(String[] args) {userFutureTask();}private static void userFutureTask(){long start = System.currentTimeMillis();Future<BigDecimal> moubaoFuture = threadPool.submit(() -> {// 1、查询某宝价格log.info("查询 某宝价格");TimeUnit.SECONDS.sleep(2);BigDecimal bigDecimal = new BigDecimal("100");// 2、查询某宝折扣log.info("查询 某宝折扣");TimeUnit.SECONDS.sleep(2);BigDecimal discount = new BigDecimal("0.6");// 3、计算某宝实时价格log.info("计算 某宝实时价格");TimeUnit.SECONDS.sleep(2);return bigDecimal.multiply(discount);});Future<BigDecimal> moudongFuture = threadPool.submit(() -> {// 1、查询某宝价格log.info("查询 某东价格");TimeUnit.SECONDS.sleep(2);BigDecimal bigDecimal = new BigDecimal("100");// 2、查询某宝折扣log.info("查询 某东折扣");TimeUnit.SECONDS.sleep(2);BigDecimal discount = new BigDecimal("0.6");// 3、计算某宝实时价格log.info("计算 某东实时价格");TimeUnit.SECONDS.sleep(2);return bigDecimal.multiply(discount);});Future<BigDecimal> mouduoFuture = threadPool.submit(() -> {// 1、查询某宝价格log.info("查询 某多价格");TimeUnit.SECONDS.sleep(2);BigDecimal bigDecimal = new BigDecimal("100");// 2、查询某宝折扣log.info("查询 某多折扣");TimeUnit.SECONDS.sleep(2);BigDecimal discount = new BigDecimal("0.6");// 3、计算某宝实时价格log.info("计算 某多实时价格");TimeUnit.SECONDS.sleep(2);return bigDecimal.multiply(discount);});BigDecimal minPrice = Stream.of(moubaoFuture, moudongFuture, mouduoFuture).map(priceResultFuture -> {try {return priceResultFuture.get(10, TimeUnit.SECONDS);} catch (Exception e) {log.error("exception:{}", e.getMessage());return null;}}).filter(Objects::nonNull).sorted(BigDecimal::compareTo).findFirst().get();log.info("minPrice: {}", minPrice);long end = System.currentTimeMillis();log.info("耗时: {}" + (end - start));}}

17:54:09.417 [pool-1-thread-1] INFO com.ooamo.example.E13.CompleteFutureTest1 - 查询 某宝价格
17:54:09.417 [pool-1-thread-2] INFO com.ooamo.example.E13.CompleteFutureTest1 - 查询 某东价格
17:54:09.417 [pool-1-thread-3] INFO com.ooamo.example.E13.CompleteFutureTest1 - 查询 某多价格
17:54:11.421 [pool-1-thread-3] INFO com.ooamo.example.E13.CompleteFutureTest1 - 查询 某多折扣
17:54:11.421 [pool-1-thread-2] INFO com.ooamo.example.E13.CompleteFutureTest1 - 查询 某东折扣
17:54:11.421 [pool-1-thread-1] INFO com.ooamo.example.E13.CompleteFutureTest1 - 查询 某宝折扣
17:54:13.421 [pool-1-thread-1] INFO com.ooamo.example.E13.CompleteFutureTest1 - 计算 某宝实时价格
17:54:13.421 [pool-1-thread-2] INFO com.ooamo.example.E13.CompleteFutureTest1 - 计算 某东实时价格
17:54:13.421 [pool-1-thread-3] INFO com.ooamo.example.E13.CompleteFutureTest1 - 计算 某多实时价格
17:54:15.422 [main] INFO com.ooamo.example.E13.CompleteFutureTest1 - minPrice: 60.0
17:54:15.423 [main] INFO com.ooamo.example.E13.CompleteFutureTest1 - 耗时: {}6050

使用多线程的方法去实现，耗时为6s

CompletableFuture形式：
completableFuture流程图

@Slf4j
public class CompleteFutureTest2 {public static void main(String[] args) {userFutureTask();}private static void userFutureTask(){long start = System.currentTimeMillis();CompletableFuture<BigDecimal> moubao = CompletableFuture.supplyAsync(() -> {// 1、查询某宝价格log.info("查询 某宝价格");try {TimeUnit.SECONDS.sleep(2);} catch (InterruptedException e) {throw new RuntimeException(e);}return new BigDecimal("100");}).thenCombine(CompletableFuture.supplyAsync(() -> {// 2、查询某宝折扣log.info("查询 某宝折扣");try {TimeUnit.SECONDS.sleep(2);} catch (InterruptedException e) {throw new RuntimeException(e);}return new BigDecimal("0.6");}), CompleteFutureTest2::computeRealPrice);CompletableFuture<BigDecimal> moudong = CompletableFuture.supplyAsync(() -> {// 1、查询某宝价格log.info("查询 某东价格");try {TimeUnit.SECONDS.sleep(2);} catch (InterruptedException e) {throw new RuntimeException(e);}return new BigDecimal("100");}).thenCombine(CompletableFuture.supplyAsync(() -> {// 2、查询某宝折扣log.info("查询 某东折扣");try {TimeUnit.SECONDS.sleep(2);} catch (InterruptedException e) {throw new RuntimeException(e);}return new BigDecimal("0.6");}), CompleteFutureTest2::computeRealPrice);CompletableFuture<BigDecimal> mouduo = CompletableFuture.supplyAsync(() -> {// 1、查询某宝价格log.info("查询 某多价格");try {TimeUnit.SECONDS.sleep(2);} catch (InterruptedException e) {throw new RuntimeException(e);}return new BigDecimal("100");}).thenCombine(CompletableFuture.supplyAsync(() -> {// 2、查询某宝折扣log.info("查询 某多折扣");try {TimeUnit.SECONDS.sleep(2);} catch (InterruptedException e) {throw new RuntimeException(e);}return new BigDecimal("0.6");}), CompleteFutureTest2::computeRealPrice);BigDecimal minPrice = Stream.of(moubao, mouduo, moudong).map(future -> {try {return future.get();} catch (Exception e) {throw new RuntimeException(e);}}).filter(Objects::nonNull).sorted(BigDecimal::compareTo).findFirst().get();log.info("minPrice: {}", minPrice);long end = System.currentTimeMillis();log.info("耗时: {}" + (end - start));}private static BigDecimal computeRealPrice(BigDecimal price, BigDecimal discount){log.info("计算价格");try {TimeUnit.SECONDS.sleep(2);} catch (InterruptedException e){e.printStackTrace();}return price.multiply(discount);}}

18:10:35.199 [ForkJoinPool.commonPool-worker-6] INFO com.ooamo.example.E14.CompleteFutureTest2 - 查询 某多折扣
18:10:35.199 [ForkJoinPool.commonPool-worker-2] INFO com.ooamo.example.E14.CompleteFutureTest2 - 查询 某宝折扣
18:10:35.199 [ForkJoinPool.commonPool-worker-9] INFO com.ooamo.example.E14.CompleteFutureTest2 - 查询 某宝价格
18:10:35.199 [ForkJoinPool.commonPool-worker-4] INFO com.ooamo.example.E14.CompleteFutureTest2 - 查询 某东折扣
18:10:35.199 [ForkJoinPool.commonPool-worker-13] INFO com.ooamo.example.E14.CompleteFutureTest2 - 查询 某多价格
18:10:35.199 [ForkJoinPool.commonPool-worker-11] INFO com.ooamo.example.E14.CompleteFutureTest2 - 查询 某东价格
18:10:37.203 [ForkJoinPool.commonPool-worker-9] INFO com.ooamo.example.E14.CompleteFutureTest2 - 计算价格
18:10:37.203 [ForkJoinPool.commonPool-worker-4] INFO com.ooamo.example.E14.CompleteFutureTest2 - 计算价格
18:10:37.203 [ForkJoinPool.commonPool-worker-13] INFO com.ooamo.example.E14.CompleteFutureTest2 - 计算价格
18:10:39.203 [main] INFO com.ooamo.example.E14.CompleteFutureTest2 - minPrice: 60.0
18:10:39.205 [main] INFO com.ooamo.example.E14.CompleteFutureTest2 - 耗时: {}4038

使用CompletableFuture的方法耗时为4s

这篇关于Java——基于CompletableFuture的流水线并行处理的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/849743。

相关文章

Java对象和JSON字符串之间的转换方法(全网最清晰)

Java对象和JSON字符串之间的转换方法(全网最清晰)

《Java对象和JSON字符串之间的转换方法(全网最清晰)》：本文主要介绍如何在Java中使用Jackson库将对象转换为JSON字符串,并提供了一个简单的工具类示例,该工具类支持基本的转换功能,... 目录前言1. 引入 Jackson 依赖2. 创建 jsON 工具类3. 使用示例转换 Java 对象为
阅读更多...
SpringBoot快速接入OpenAI大模型的方法(JDK8)

SpringBoot快速接入OpenAI大模型的方法(JDK8)

《SpringBoot快速接入OpenAI大模型的方法(JDK8)》本文介绍了如何使用AI4J快速接入OpenAI大模型,并展示了如何实现流式与非流式的输出,以及对函数调用的使用,AI4J支持JDK8... 目录使用AI4J快速接入OpenAI大模型介绍AI4J-github快速使用创建SpringBoot
阅读更多...
Java中的Cursor使用详解

Java中的Cursor使用详解

《Java中的Cursor使用详解》本文介绍了Java中的Cursor接口及其在大数据集处理中的优势,包括逐行读取、分页处理、流控制、动态改变查询、并发控制和减少网络流量等,感兴趣的朋友一起看看吧... 最近看代码，有一段代码涉及到Cursor，感觉写法挺有意思的。注意是Cursor，而不是Consumer
阅读更多...
解决java.lang.NullPointerException问题(空指针异常)

解决java.lang.NullPointerException问题(空指针异常)

《解决java.lang.NullPointerException问题(空指针异常)》本文详细介绍了Java中的NullPointerException异常及其常见原因,包括对象引用为null、数组元... 目录Java.lang.NullPointerException(空指针异常)NullPointer
阅读更多...
javaScript在表单提交时获取表单数据的示例代码

javaScript在表单提交时获取表单数据的示例代码

《javaScript在表单提交时获取表单数据的示例代码》本文介绍了五种在JavaScript中获取表单数据的方法：使用FormData对象、手动提取表单数据、使用querySelector获取单个字... 方法 1：使用 FormData 对象FormData 是一个方便的内置对象，用于获取表单中的键值
阅读更多...
前端知识点之Javascript选择输入框confirm用法

前端知识点之Javascript选择输入框confirm用法

《前端知识点之Javascript选择输入框confirm用法》：本文主要介绍JavaScript中的confirm方法的基本用法、功能特点、注意事项及常见用途,文中通过代码介绍的非常详细,对大家... 目录1. 基本用法2. 功能特点①阻塞行为：confirm 对话框会阻塞脚本的执行，直到用户作出选择。②
阅读更多...
SpringBoot项目注入 traceId 追踪整个请求的日志链路(过程详解)

SpringBoot项目注入 traceId 追踪整个请求的日志链路(过程详解)

《SpringBoot项目注入traceId追踪整个请求的日志链路(过程详解)》本文介绍了如何在单体SpringBoot项目中通过手动实现过滤器或拦截器来注入traceId,以追踪整个请求的日志链... SpringBoot项目注入 traceId 来追踪整个请求的日志链路，有了 traceId， 我们在排
阅读更多...
Java实战之利用POI生成Excel图表

Java实战之利用POI生成Excel图表

《Java实战之利用POI生成Excel图表》ApachePOI是Java生态中处理Office文档的核心工具,这篇文章主要为大家详细介绍了如何在Excel中创建折线图,柱状图,饼图等常见图表,需要的... 目录一、环境配置与依赖管理二、数据源准备与工作表构建三、图表生成核心步骤1. 折线图（Line Ch
阅读更多...
Spring Boot 3 整合 Spring Cloud Gateway实践过程

Spring Boot 3 整合 Spring Cloud Gateway实践过程

《SpringBoot3整合SpringCloudGateway实践过程》本文介绍了如何使用SpringCloudAlibaba2023.0.0.0版本构建一个微服务网关,包括统一路由、限... 目录引子为什么需要微服务网关实践1.统一路由2.限流防刷3.登录鉴权小结引子当前微服务架构已成为中大型系统的标
阅读更多...
Java集合中的List超详细讲解

Java集合中的List超详细讲解

《Java集合中的List超详细讲解》本文详细介绍了Java集合框架中的List接口,包括其在集合中的位置、继承体系、常用操作和代码示例,以及不同实现类（如ArrayList、LinkedList和V... 目录一，List的继承体系二，List的常用操作及代码示例1，创建List实例2，增加元素3，访问元
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2