Flink优化之--旁路缓存和异步IO

2024-08-29 22:12

本文主要是介绍Flink优化之--旁路缓存和异步IO,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Apache Flink 是一个开源流处理框架,以其高吞吐量、低延迟和事件驱动的处理能力著称。随着大数据和实时处理需求的不断增加,Flink 在许多行业和应用场景中得到了广泛应用,如金融风控、物联网数据处理、实时数据分析等。然而,随着数据规模和业务复杂度的提升,Flink 应用的性能优化问题也变得愈发重要。在实际应用中,Flink 的性能直接影响到系统的响应速度和资源利用效率。因此,如何高效地优化 Flink 的性能,成为了大数据工程师和开发者们关注的焦点。性能优化不仅可以提高系统的处理能力,还能降低硬件资源的消耗 ,从而降低运营成本。

性能优化主要包括任务并行度调整、资源分配优化、数据传输和序列化的优化、状态管理优化、垃圾回收调整等多个方面。每个优化点都需要根据具体应用场景和系统配置进行细致的调优,以达到最佳的性能表现。本次背景研究旨在深入探讨 Apache Flink 性能优化的各种策略和方法,帮助开发者更好地理解和应用这些优化技巧,以提升实际业务系统的性能和稳定性,今天我们要介绍的是在实时数仓架构中对读取的数据进行旁路缓存和异步IO

旁路缓存优化

在本案例实时数仓的搭建中,我们是将数仓中的维度数据存储在Hbase中,外部数据源的查询常常是流式计算的性能瓶颈。以本程序为例,每次查询都要连接 HBase,数据传输需要做序列化、反序列化,还有网络传输,严重影响时效性。可以通过旁路缓存对查询进行优化。

旁路缓存模式是一种非常常见的按需分配缓存模式。所有请求优先访问缓存,若缓存命中,直接获得数据返回给请求者。如果未命中则查询数据库,获取结果后,将其返回并写入缓存以备后续请求使用。

1)旁路缓存策略应注意两点

(1)缓存要设过期时间,不然冷数据会常驻缓存,浪费资源。

(2)要考虑维度数据是否会发生变化,如果发生变化要主动清除缓存。

2)缓存的选型

一般两种:堆缓存或者独立缓存服务(memcache,redis)

堆缓存,性能更好,效率更高,因为数据访问路径更短。但是难于管理,其它进程无法维护缓存中的数据。

独立缓存服务(redis,memcache),会有创建连接、网络IO等消耗,较堆缓存略差,但性能尚可。独立缓存服务便于维护和扩展,对于数据会发生变化且数据量很大的场景更加适用,此处选择独立缓存服务,将 redis 作为缓存介质。

3)实现步骤

(1)查询时

从缓存中获取数据。

Ø 如果查询结果不为null,则返回结果。

Ø 如果缓存中获取的结果为null,则从HBase表中查询数据。

Ø 如果结果非空则将数据写入缓存后返回结果。

Ø 否则提示用户:没有对应的维度数据

Ø 注意:缓存中的数据要设置超时时间,本程序设置为1天。此外,如果原表数据发生变化,要删除对应缓存。

为了实现此功能,需要对维度分流程序做如下修改:

(2)维度变更时

Ø 如果维度数据的变更类型为insert,则对缓存无影响。

Ø 如果维度数据的变更类型为update或delete,则清除缓存。

旁路缓存图解

异步IO

在Flink 流处理过程中,经常需要和外部系统进行交互,如通过维度表补全事实表中的维度字段。

默认情况下,在Flink 算子中,单个并行子任务只能以同步方式与外部系统交互:将请求发送到外部存储,IO阻塞,等待请求返回,然后继续发送下一个请求。这种方式将大量时间耗费在了等待结果上。

为了提高处理效率,可以有两种思路。

(1)增加算子的并行度,但需要耗费更多的资源。

(2)异步 IO。

Flink在1.2中引入了Async I/O,将IO操作异步化。在异步模式下,单个并行子任务可以连续发送多个请求,按照返回的先后顺序对请求进行处理,发送请求后不需要阻塞式等待,省去了大量的等待时间,大幅提高了流处理效率。

Async I/O 是阿里巴巴贡献给社区的特性,呼声很高,可用于解决与外部系统交互时网络延迟成为系统瓶颈的问题。

异步查询实际上是把维表的查询操作托管给单独的线程池完成,这样不会因为某一个查询造成阻塞,因此单个并行子任务可以连续发送多个请求,从而提高并发效率。对于涉及网络IO的操作,可以显著减少因为请求等待带来的性能损耗。

异步IO+旁路缓存部分代码示例

(1)所须依赖

Jedis不支持异步读取Redis,所以我们使用支持异步查询的Redis客户端:lettuce。此处需要引入lettuce相关依赖,如下。

<dependency><groupId>io.lettuce</groupId><artifactId>lettuce-core</artifactId>
</dependency>

(2)在Redis方法中中补充异步查询相关方法

/*** 获取到 redis 的异步连接** @return 异步链接对象*/
public static StatefulRedisConnection<String, String> getRedisAsyncConnection() {RedisClient redisClient = RedisClient.create("redis://hadoop102:6379/2");return redisClient.connect();
}/*** 关闭 redis 的异步连接** @param redisAsyncConn*/
public static void closeRedisAsyncConnection(StatefulRedisConnection<String, String> redisAsyncConn) {if (redisAsyncConn != null) {redisAsyncConn.close();}
}/*** 异步的方式从 redis 读取维度数据* @param redisAsyncConn 异步连接* @param tableName 表名* @param id id 的值* @return 读取到维度数据,封装的 json 对象中*/
public static JSONObject readDimAsync(StatefulRedisConnection<String, String> redisAsyncConn,String tableName,String id) {RedisAsyncCommands<String, String> asyncCommand = redisAsyncConn.async();String key = getKey(tableName, id);try {String json = asyncCommand.get(key).get();if (json != null) {return JSON.parseObject(json);}} catch (Exception e) {throw new RuntimeException(e);}return null;
}/*** 把维度异步的写入到 redis 中* @param redisAsyncConn  到 redis 的异步连接* @param tableName 表名* @param id id 的值* @param dim 要写入的维度数据*/
public static void writeDimAsync(StatefulRedisConnection<String, String> redisAsyncConn,String tableName,String id,JSONObject dim) {// 1. 得到异步命令RedisAsyncCommands<String, String> asyncCommand = redisAsyncConn.async();String key = getKey(tableName, id);// 2. 写入到 string 中: 顺便还设置的 ttlasyncCommand.setex(key, Constant.TWO_DAY_SECONDS, dim.toJSONString());}

这就是flink的简单优化,综合来看,旁路缓存和异步IO的引入不仅解决了传统计算中存在的瓶颈问题,还为系统的可扩展性和稳定性提供了坚实的保障。

这篇关于Flink优化之--旁路缓存和异步IO的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1118987

相关文章

Vue3 的 shallowRef 和 shallowReactive:优化性能

大家对 Vue3 的 ref 和 reactive 都很熟悉,那么对 shallowRef 和 shallowReactive 是否了解呢? 在编程和数据结构中,“shallow”(浅层)通常指对数据结构的最外层进行操作,而不递归地处理其内部或嵌套的数据。这种处理方式关注的是数据结构的第一层属性或元素,而忽略更深层次的嵌套内容。 1. 浅层与深层的对比 1.1 浅层(Shallow) 定义

HDFS—存储优化(纠删码)

纠删码原理 HDFS 默认情况下,一个文件有3个副本,这样提高了数据的可靠性,但也带来了2倍的冗余开销。 Hadoop3.x 引入了纠删码,采用计算的方式,可以节省约50%左右的存储空间。 此种方式节约了空间,但是会增加 cpu 的计算。 纠删码策略是给具体一个路径设置。所有往此路径下存储的文件,都会执行此策略。 默认只开启对 RS-6-3-1024k

使用opencv优化图片(画面变清晰)

文章目录 需求影响照片清晰度的因素 实现降噪测试代码 锐化空间锐化Unsharp Masking频率域锐化对比测试 对比度增强常用算法对比测试 需求 对图像进行优化,使其看起来更清晰,同时保持尺寸不变,通常涉及到图像处理技术如锐化、降噪、对比度增强等 影响照片清晰度的因素 影响照片清晰度的因素有很多,主要可以从以下几个方面来分析 1. 拍摄设备 相机传感器:相机传

MySQL高性能优化规范

前言:      笔者最近上班途中突然想丰富下自己的数据库优化技能。于是在查阅了多篇文章后,总结出了这篇! 数据库命令规范 所有数据库对象名称必须使用小写字母并用下划线分割 所有数据库对象名称禁止使用mysql保留关键字(如果表名中包含关键字查询时,需要将其用单引号括起来) 数据库对象的命名要能做到见名识意,并且最后不要超过32个字符 临时库表必须以tmp_为前缀并以日期为后缀,备份

缓存雪崩问题

缓存雪崩是缓存中大量key失效后当高并发到来时导致大量请求到数据库,瞬间耗尽数据库资源,导致数据库无法使用。 解决方案: 1、使用锁进行控制 2、对同一类型信息的key设置不同的过期时间 3、缓存预热 1. 什么是缓存雪崩 缓存雪崩是指在短时间内,大量缓存数据同时失效,导致所有请求直接涌向数据库,瞬间增加数据库的负载压力,可能导致数据库性能下降甚至崩溃。这种情况往往发生在缓存中大量 k

SWAP作物生长模型安装教程、数据制备、敏感性分析、气候变化影响、R模型敏感性分析与贝叶斯优化、Fortran源代码分析、气候数据降尺度与变化影响分析

查看原文>>>全流程SWAP农业模型数据制备、敏感性分析及气候变化影响实践技术应用 SWAP模型是由荷兰瓦赫宁根大学开发的先进农作物模型,它综合考虑了土壤-水分-大气以及植被间的相互作用;是一种描述作物生长过程的一种机理性作物生长模型。它不但运用Richard方程,使其能够精确的模拟土壤中水分的运动,而且耦合了WOFOST作物模型使作物的生长描述更为科学。 本文让更多的科研人员和农业工作者

从状态管理到性能优化:全面解析 Android Compose

文章目录 引言一、Android Compose基本概念1.1 什么是Android Compose?1.2 Compose的优势1.3 如何在项目中使用Compose 二、Compose中的状态管理2.1 状态管理的重要性2.2 Compose中的状态和数据流2.3 使用State和MutableState处理状态2.4 通过ViewModel进行状态管理 三、Compose中的列表和滚动

js异步提交form表单的解决方案

1.定义异步提交表单的方法 (通用方法) /*** 异步提交form表单* @param options {form:form表单元素,success:执行成功后处理函数}* <span style="color:#ff0000;"><strong>@注意 后台接收参数要解码否则中文会导致乱码 如:URLDecoder.decode(param,"UTF-8")</strong></span>

Java IO 操作——个人理解

之前一直Java的IO操作一知半解。今天看到一个便文章觉得很有道理( 原文章),记录一下。 首先,理解Java的IO操作到底操作的什么内容,过程又是怎么样子。          数据来源的操作: 来源有文件,网络数据。使用File类和Sockets等。这里操作的是数据本身,1,0结构。    File file = new File("path");   字

Redis中使用布隆过滤器解决缓存穿透问题

一、缓存穿透(失效)问题 缓存穿透是指查询一个一定不存在的数据,由于缓存中没有命中,会去数据库中查询,而数据库中也没有该数据,并且每次查询都不会命中缓存,从而每次请求都直接打到了数据库上,这会给数据库带来巨大压力。 二、布隆过滤器原理 布隆过滤器(Bloom Filter)是一种空间效率很高的随机数据结构,它利用多个不同的哈希函数将一个元素映射到一个位数组中的多个位置,并将这些位置的值置