【大数据】Flink 架构(六):保存点 Savepoint

2024-01-29 16:36

本文主要是介绍【大数据】Flink 架构(六):保存点 Savepoint,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Flink 架构》系列(已完结),共包含以下 6 篇文章:

  • Flink 架构(一):系统架构
  • Flink 架构(二):数据传输
  • Flink 架构(三):事件时间处理
  • Flink 架构(四):状态管理
  • Flink 架构(五):检查点 Checkpoint(看完即懂)
  • Flink 架构(六):保存点 Savepoint

😊 如果您觉得这篇文章有用 ✔️ 的话,请给博主一个一键三连 🚀🚀🚀 吧 (点赞 🧡、关注 💛、收藏 💚)!!!您的支持 💖💖💖 将激励 🔥 博主输出更多优质内容!!!

Flink 架构(六):保存点 Savepoint

  • 1.保存点的使用
  • 2.从保存点启动应用

Flink 的故障恢复算法是基于 状态的检查点 来完成的。检查点会周期性地生成,而且会根据配置的策略自动丢弃。检查点的目的是保证应用在出现故障的时候可以顺利重启,因此当应用被手动停止后,检查点也会随之删除(可以通过配置让应用在取消的时候 保留最近一次检查点)。但除了用于故障恢复,应用的一致性快照还有很多其他用途。

Flink 最具价值且独具一格的功能之一是 保存点。原则上,保存点的生成算法和检查点完全一样,因此可以把保存点看做包含一些额外元数据的检查点。保存点的生成不是由 Flink 自动完成,而是需要由用户(或外部调度器)显式触发。同时,Flink 也不会自动清理保存点。后续我们将介绍如何生成和删除保存点。

1.保存点的使用

给定一个应用和一个兼容的保存点,我们可以从该保存点启动应用。这样就能用保存点内的数据初始化状态并从生成保存点的那一刻继续运行应用。这个行为看上去和利用检查点将应用从故障中恢复完全一致,但其实故障恢复只是一种特殊情况,它会在完全相同的集群上,以完全相同的配置,运行完全相同的应用。而将应用从某个保存点启动还能让你做更多事情。

  • ✅ 从保存点启动一个不同但相互兼容的应用。这意味着你可以修复应用的一些逻辑 Bug,然后在数据流来源的支持范围内下尽可能多地重新处理输入事件,以此来修复结果。应用修改还可用于 A/B 测试或需要不同业务逻辑的假想场景。需要注意的是,应用和保存点必须相互兼容,只有这样应用才能加载保存点内的状态。
  • ✅ 用不同的并行度启动原应用,从而实现应用的扩缩容。
  • ✅ 在另一个集群上启动相同的应用。这允许你把应用迁移到一个新的 Flink 版本,或是一个不同的集群或数据中心。
  • ✅ 利用保存点暂停某个应用,稍后再把它启动起来。这样可以为更高优先级的应用腾出集群资源,或者在输入数据不连续的情况下及时释放资源。
  • ✅ 为保存点设置不同版本并将应用状态归档。

保存点的功能如此强大,以至于很多用户都会 周期性地创建保存点,从而可以及时 “回到过去”。我们在生态中见到保存点最有趣的应用之一是不断将流式应用迁移到实例价格最低的数据中心。

2.从保存点启动应用

所有之前提到的保存点相关用例都遵循同一个模式。首先为正在运行的应用生成一个保存点,然后在应用启动时用它去初始化状态。本节我们将介绍 Flink 在从保存点启动时如何去初始化应用状态。

每个应用都会包含很多算子,而每个算子又可以定义一个或多个的键值或算子状态。算子会在一个或多个任务上并行执行,因此一个典型的应用会包含多个状态,它们分布在不同 TaskManager 进程内的算子任务上。

下图所展示的应用包含了三个算子,每个算子各有两个任务。其中一个算子(OP-1)有一个算子状态(OS-1),另一个算子(OP-2)有两个键值分区状态(KS-1KS-2)。在生成保存点的时候,所有任务的状态都会拷贝到某个持久化存储位置上。

在这里插入图片描述
保存点中的状态副本会按照 算子标识状态名 称进行组织。该算子标识和状态名需要能将保存点的状态数据映射到应用启动后的算子状态上。当应用从保存点启动时、Flink 会将保存点的数据分发到对应算子的任务上。

❗ 注意:保存点没有包含 算子任务 的相关信息。这是因为任务数目可能会随着应用启动时所指定的并行度而改变。我们已经在之前的博客中讨论过 Flink 对于有状态算子的扩缩容策略。

如果应用在从保存点启动的时候发生过改动,那么保存点中的状态只有在应用还保留着那些含有对应标识和状态名称的算子时才可以成功映射。默认情况下,Flink 会给每个算子分配一个唯一标识。但该标识是根据前置算子的标识按照某种确定规则生成的。这意味着任何一个前置算子发生改变(例如添加或删除某个算子)都会导致该标识发生变化。因此使用默认算子标识的应用如果不想丢失状态,那么改动空间会比较有限。所以我们强烈建议手工指定算子标识,而不要依赖 Flink 的默认分配机制。有关分配算子标识的详细内容会在后续有关 “指定唯一算子标识” 的博客中介绍。

这篇关于【大数据】Flink 架构(六):保存点 Savepoint的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/657518

相关文章

mybatis的整体架构

mybatis的整体架构分为三层: 1.基础支持层 该层包括:数据源模块、事务管理模块、缓存模块、Binding模块、反射模块、类型转换模块、日志模块、资源加载模块、解析器模块 2.核心处理层 该层包括:配置解析、参数映射、SQL解析、SQL执行、结果集映射、插件 3.接口层 该层包括:SqlSession 基础支持层 该层保护mybatis的基础模块,它们为核心处理层提供了良好的支撑。

大模型研发全揭秘:客服工单数据标注的完整攻略

在人工智能(AI)领域,数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者,掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中,工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注,不仅能够帮助提升客服自动化系统的智能化水平,还能优化客户服务流程,提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展,我们的业务数据越来越多,单纯使用 MySQL 已经不能满足我们的数据查询需求,例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后,随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步,我们目前的解决方案是建立数据中间表。把需要检索的业务数据,统一放到一张M

百度/小米/滴滴/京东,中台架构比较

小米中台建设实践 01 小米的三大中台建设:业务+数据+技术 业务中台--从业务说起 在中台建设中,需要规范化的服务接口、一致整合化的数据、容器化的技术组件以及弹性的基础设施。并结合业务情况,判定是否真的需要中台。 小米参考了业界优秀的案例包括移动中台、数据中台、业务中台、技术中台等,再结合其业务发展历程及业务现状,整理了中台架构的核心方法论,一是企业如何共享服务,二是如何为业务提供便利。

关于数据埋点,你需要了解这些基本知识

产品汪每天都在和数据打交道,你知道数据来自哪里吗? 移动app端内的用户行为数据大多来自埋点,了解一些埋点知识,能和数据分析师、技术侃大山,参与到前期的数据采集,更重要是让最终的埋点数据能为我所用,否则可怜巴巴等上几个月是常有的事。   埋点类型 根据埋点方式,可以区分为: 手动埋点半自动埋点全自动埋点 秉承“任何事物都有两面性”的道理:自动程度高的,能解决通用统计,便于统一化管理,但个性化定

使用SecondaryNameNode恢复NameNode的数据

1)需求: NameNode进程挂了并且存储的数据也丢失了,如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2)故障模拟 (1)kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 (2)删除NameNode存储的数据(/opt/module/hadoop-3.1.4/data/tmp/dfs/na

异构存储(冷热数据分离)

异构存储主要解决不同的数据,存储在不同类型的硬盘中,达到最佳性能的问题。 异构存储Shell操作 (1)查看当前有哪些存储策略可以用 [lytfly@hadoop102 hadoop-3.1.4]$ hdfs storagepolicies -listPolicies (2)为指定路径(数据存储目录)设置指定的存储策略 hdfs storagepolicies -setStoragePo

Hadoop集群数据均衡之磁盘间数据均衡

生产环境,由于硬盘空间不足,往往需要增加一块硬盘。刚加载的硬盘没有数据时,可以执行磁盘数据均衡命令。(Hadoop3.x新特性) plan后面带的节点的名字必须是已经存在的,并且是需要均衡的节点。 如果节点不存在,会报如下错误: 如果节点只有一个硬盘的话,不会创建均衡计划: (1)生成均衡计划 hdfs diskbalancer -plan hadoop102 (2)执行均衡计划 hd

【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯,先赞后看哦~🎈🎈 🏆 作者简介:景天科技苑 🏆《头衔》:大厂架构师,华为云开发者社区专家博主,阿里云开发者社区专家博主,CSDN全栈领域优质创作者,掘金优秀博主,51CTO博客专家等。 🏆《博客》:Python全栈,前后端开发,小程序开发,人工智能,js逆向,App逆向,网络系统安全,数据分析,Django,fastapi

烟火目标检测数据集 7800张 烟火检测 带标注 voc yolo

一个包含7800张带标注图像的数据集,专门用于烟火目标检测,是一个非常有价值的资源,尤其对于那些致力于公共安全、事件管理和烟花表演监控等领域的人士而言。下面是对此数据集的一个详细介绍: 数据集名称:烟火目标检测数据集 数据集规模: 图片数量:7800张类别:主要包含烟火类目标,可能还包括其他相关类别,如烟火发射装置、背景等。格式:图像文件通常为JPEG或PNG格式;标注文件可能为X