Debezium日常分享系列之:Debezium 2.5.0.CR1发布

2023-12-16 19:44

本文主要是介绍Debezium日常分享系列之:Debezium 2.5.0.CR1发布,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Debezium日常分享系列之:Debezium 2.5.0.CR1发布

  • 一、重大变化
    • 1.Cloud Event 标头的架构名称
    • 2.MySQL BIT 默认长度
  • 二、新功能和改进
    • 1.重新选择列
    • 2.Debezium Server - 用于 Apache Kafka 接收器的 StreamNameMapper
    • 3.增量快照水印的 INSERT/DELETE 语义
    • 4.Debezium 服务器 - AWS SQS 接收器
    • 5.Oracle LOB 行为

Debezium 2.5.0.CR1 现已推出。此版本包括许多改进,例如 Debezium Server 的 AWS SQS 接收器、增量快照水印的 INSERT/DELETE 语义、ReselectColumnsPostProcessor、统一的 Oracle LOB 行为。

一、重大变化

此版本包含多项重大更改。

1.Cloud Event 标头的架构名称

Cloud Event 标头的架构名称前缀和字母大小写与负载名称不一致。架构名称已对齐,因此标头和有效负载共享相同的命名空间,并遵循相同的字母大小写规则 。

2.MySQL BIT 默认长度

如果没有设置的话,MySQL BIT 数据类型没有隐式长度。这是不正确的,因为如果未提供,则默认长度为 1。

二、新功能和改进

Debezium 2.5 还引入了更多改进和功能,让我们分别看一下。

1.重新选择列

在某些情况下,由于某些源数据库的工作方式,当 Debezium 连接器发出更改事件时,该事件可能会排除特定列类型的值。例如,PostgreSQL 中的 TOAST 列、Oracle 中的 LOB 列或 Oracle Exadata 中的扩展字符串列的值可能全部被排除。

Debezium 2.5 引入了 ReselectColumnsPostProcessor,提供了一种从数据库表中重新选择一个或多个列并获取当前状态的方法。可以配置后处理器以重新选择以下列类型:

  • 空列。
  • 包含 unavailable.value.placeholder 标记值的列。

配置 PostProcessor 与配置 CustomConverter 或 Transformation 类似,不同之处在于它适用于可变负载的 Struct 而不是 SourceRecord。

2.Debezium Server - 用于 Apache Kafka 接收器的 StreamNameMapper

现在可以通过自定义逻辑修改 Kafka 接收器行为,为特定功能提供替代实现。当替代实现不可用时,则使用默认实现。

3.增量快照水印的 INSERT/DELETE 语义

引入了属性incremental.snapshot.watermarking.strategy,让用户可以选择在增量快照期间使用的水印策略。

insert_insert(旧行为)方法让 Debezium 在快照期间为每个块在信令数据集合中创建两个条目,以发出快照窗口打开的信号,并使用另一个条目来标记其关闭。

另一方面,使用 insert_delete 选项,在窗口开头的每个块的信令数据集合中写入单个条目。完成后,该条目被删除,并且不再添加相应的条目,以表示快照窗口的关闭。该方法有助于更有效地管理信令数据收集。

4.Debezium 服务器 - AWS SQS 接收器

Amazon Simple Queue Service (Amazon SQS) 是一种分布式消息队列服务。它支持通过 Web 服务应用程序以编程方式发送消息,作为通过 Internet 进行通信的一种方式。 SQS 旨在提供高度可扩展的托管消息队列,解决常见的生产者-消费者问题或生产者与消费者之间的连接问题。

Debezium 2.5 提供了将事件发送到 Amazon SQS 的可能性。

5.Oracle LOB 行为

Debezium 2.5 调整了快照和流中的 LOB 行为。当 lob.enabled 设置为 false 时,将在快照期间显式包含不可用值占位符,以匹配流的行为。

这篇关于Debezium日常分享系列之:Debezium 2.5.0.CR1发布的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/501656

相关文章

Debezium 与 Apache Kafka 的集成方式步骤详解

《Debezium与ApacheKafka的集成方式步骤详解》本文详细介绍了如何将Debezium与ApacheKafka集成,包括集成概述、步骤、注意事项等,通过KafkaConnect,D... 目录一、集成概述二、集成步骤1. 准备 Kafka 环境2. 配置 Kafka Connect3. 安装 D

定价129元!支持双频 Wi-Fi 5的华为AX1路由器发布

《定价129元!支持双频Wi-Fi5的华为AX1路由器发布》华为上周推出了其最新的入门级Wi-Fi5路由器——华为路由AX1,建议零售价129元,这款路由器配置如何?详细请看下文介... 华为 Wi-Fi 5 路由 AX1 已正式开售,新品支持双频 1200 兆、配有四个千兆网口、提供可视化智能诊断功能,建

linux进程D状态的解决思路分享

《linux进程D状态的解决思路分享》在Linux系统中,进程在内核模式下等待I/O完成时会进入不间断睡眠状态(D状态),这种状态下,进程无法通过普通方式被杀死,本文通过实验模拟了这种状态,并分析了如... 目录1. 问题描述2. 问题分析3. 实验模拟3.1 使用losetup创建一个卷作为pv的磁盘3.

MySQL8.2.0安装教程分享

《MySQL8.2.0安装教程分享》这篇文章详细介绍了如何在Windows系统上安装MySQL数据库软件,包括下载、安装、配置和设置环境变量的步骤... 目录mysql的安装图文1.python访问网址2javascript.点击3.进入Downloads向下滑动4.选择Community Server5.

CentOS系统Maven安装教程分享

《CentOS系统Maven安装教程分享》本文介绍了如何在CentOS系统中安装Maven,并提供了一个简单的实际应用案例,安装Maven需要先安装Java和设置环境变量,Maven可以自动管理项目的... 目录准备工作下载并安装Maven常见问题及解决方法实际应用案例总结Maven是一个流行的项目管理工具

10个Python自动化办公的脚本分享

《10个Python自动化办公的脚本分享》在日常办公中,我们常常会被繁琐、重复的任务占据大量时间,本文为大家分享了10个实用的Python自动化办公案例及源码,希望对大家有所帮助... 目录1. 批量处理 Excel 文件2. 自动发送邮件3. 批量重命名文件4. 数据清洗5. 生成 PPT6. 自动化测试

10个Python Excel自动化脚本分享

《10个PythonExcel自动化脚本分享》在数据处理和分析的过程中,Excel文件是我们日常工作中常见的格式,本文将分享10个实用的Excel自动化脚本,希望可以帮助大家更轻松地掌握这些技能... 目录1. Excel单元格批量填充2. 设置行高与列宽3. 根据条件删除行4. 创建新的Excel工作表5

Redis多种内存淘汰策略及配置技巧分享

《Redis多种内存淘汰策略及配置技巧分享》本文介绍了Redis内存满时的淘汰机制,包括内存淘汰机制的概念,Redis提供的8种淘汰策略(如noeviction、volatile-lru等)及其适用场... 目录前言一、什么是 Redis 的内存淘汰机制?二、Redis 内存淘汰策略1. pythonnoe

Golang操作DuckDB实战案例分享

《Golang操作DuckDB实战案例分享》DuckDB是一个嵌入式SQL数据库引擎,它与众所周知的SQLite非常相似,但它是为olap风格的工作负载设计的,DuckDB支持各种数据类型和SQL特性... 目录DuckDB的主要优点环境准备初始化表和数据查询单行或多行错误处理和事务完整代码最后总结Duck

五大特性引领创新! 深度操作系统 deepin 25 Preview预览版发布

《五大特性引领创新!深度操作系统deepin25Preview预览版发布》今日,深度操作系统正式推出deepin25Preview版本,该版本集成了五大核心特性:磐石系统、全新DDE、Tr... 深度操作系统今日发布了 deepin 25 Preview,新版本囊括五大特性:磐石系统、全新 DDE、Tree