Debezium日常分享系列之:Debezium 2.6.0.Alpha1发布

2024-01-29 10:12

本文主要是介绍Debezium日常分享系列之:Debezium 2.6.0.Alpha1发布,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Debezium日常分享系列之:Debezium 2.6.0.Alpha1发布

  • 一、重大改变
    • 1.MongoDB
    • 2.重新选择列后处理器
  • 二、改进和变化
    • 1.添加了新的匹配集合 API
    • 2.CloudEvents 架构名称自定义
    • 3.Oracle Infinispan 缓存改进
    • 4.支持 Spanner NEW_ROW_AND_OLD_VALUES 值捕获类型

一、重大改变

1.MongoDB

MongoDB 连接器不再支持副本集模式。该功能已在多个版本中被弃用,并且 Debezium 2.x 正在进行工作以实现此目标。如果使用的是replica_set模式,则在使用Debezium 2.6+时需要进行调整。

2.重新选择列后处理器

构建查询时,重新选择列后处理器使用基于 message.key.columns 的键。对于大多数具有主键的表来说,这是不正确的。默认行为已更改,默认使用表主键。引入了一个新的配置选项,允许用户选择是使用主键还是生成的键 reselect.use.event.key。

二、改进和变化

1.添加了新的匹配集合 API

该团队正在进行的任务之一包括将 Debezium UI 的后端迁移到主 Debezium 存储库。这样做的独特好处之一是我们可以识别连接器的运行时和 UI 之间存在代码重叠的位置,并开发接口契约来公开此共享数据。

对 RelationalBaseSourceConnector 合约进行了调整,并引入了一种新方法来返回与连接器的特定配置相匹配的表名称列表。任何实现此抽象基类的连接器都需要实现此新方法。

2.CloudEvents 架构名称自定义

使用模式注册表时,需要使用名称注册事件模式,以便可以在以后通过管道查询时查找它们。因此,当将 CloudEvents 格式的消息与架构注册表配对时,同样适用,并且在 Debezium 2.6 中,您可以显式控制名称的注册方式。

默认情况下,CloudEvent 消息的架构将由转换器自动生成。但是,如果自动生成的架构名称不够,您可以通过指定 dataSchemaName 来调整配置,可以将其设置为生成(默认行为)或标头,以直接从指定的事件标头字段中提取架构名称。

3.Oracle Infinispan 缓存改进

Debezium Oracle 连接器维护所有正在进行的事务的缓冲区,并且可以使用 Infinispan 在堆外分配该缓冲区。有时,用户配置指定如果正在进行的事务持续时间超过指定的毫秒数,则缓冲区可以放弃或丢弃该事务。这意味着交易将被遗忘并且不会被连接器发出。

为了改进与 Grafana 和 Prometheus 等框架的指标集成,添加了一个新的 JMX 指标 AbandonedTransactionCount,以跟踪连接器在运行时放弃的事务数量。

4.支持 Spanner NEW_ROW_AND_OLD_VALUES 值捕获类型

Google Spanner 的值捕获类型负责控制变更流如何表示事件流中的变更数据,并在构建变更流时进行配置。

Spanner 引入了一种名为 NEW_ROW_AND_OLD_VALUES 的新值捕获模式,该模式负责在任何列发生更改时捕获跟踪列的所有值(包括已修改的和未修改的)。这种新模式是对 NEW_ROW 的改进,因为它还包括旧值的捕获,使其与您通常在其他 Debezium 连接器中观察到的情况保持一致。

这篇关于Debezium日常分享系列之:Debezium 2.6.0.Alpha1发布的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/656576

相关文章

Ilya-AI分享的他在OpenAI学习到的15个提示工程技巧

Ilya(不是本人,claude AI)在社交媒体上分享了他在OpenAI学习到的15个Prompt撰写技巧。 以下是详细的内容: 提示精确化:在编写提示时,力求表达清晰准确。清楚地阐述任务需求和概念定义至关重要。例:不用"分析文本",而用"判断这段话的情感倾向:积极、消极还是中性"。 快速迭代:善于快速连续调整提示。熟练的提示工程师能够灵活地进行多轮优化。例:从"总结文章"到"用

Spring Security 从入门到进阶系列教程

Spring Security 入门系列 《保护 Web 应用的安全》 《Spring-Security-入门(一):登录与退出》 《Spring-Security-入门(二):基于数据库验证》 《Spring-Security-入门(三):密码加密》 《Spring-Security-入门(四):自定义-Filter》 《Spring-Security-入门(五):在 Sprin

高效+灵活,万博智云全球发布AWS无代理跨云容灾方案!

摘要 近日,万博智云推出了基于AWS的无代理跨云容灾解决方案,并与拉丁美洲,中东,亚洲的合作伙伴面向全球开展了联合发布。这一方案以AWS应用环境为基础,将HyperBDR平台的高效、灵活和成本效益优势与无代理功能相结合,为全球企业带来实现了更便捷、经济的数据保护。 一、全球联合发布 9月2日,万博智云CEO Michael Wong在线上平台发布AWS无代理跨云容灾解决方案的阐述视频,介绍了

【专题】2024飞行汽车技术全景报告合集PDF分享(附原数据表)

原文链接: https://tecdat.cn/?p=37628 6月16日,小鹏汇天旅航者X2在北京大兴国际机场临空经济区完成首飞,这也是小鹏汇天的产品在京津冀地区进行的首次飞行。小鹏汇天方面还表示,公司准备量产,并计划今年四季度开启预售小鹏汇天分体式飞行汽车,探索分体式飞行汽车城际通勤。阅读原文,获取专题报告合集全文,解锁文末271份飞行汽车相关行业研究报告。 据悉,业内人士对飞行汽车行业

科研绘图系列:R语言扩展物种堆积图(Extended Stacked Barplot)

介绍 R语言的扩展物种堆积图是一种数据可视化工具,它不仅展示了物种的堆积结果,还整合了不同样本分组之间的差异性分析结果。这种图形表示方法能够直观地比较不同物种在各个分组中的显著性差异,为研究者提供了一种有效的数据解读方式。 加载R包 knitr::opts_chunk$set(warning = F, message = F)library(tidyverse)library(phyl

【生成模型系列(初级)】嵌入(Embedding)方程——自然语言处理的数学灵魂【通俗理解】

【通俗理解】嵌入(Embedding)方程——自然语言处理的数学灵魂 关键词提炼 #嵌入方程 #自然语言处理 #词向量 #机器学习 #神经网络 #向量空间模型 #Siri #Google翻译 #AlexNet 第一节:嵌入方程的类比与核心概念【尽可能通俗】 嵌入方程可以被看作是自然语言处理中的“翻译机”,它将文本中的单词或短语转换成计算机能够理解的数学形式,即向量。 正如翻译机将一种语言

Vue3项目开发——新闻发布管理系统(六)

文章目录 八、首页设计开发1、页面设计2、登录访问拦截实现3、用户基本信息显示①封装用户基本信息获取接口②用户基本信息存储③用户基本信息调用④用户基本信息动态渲染 4、退出功能实现①注册点击事件②添加退出功能③数据清理 5、代码下载 八、首页设计开发 登录成功后,系统就进入了首页。接下来,也就进行首页的开发了。 1、页面设计 系统页面主要分为三部分,左侧为系统的菜单栏,右侧

flume系列之:查看flume系统日志、查看统计flume日志类型、查看flume日志

遍历指定目录下多个文件查找指定内容 服务器系统日志会记录flume相关日志 cat /var/log/messages |grep -i oom 查找系统日志中关于flume的指定日志 import osdef search_string_in_files(directory, search_string):count = 0

GPT系列之:GPT-1,GPT-2,GPT-3详细解读

一、GPT1 论文:Improving Language Understanding by Generative Pre-Training 链接:https://cdn.openai.com/research-covers/languageunsupervised/language_understanding_paper.pdf 启发点:生成loss和微调loss同时作用,让下游任务来适应预训

maven发布项目到私服-snapshot快照库和release发布库的区别和作用及maven常用命令

maven发布项目到私服-snapshot快照库和release发布库的区别和作用及maven常用命令 在日常的工作中由于各种原因,会出现这样一种情况,某些项目并没有打包至mvnrepository。如果采用原始直接打包放到lib目录的方式进行处理,便对项目的管理带来一些不必要的麻烦。例如版本升级后需要重新打包并,替换原有jar包等等一些额外的工作量和麻烦。为了避免这些不必要的麻烦,通常我们