Debezium日常分享系列之：Debezium2.5稳定版本之Monitoring

2024-03-24 11:52
文章标签 系列 分享 版本 日常 稳定 monitoring debezium debezium2.5

本文主要是介绍Debezium日常分享系列之：Debezium2.5稳定版本之Monitoring，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

Debezium日常分享系列之：Debezium2.5稳定版本之Monitoring

  • 一、Snapshot metrics
  • 二、Streaming metrics
  • 三、Schema history metrics

Debezium系列之：安装jmx导出器监控debezium指标

除了 Zookeeper、Kafka 和 Kafka Connect 提供的对 JMX 指标的内置支持之外，Debezium MySQL 连接器还提供三种类型的指标。

  • 快照指标提供有关执行快照时连接器操作的信息。
  • 当连接器读取二进制日志时，流指标提供有关连接器操作的信息。
  • 架构历史记录指标提供有关连接器架构历史记录状态的信息。

一、Snapshot metrics

MBean 为 debezium.mysql:type=connector-metrics,context=snapshot,server=<topic.prefix>。

除非快照操作处于活动状态，或者自上次连接器启动以来已发生快照，否则不会公开快照指标。

下表列出了可用的快照指标。

属性类型描述
LastEventstring连接器读取的最后一个快照事件。
MilliSecondsSinceLastEventlong自连接器读取并处理最近事件以来的毫秒数。
TotalNumberOfEventsSeenlong自上次启动或重置以来此连接器发生的事件总数。
NumberOfEventsFilteredlong已按连接器上配置的包含/排除列表过滤规则过滤的事件数。
CapturedTablesstring[]连接器捕获的表的列表。
QueueTotalCapacityint用于在快照器和主 Kafka Connect 循环之间传递事件的队列长度。
QueueRemainingCapacityint用于在快照器和主 Kafka Connect 循环之间传递事件的队列的可用容量。
TotalTableCountint快照中包含的表总数。
RemainingTableCountint快照尚未复制的表的数量。
SnapshotRunningboolean快照是否已启动。
SnapshotPausedboolean快照是否暂停。
SnapshotAbortedboolean快照是否被中止。
SnapshotCompletedboolean快照是否完成。
SnapshotDurationInSecondslong到目前为止快照所用的总秒数（即使尚未完成）。还包括快照暂停的时间。
SnapshotPausedDurationInSecondslong快照暂停的总秒数。如果快照暂停多次，则暂停时间会累加。
RowsScannedMap<String, Long>包含快照中每个表扫描的行数的映射。表在处理过程中逐渐添加到映射中。每扫描 10,000 行并完成表格后更新一次。
MaxQueueSizeInByteslong队列的最大缓冲区（以字节为单位）。如果 max.queue.size.in.bytes 设置为正 long 值，则此指标可用。
CurrentQueueSizeInByteslong队列中的当前记录量（以字节为单位）。

执行增量快照时，连接器还提供以下附加快照指标：

属性类型描述
ChunkIdstring当前快照块的标识符。
ChunkFromstring定义当前块的主键集的下界。
ChunkTostring定义当前块的主键集的上限。
TableFromstring当前快照表的主键集的下界。
TableTostring当前快照表的主键集的上限。

Debezium MySQL 连接器还提供 HoldingGlobalLock 自定义快照指标。该指标设置为一个布尔值，指示连接器当前是否持有全局或表写入锁定。

二、Streaming metrics

仅当启用 binlog 事件缓冲时，事务相关属性才可用。有关更多详细信息，请参阅高级连接器配置属性中的 binlog.buffer.size。 ：水平偏移：+1

MBean 为 debezium.mysql:type=connector-metrics,context=streaming,server=<topic.prefix>。

下表列出了可用的流指标。

属性类型描述
LastEventstring连接器读取的最后一个流事件。
MilliSecondsSinceLastEventlong自连接器读取并处理最近事件以来的毫秒数。
TotalNumberOfEventsSeenlong自上次启动或指标重置以来，该连接器已经看到的事件总数。
TotalNumberOfCreateEventsSeenlong自上次启动或指标重置以来此连接器已看到的创建事件总数。
TotalNumberOfUpdateEventsSeenlong自上次启动或指标重置以来此连接器看到的更新事件总数。
TotalNumberOfDeleteEventsSeenlong自上次启动或指标重置以来此连接器看到的删除事件总数。
NumberOfEventsFilteredlong已按连接器上配置的包含/排除列表过滤规则过滤的事件数。
CapturedTablesstring[]连接器捕获的表的列表。
QueueTotalCapacityint用于在流送器和主 Kafka Connect 循环之间传递事件的队列长度。
QueueRemainingCapacityint用于在流处理器和主 Kafka Connect 循环之间传递事件的队列的可用容量。
Connectedboolean指示连接器当前是否连接到数据库服务器的标志。
MilliSecondsBehindSourcelong最后更改事件的时间戳与连接器处理该事件之间的毫秒数。这些值将包含运行数据库服务器和连接器的计算机上时钟之间的任何差异。
NumberOfCommittedTransactionslong已提交的已处理事务数。
SourceEventPositionMap<String, String>最后接收到的事件的坐标。
LastTransactionIdstring最后处理交易的交易标识符。
MaxQueueSizeInByteslong队列的最大缓冲区（以字节为单位）。如果 max.queue.size.in.bytes 设置为正 long 值，则此指标可用。
CurrentQueueSizeInByteslong队列中的当前记录量（以字节为单位）。

Debezium MySQL 连接器还提供以下附加流指标：

表 28. 其他流媒体指标的描述

属性类型描述
BinlogFilenamestring连接器最近读取的二进制日志文件的名称。
BinlogPositionlong连接器读取的二进制日志中的最新位置（以字节为单位）。
IsGtidModeEnabledboolean指示连接器当前是否正在跟踪来自 MySQL 服务器的 GTID 的标志。
GtidSetstring连接器在读取 binlog 时处理的最新 GTID 集的字符串表示形式。
NumberOfSkippedEventslongMySQL 连接器已跳过的事件数。通常，由于 MySQL binlog 中的事件格式错误或无法解析，事件会被跳过。
NumberOfDisconnectslongMySQL 连接器断开连接的次数。
NumberOfRolledBackTransactionslong已回滚且未流式传输的已处理事务的数量。
NumberOfNotWellFormedTransactionslong不符合 BEGIN + COMMIT/ROLLBACK 预期协议的事务数量。正常情况下该值应为 0。
NumberOfLargeTransactionslong未装入前瞻缓冲区的事务数。为了获得最佳性能，该值应明显小于 NumberOfCommitedTransactions 和 NumberOfRolledBackTransactions。

三、Schema history metrics

MBean 为 debezium.mysql:type=connector-metrics,context=schema-history,server=<topic.prefix>。

下表列出了可用的架构历史记录指标。

属性类型描述
StatusstringSTOPPED、RECOVERING（从存储中恢复历史记录）、RUNNING 之一描述数据库模式历史记录的状态。
RecoveryStartTimelong恢复开始的时间（以纪元秒为单位）。
ChangesRecoveredlong在恢复阶段读取的更改数。
ChangesAppliedlong恢复和运行时应用的架构更改总数。
MilliSecondsSinceLast​RecoveredChangelong从历史存储中恢复上次更改以来经过的毫秒数。
MilliSecondsSinceLast​AppliedChangelong自上次应用更改以来经过的毫秒数。
LastRecoveredChangestring从历史存储中恢复的最后更改的字符串表示形式。
LastAppliedChangestring最后应用的更改的字符串表示形式。

这篇关于Debezium日常分享系列之：Debezium2.5稳定版本之Monitoring的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/841510。

相关文章

Ilya-AI分享的他在OpenAI学习到的15个提示工程技巧

Ilya-AI分享的他在OpenAI学习到的15个提示工程技巧

Ilya（不是本人，claude AI）在社交媒体上分享了他在OpenAI学习到的15个Prompt撰写技巧。 以下是详细的内容： 提示精确化:在编写提示时,力求表达清晰准确。清楚地阐述任务需求和概念定义至关重要。例:不用"分析文本",而用"判断这段话的情感倾向:积极、消极还是中性"。 快速迭代:善于快速连续调整提示。熟练的提示工程师能够灵活地进行多轮优化。例:从"总结文章"到"用
阅读更多...
Spring Security 从入门到进阶系列教程

Spring Security 从入门到进阶系列教程

Spring Security 入门系列 《保护 Web 应用的安全》 《Spring-Security-入门（一）：登录与退出》 《Spring-Security-入门（二）：基于数据库验证》 《Spring-Security-入门（三）：密码加密》 《Spring-Security-入门（四）：自定义-Filter》 《Spring-Security-入门（五）：在 Sprin
阅读更多...
【专题】2024飞行汽车技术全景报告合集PDF分享（附原数据表）

【专题】2024飞行汽车技术全景报告合集PDF分享（附原数据表）

原文链接： https://tecdat.cn/?p=37628 6月16日，小鹏汇天旅航者X2在北京大兴国际机场临空经济区完成首飞，这也是小鹏汇天的产品在京津冀地区进行的首次飞行。小鹏汇天方面还表示，公司准备量产，并计划今年四季度开启预售小鹏汇天分体式飞行汽车，探索分体式飞行汽车城际通勤。阅读原文，获取专题报告合集全文，解锁文末271份飞行汽车相关行业研究报告。 据悉，业内人士对飞行汽车行业
阅读更多...
Android实现任意版本设置默认的锁屏壁纸和桌面壁纸（两张壁纸可不一致）

Android实现任意版本设置默认的锁屏壁纸和桌面壁纸（两张壁纸可不一致）

客户有些需求需要设置默认壁纸和锁屏壁纸  在默认情况下 这两个壁纸是相同的  如果需要默认的锁屏壁纸和桌面壁纸不一样 需要额外修改 Android13实现 替换默认桌面壁纸： 将图片文件替换frameworks/base/core/res/res/drawable-nodpi/default_wallpaper.*  （注意不能是bmp格式） 替换默认锁屏壁纸： 将图片资源放入vendo
阅读更多...
科研绘图系列：R语言扩展物种堆积图（Extended Stacked Barplot）

科研绘图系列：R语言扩展物种堆积图（Extended Stacked Barplot）

介绍 R语言的扩展物种堆积图是一种数据可视化工具，它不仅展示了物种的堆积结果，还整合了不同样本分组之间的差异性分析结果。这种图形表示方法能够直观地比较不同物种在各个分组中的显著性差异，为研究者提供了一种有效的数据解读方式。 加载R包 knitr::opts_chunk$set(warning = F, message = F)library(tidyverse)library(phyl
阅读更多...
【生成模型系列（初级）】嵌入（Embedding）方程——自然语言处理的数学灵魂【通俗理解】

【生成模型系列（初级）】嵌入（Embedding）方程——自然语言处理的数学灵魂【通俗理解】

【通俗理解】嵌入（Embedding）方程——自然语言处理的数学灵魂 关键词提炼 #嵌入方程 #自然语言处理 #词向量 #机器学习 #神经网络 #向量空间模型 #Siri #Google翻译 #AlexNet 第一节：嵌入方程的类比与核心概念【尽可能通俗】 嵌入方程可以被看作是自然语言处理中的“翻译机”，它将文本中的单词或短语转换成计算机能够理解的数学形式，即向量。 正如翻译机将一种语言
阅读更多...
pip-tools：打造可重复、可控的 Python 开发环境，解决依赖关系，让代码更稳定

pip-tools：打造可重复、可控的 Python 开发环境，解决依赖关系，让代码更稳定

在 Python 开发中，管理依赖关系是一项繁琐且容易出错的任务。手动更新依赖版本、处理冲突、确保一致性等等，都可能让开发者感到头疼。而 pip-tools 为开发者提供了一套稳定可靠的解决方案。 什么是 pip-tools？ pip-tools 是一组命令行工具，旨在简化 Python 依赖关系的管理，确保项目环境的稳定性和可重复性。它主要包含两个核心工具：pip-compile 和 pip
阅读更多...
跨系统环境下LabVIEW程序稳定运行

跨系统环境下LabVIEW程序稳定运行

在LabVIEW开发中，不同电脑的配置和操作系统（如Win11与Win7）可能对程序的稳定运行产生影响。为了确保程序在不同平台上都能正常且稳定运行，需要从兼容性、驱动、以及性能优化等多个方面入手。本文将详细介绍如何在不同系统环境下，使LabVIEW开发的程序保持稳定运行的有效策略。 LabVIEW版本兼容性 LabVIEW各版本对不同操作系统的支持存在差异。因此，在开发程序时，尽量使用
阅读更多...
flume系列之：查看flume系统日志、查看统计flume日志类型、查看flume日志

flume系列之：查看flume系统日志、查看统计flume日志类型、查看flume日志

遍历指定目录下多个文件查找指定内容 服务器系统日志会记录flume相关日志 cat /var/log/messages |grep -i oom 查找系统日志中关于flume的指定日志 import osdef search_string_in_files(directory, search_string):count = 0
阅读更多...
GPT系列之：GPT-1，GPT-2，GPT-3详细解读

GPT系列之：GPT-1，GPT-2，GPT-3详细解读

一、GPT1 论文：Improving Language Understanding by Generative Pre-Training 链接：https://cdn.openai.com/research-covers/languageunsupervised/language_understanding_paper.pdf 启发点：生成loss和微调loss同时作用，让下游任务来适应预训
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2