可观测新能力:Pulsar 支持接入 Prometheus 监控

2024-04-17 16:52

本文主要是介绍可观测新能力:Pulsar 支持接入 Prometheus 监控,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

导语

本文给大家带来 Pulsar 在可观测性方向的重要能力——支持接入 Prometheus 监控。

通过阅读这篇文章,您将能了解到以下内容:

● 什么是 Prometheus?

● Pulsar 为什么要对接 Prometheus?

● 对接 Prometheus 的技术方案

● 如何使用该能力查看监控指标

什么是 Prometheus?

Prometheus 是一套开源的完整监控解决方案,不同于传统的运维监控工具,Prometheus 是面向容器和微服务的监控系统,采用基于时间序列的存储方式,监控采集更加精确,监控频率更高,和容器和微服务兼容性更好。随着目前容器和微服务的使用日趋广泛,Prometheus 的应用范围将会越来越广。

Prometheus 具有如下优势:

● 监控数据的精细程度高,采集精度可以达到1~5s。

● 集群部署速度和监控脚本制作快,大大缩短监控搭建的时间成本。

● 开源软件更新快,bug 修复快,周边插件丰富,到手即用,支持多种客户端开发语言。

● 本身基于数学计算模型,直接使用数学公式和数学函数,可以实现很复杂的业务逻辑监控。

● 结合 Grafana 展示图形,效果美观实用。

● 特别针对目前流行容器监控适配,采集深度大。

Pulsar 为什么要支持对接 Prometheus?

TDMQ Pulsar 专业集群商业化已一年有余,凭借其丰富的功能、出色的稳定性,赢得了众多用户的青睐。用户在使用的过程中,也提出了进一步的监管需求。大规模业务运行的客户,通常有一套自己的统一监控系统,而不会通过腾讯云的控制台查看集群运行情况。同时,客户也期望可以通过 Prometheus 的监控数据,对业务 Workload 进行及时地 HPA,使得整体线上运维更加自动化。

对此我们分析需求场景后,决定 Pulsar 专业集群需要支持外部 Prometheus 来采集监控数据。来达到以下两个产品化目标:

1、标准的 Prometheus 监控数据格式,实现后可以用自己的 Prometheus 通过我们提供的 Exporter 获取数据;

2、如通过 Grafana 配置 Prometheus 数据源,K8s 获取 Prometheus 数据来进行 Workload HPA 等。

设计方案

在设计层面,后续 TDMQ Pulsar 在监控方面将提供两种方案:

1.  原有的腾讯云一体的监控方案,TDMQ Pulsar 控制台监控 + 可观测平台配置告警。

2.  本次新增的 Prometheus 监控方案,在实现层面跟原有的方案完全不同。主要体现在两个方面:监控数据的采集链路和指标聚合。

腾讯云一体的监控方案中,监控指标的数据是在各数据流组件上报到统一的 Barad 监控平台,在该平台中进行了计算汇总,而后展示到了控制台,链路会更长,因为延迟会更大一些。 而在 Prometheus 监控方案,直接打通了用户 VPC 等网络,以实现用户可直接通过接入层提供的 Exporter 地址来抓取监控数据,链路更短,但需要用户来进行汇聚计算。

image.png

使用指引

1.  登录 TDMQ 控制台。

2. 在左侧导航栏选择集群管理,单击目标集群实例的“ID”,进入实例基本信息页面。

3. 点击进入监控信息 Sheet 页。

4.  在右上角点击 Prometheus 监控入口获取 按钮的获取监控目标,选择相应的网络类型及网络配置。

image.png

5.  单击提交,获取一组监控目标。

image.png

6.  修改配置文件 prometheus.yml,增加 node_exporter 抓取任务。

job_name: prometheus-tdmq-pulsar
honor_timestamps: true
scrape_interval: 60s
metrics_path: /tencent-cloud-metrics/
scheme: http
static_configs:
- targets:- 10.x.x.x:10001- 10.x.x.x:10002

● honor_timestamps,设置为 true 时,Prometheus 将使用 Exporter 提供的指标时间戳,而不是使用 Prometheus 服务器接收到指标的时间戳。

● scrape_interval,为抓取监控度量数据的频率,目前的监控指标是分钟级的。

● metrics_path,获取监控指标的路径,请设置为 /tencent-cloud-metrics/。

● scheme,配置访问资源的协议,当前仅支持 http。

7.  访问相应可视化界面,查看配置监控指标。

这篇关于可观测新能力:Pulsar 支持接入 Prometheus 监控的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/912355

相关文章

SpringKafka消息发布之KafkaTemplate与事务支持功能

《SpringKafka消息发布之KafkaTemplate与事务支持功能》通过本文介绍的基本用法、序列化选项、事务支持、错误处理和性能优化技术,开发者可以构建高效可靠的Kafka消息发布系统,事务支... 目录引言一、KafkaTemplate基础二、消息序列化三、事务支持机制四、错误处理与重试五、性能优

一文教你解决Python不支持中文路径的问题

《一文教你解决Python不支持中文路径的问题》Python是一种广泛使用的高级编程语言,然而在处理包含中文字符的文件路径时,Python有时会表现出一些不友好的行为,下面小编就来为大家介绍一下具体的... 目录问题背景解决方案1. 设置正确的文件编码2. 使用pathlib模块3. 转换路径为Unicod

IDEA接入Deepseek的图文教程

《IDEA接入Deepseek的图文教程》在本篇文章中,我们将详细介绍如何在JetBrainsIDEA中使用Continue插件接入DeepSeek,让你的AI编程助手更智能,提高开发效率,感兴趣的小... 目录一、前置准备二、安装 Continue 插件三、配置 Continue 连接 DeepSeek四

golang获取prometheus数据(prometheus/client_golang包)

《golang获取prometheus数据(prometheus/client_golang包)》本文主要介绍了使用Go语言的prometheus/client_golang包来获取Prometheu... 目录1. 创建链接1.1 语法1.2 完整示例2. 简单查询2.1 语法2.2 完整示例3. 范围值

SpringBoot快速接入OpenAI大模型的方法(JDK8)

《SpringBoot快速接入OpenAI大模型的方法(JDK8)》本文介绍了如何使用AI4J快速接入OpenAI大模型,并展示了如何实现流式与非流式的输出,以及对函数调用的使用,AI4J支持JDK8... 目录使用AI4J快速接入OpenAI大模型介绍AI4J-github快速使用创建SpringBoot

Linux使用nload监控网络流量的方法

《Linux使用nload监控网络流量的方法》Linux中的nload命令是一个用于实时监控网络流量的工具,它提供了传入和传出流量的可视化表示,帮助用户一目了然地了解网络活动,本文给大家介绍了Linu... 目录简介安装示例用法基础用法指定网络接口限制显示特定流量类型指定刷新率设置流量速率的显示单位监控多个

定价129元!支持双频 Wi-Fi 5的华为AX1路由器发布

《定价129元!支持双频Wi-Fi5的华为AX1路由器发布》华为上周推出了其最新的入门级Wi-Fi5路由器——华为路由AX1,建议零售价129元,这款路由器配置如何?详细请看下文介... 华为 Wi-Fi 5 路由 AX1 已正式开售,新品支持双频 1200 兆、配有四个千兆网口、提供可视化智能诊断功能,建

PyCharm 接入 DeepSeek最新完整教程

《PyCharm接入DeepSeek最新完整教程》文章介绍了DeepSeek-V3模型的性能提升以及如何在PyCharm中接入和使用DeepSeek进行代码开发,本文通过图文并茂的形式给大家介绍的... 目录DeepSeek-V3效果演示创建API Key在PyCharm中下载Continue插件配置Con

Spring AI Alibaba接入大模型时的依赖问题小结

《SpringAIAlibaba接入大模型时的依赖问题小结》文章介绍了如何在pom.xml文件中配置SpringAIAlibaba依赖,并提供了一个示例pom.xml文件,同时,建议将Maven仓... 目录(一)pom.XML文件:(二)application.yml配置文件(一)pom.xml文件:首

通过prometheus监控Tomcat运行状态的操作流程

《通过prometheus监控Tomcat运行状态的操作流程》文章介绍了如何安装和配置Tomcat,并使用Prometheus和TomcatExporter来监控Tomcat的运行状态,文章详细讲解了... 目录Tomcat安装配置以及prometheus监控Tomcat一. 安装并配置tomcat1、安装