【监控】prometheus自定义指标 exporter

2024-05-31 22:52

本文主要是介绍【监控】prometheus自定义指标 exporter,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

一、【写在前面】

prometheus自定义指标本质是用代码自己写一个网络访问的采集器,你可以在官网看到,Client libraries | Prometheus官方支持的语言有GO  JAVA PYTHON RUBY RUST, 第三方的库就支持的更多了,有BASH C CPP LUA C# JS PHP R PERL等,所以基本都可以找到自己需要的语言

 

因为考虑到prometheus官方提供的node exporter有限,社区的exporter需要找找找然后自己魔改,所以这篇文章写一个自定义指标的示例,小改一下就能自己用,但是当然您需要提前搭建一套prometheus才行,所以此文章作为以下的补充grafana + Prometheus + node-exporter + pushgateway + alertmanager的监控解决方案-CSDN博客

二、【基本介绍】

1. exporter是什么

exporter就是我们传统意义上说的agent。笔者到网上找了张架构图,你可以看到exporter部署在目标机器或者目标机器外,采集所需的指标,然后再由Prometheus定期拉取,也就是说,你可以看到,这个过程可能存在两个定时过程,一个是exporter处指标的定时更新,另一个是prometheus的定时拉取。

 

2. 支持哪些类型的指标

 这个库还是蛮清楚明了的,官网文档一页就能看完,它支持这么几种类型,根据需要选取就行,这是他的官网,Instrumenting | client_python, 下面是用GPT总结的几个常用类

1. Counter(计数器)

特点

  • 单调递增,只能增加或重置为零,不能减少。

使用场景

  • 统计事件发生的总次数,如请求数、错误数等。
from prometheus_client import Counterc = Counter('requests_total', 'Total number of requests')
c.inc()  # 增加1
c.inc(5)  # 增加5

2. Gauge(仪表)

特点

  • 可以增加、减少或设置为任意值。

使用场景

  • 表示瞬时值,如当前温度、内存使用量、并发请求数等。
from prometheus_client import Gaugeg = Gauge('memory_usage_bytes', 'Memory usage in bytes')
g.set(12345)  # 设置为12345
g.inc()  # 增加1
g.dec(2)  # 减少2

3. Summary(摘要)

特点

  • 统计事件的持续时间或大小,提供总量、次数以及可配置的分位数信息。

使用场景

  • 记录请求的响应时间、数据包的大小等。
from prometheus_client import Summarys = Summary('request_latency_seconds', 'Request latency in seconds')
s.observe(0.5)  # 记录一个0.5秒的请求延迟

4. Histogram(直方图)

特点

  • 类似于Summary,但提供详细的桶分布信息,统计每个桶内的值的个数。

使用场景

  • 记录请求的响应时间,并分析其分布情况;记录数据包的大小分布。
from prometheus_client import Histogramh = Histogram('request_latency_seconds', 'Request latency in seconds')
h.observe(0.5)  # 记录一个0.5秒的请求延迟

5. Info

特点

  • 记录一些静态的信息,如版本号、配置信息等。

使用场景

  • 记录应用的版本号、配置参数等。
from prometheus_client import Infoi = Info('app_version', 'Application version')
i.info({'version': '1.0.0', 'build': 'abc123'})

6. Enum

特点

  • 表示一组离散的互斥状态。

使用场景

  • 记录应用的运行状态(如启动、运行、停止);记录服务器的健康状态。
from prometheus_client import Enume = Enum('app_state', 'Application state', states=['starting', 'running', 'stopping', 'stopped'])
e.state('running')

7. Labels(标签)

特点

  • 为指标附加维度,可以在同一指标名称下记录多个不同维度的数据。

使用场景

  • 记录每个API端点的请求次数;记录不同状态的任务数。
from prometheus_client import Counterc = Counter('http_requests_total', 'Total number of HTTP requests', ['method', 'endpoint'])
c.labels(method='get', endpoint='/home').inc()
c.labels(method='post', endpoint='/submit').inc()

 这里我说一句,这个标签特别适合做多维表,prometheus这个东西它自定义生成的大都是键值对,如果要做多维,用这个会方便一些,但是只限于在label里(也就是[]中)写常量,因为他本质还是在键里写信息,如果键里内容变了,prometheus会认为是新的条目

8. Exemplars(示例)

特点

  • 关联指标数据和具体的事件样本,帮助在分析时追踪和关联具体的事件。

使用场景

  • 关联慢请求的具体trace;提供异常事件的上下文信息。
from prometheus_client import Histogramh = Histogram('request_latency_seconds', 'Request latency in seconds')
h.observe(0.5, {'trace_id': '12345'})  # 记录一个0.5秒的请求延迟,并附加trace ID
# 本质上不是一个新类

 三、【代码实现】

1. 安装prometheus client 库

pip install prometheus_client

2. 复制代码

让GPT写了一个用线程精准定时的采集指标,你可以看到,本质就是创建一个 指标类型(这里是Counter和Gauge) 然后把数字用set塞进去就行。

from prometheus_client import start_http_server, Counter, Gauge
import threading
import random
import time# 创建计数器
REQUEST_COUNTER = Counter('periodic_tasks_total', 'Total number of periodic tasks executed')
# 创建仪表
PERIODIC_GAUGE = Gauge('periodic_task_value', 'Value generated by periodic task')def generate_metrics():"""生成指标的函数,每30秒执行一次"""REQUEST_COUNTER.inc()  # 增加计数器value = random.uniform(0, 100)PERIODIC_GAUGE.set(value)  # 设置仪表值print(f"Generated metrics: {value}")def schedule_periodic_metrics(interval):"""调度定时任务的函数,确保每interval秒执行一次"""generate_metrics()# 使用threading.Timer确保精确的定时threading.Timer(interval, schedule_periodic_metrics, [interval]).start()if __name__ == '__main__':# 启动一个Prometheus HTTP服务器,用于抓取指标数据start_http_server(8000)# 启动精确定时任务,每30秒生成一次指标schedule_periodic_metrics(30)# 保持主线程运行while True:time.sleep(1)

3. 确认连通情况

把上面的脚本跑起,然后另一边在Prometheus里的yml写上连接的ip和端口,并且重启prometheus,随后网页 “1.1.1.1:8000/targets” 查看情况

  - job_name: 'trading_observer'static_configs:- targets: ['1.1.1.1:8000']

看到这个up就是连接上了 

之后就可以在grafana中通过指标名获取数据了 

这篇关于【监控】prometheus自定义指标 exporter的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1019270

相关文章

流媒体平台/视频监控/安防视频汇聚EasyCVR播放暂停后视频画面黑屏是什么原因?

视频智能分析/视频监控/安防监控综合管理系统EasyCVR视频汇聚融合平台,是TSINGSEE青犀视频垂直深耕音视频流媒体技术、AI智能技术领域的杰出成果。该平台以其强大的视频处理、汇聚与融合能力,在构建全栈视频监控系统中展现出了独特的优势。视频监控管理系统EasyCVR平台内置了强大的视频解码、转码、压缩等技术,能够处理多种视频流格式,并以多种格式(RTMP、RTSP、HTTP-FLV、WebS

【前端学习】AntV G6-08 深入图形与图形分组、自定义节点、节点动画(下)

【课程链接】 AntV G6:深入图形与图形分组、自定义节点、节点动画(下)_哔哩哔哩_bilibili 本章十吾老师讲解了一个复杂的自定义节点中,应该怎样去计算和绘制图形,如何给一个图形制作不间断的动画,以及在鼠标事件之后产生动画。(有点难,需要好好理解) <!DOCTYPE html><html><head><meta charset="UTF-8"><title>06

综合安防管理平台LntonAIServer视频监控汇聚抖动检测算法优势

LntonAIServer视频质量诊断功能中的抖动检测是一个专门针对视频稳定性进行分析的功能。抖动通常是指视频帧之间的不必要运动,这种运动可能是由于摄像机的移动、传输中的错误或编解码问题导致的。抖动检测对于确保视频内容的平滑性和观看体验至关重要。 优势 1. 提高图像质量 - 清晰度提升:减少抖动,提高图像的清晰度和细节表现力,使得监控画面更加真实可信。 - 细节增强:在低光条件下,抖

【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯,先赞后看哦~🎈🎈 🏆 作者简介:景天科技苑 🏆《头衔》:大厂架构师,华为云开发者社区专家博主,阿里云开发者社区专家博主,CSDN全栈领域优质创作者,掘金优秀博主,51CTO博客专家等。 🏆《博客》:Python全栈,前后端开发,小程序开发,人工智能,js逆向,App逆向,网络系统安全,数据分析,Django,fastapi

自定义类型:结构体(续)

目录 一. 结构体的内存对齐 1.1 为什么存在内存对齐? 1.2 修改默认对齐数 二. 结构体传参 三. 结构体实现位段 一. 结构体的内存对齐 在前面的文章里我们已经讲过一部分的内存对齐的知识,并举出了两个例子,我们再举出两个例子继续说明: struct S3{double a;int b;char c;};int mian(){printf("%zd\n",s

Spring 源码解读:自定义实现Bean定义的注册与解析

引言 在Spring框架中,Bean的注册与解析是整个依赖注入流程的核心步骤。通过Bean定义,Spring容器知道如何创建、配置和管理每个Bean实例。本篇文章将通过实现一个简化版的Bean定义注册与解析机制,帮助你理解Spring框架背后的设计逻辑。我们还将对比Spring中的BeanDefinition和BeanDefinitionRegistry,以全面掌握Bean注册和解析的核心原理。

Oracle type (自定义类型的使用)

oracle - type   type定义: oracle中自定义数据类型 oracle中有基本的数据类型,如number,varchar2,date,numeric,float....但有时候我们需要特殊的格式, 如将name定义为(firstname,lastname)的形式,我们想把这个作为一个表的一列看待,这时候就要我们自己定义一个数据类型 格式 :create or repla

Prometheus与Grafana在DevOps中的应用与最佳实践

Prometheus 与 Grafana 在 DevOps 中的应用与最佳实践 随着 DevOps 文化和实践的普及,监控和可视化工具已成为 DevOps 工具链中不可或缺的部分。Prometheus 和 Grafana 是其中最受欢迎的开源监控解决方案之一,它们的结合能够为系统和应用程序提供全面的监控、告警和可视化展示。本篇文章将详细探讨 Prometheus 和 Grafana 在 DevO

kubernetes集群部署Zabbix监控平台

一、zabbix介绍 1.zabbix简介 Zabbix是一个基于Web界面的分布式系统监控的企业级开源软件。可以监视各种系统与设备的参数,保障服务器及设备的安全运营。 2.zabbix特点 (1)安装与配置简单。 (2)可视化web管理界面。 (3)免费开源。 (4)支持中文。 (5)自动发现。 (6)分布式监控。 (7)实时绘图。 3.zabbix的主要功能

基于树梅派的视频监控机器人Verybot

最近这段时间做了一个基于树梅派 ( raspberry pi ) 的视频监控机器人平台 Verybot ,现在打算把这个机器人的一些图片、视频、设计思路进行公开,并且希望跟大家一起研究相关的各种问题,下面是两张机器人的照片:         图片1:                   图片2                    这个平台的基本组成是: