Prometheus+alter+dingtalk实现钉钉报警(ansible搭建-宝宝教程)

2024-08-30 17:12

本文主要是介绍Prometheus+alter+dingtalk实现钉钉报警(ansible搭建-宝宝教程),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

目录

1.配置钉钉机器人

1.1创建钉钉机器人

1.2配置url和secret

 2.下载压缩包

3.编写ansible文件

3.1编写主机清单

3.2编写dingtalk配置文件

3.3编写监控项

3.4编写Prometheus的配置文件

3.5编写ansible的主文件

4.执行ansible文件

5.测试


搭建promethus、grafana和exporter的过程看上一篇文章,一般来说不能只搭建监控系统,还应该再搭建一下告警系统。搭建告警系统可以实时掌握自己想要监控的服务和服务器的性能,同事也可以减少公司的运营成本,为公司节省一些开销。这一篇文章我将和大家分享一下怎样实现钉钉报警。同样在Ubuntu系统和centos系统以及麒麟系统跑通。

prometheus的配置文件保存在/etc/prometheus下

其他配置文件都保存在/usr/local下

主机名称ip服务
host1192.168.1.11dingtalk alter
host2192.168.1.12

1.配置钉钉机器人

1.1创建钉钉机器人

1.2配置url和secret

 2.下载压缩包

下载的压缩包一定要保存在/tmp下

所有的名字改为下列的名字

3.编写ansible文件

3.1编写主机清单

[root@host1 ~]# vim  host

[prometheus_node]
192.168.1.11

[all]
192.168.1.11
192.168.1.12

[prometheus_grafana]
192.168.1.11

[prometheus_altermanger]
192.168.1.11

[prometheus_dingtalk]
192.168.1.11


3.2编写dingtalk配置文件

[root@host1 ~]# vim dingtalk.yml.j1

templates:
targets:
  webhook1:
    url: 复制的url
    secret:  复制的token
  webhook_mention_all:
    url:  复制的url
    mention:
      all: true
  webhook_mention_users:
    url: 复制的url
    mention:
      mobiles: ['151xxxx7780']

3.3编写监控项

[root@host1 ~]# vim  altermanger.yml.j2 

groups:
  - name: host_alert
    rules:
    - alert: 服务器宕机
      expr: up == 0
      for: 1m
      labels:
        severity: 严重告警
      annotations:
        summary: "{{ $labels.instance }} 服务器宕机,请尽快处理!"
        description: "{{ $labels.instance }} 服务器延时超过3分钟,当前状态{{ $value }}. "
### 硬盘 ###
# 默认系统盘告警策略
    - alert: 主机系统盘80%
      expr: floor(100-((node_filesystem_avail{device!="rootfs", mountpoint="/"}*100)/(node_filesystem_size{device!="rootfs", mountpoint="/"}*0.95))) >= 80
      for: 3m
      labels:
        severity: warning
      annotations:
        description: "[{{ $labels.desc }}],告警值为:[{{ $value }}%],告警初始时长为3分钟."
 
# 默认120G内数据盘告警策略
    - alert: 主机数据盘90%
      expr: (floor(100-((node_filesystem_avail{device!="rootfs", mountpoint="/data"}*100)/(node_filesystem_size{device!="rootfs", mountpoint="/data"}*0.95))) >= 90) and (node_filesystem_size{device!="rootfs", mountpoint="/data"}/1024/1024/1024 <= 120)
      for: 3m
      labels:
        severity: warning
      annotations:
        description: "[{{ $labels.desc }}],告警值为:[{{ $value }}%],告警初始时长为3分钟."
 
# 默认120G以上数据盘告警策略
    - alert: 主机数据盘不足20G
      expr: (floor(node_filesystem_avail{device!="rootfs", mountpoint="/data"}/1024/1024/1024) <= 20) and (node_filesystem_size{device!="rootfs", mountpoint="/data"}/1024/1024/1024 > 120)
      for: 3m
      labels:
        severity: warning
      annotations:
        description: "[{{ $labels.desc }}],告警值为:[{{ $value }}G],告警初始时长为3分钟."
 
### CPU ###
 
# 默认CPU使用率告警策略
    - alert: 主机CPU90%
      expr: floor(100 - ( avg ( irate(node_cpu{mode='idle', hostname!~'consumer_service.*|backup_hk.*|bigdata.*master.*|3rdPart|htc_management|product_category_backend|sa_cluster_s.*'}[5m]) ) by (job, instance, hostname, desc) * 100 )) >= 90
      for: 3m
      labels:
        severity: warning
      annotations:
        description: "[{{ $labels.desc }}],告警值为:[{{ $value }}%],告警初始时长为3分钟."
 
# 持续时间较长的CPU使用率告警策略
    - alert: 主机CPU90%
      expr: floor(100 - ( avg ( irate(node_cpu{mode='idle', hostname=~'consumer_service.*|product_backend|sa_cluster_s.*'}[5m]) ) by (job, instance, hostname, desc) * 100 )) >= 90
      for: 12m
      labels:
        severity: warning
      annotations:
        description: "[{{ $labels.desc }}],告警值为:[{{ $value }}%],告警初始时长为12分钟."
 
 
# 持续时间较长的CPU使用率告警策略
    - alert: 主机CPU90%
      expr: floor(100 - ( avg ( irate(node_cpu{mode='idle', hostname=~'bigdata.*master.*|3rdPart|backup_hk.*'}[5m]) ) by (job, instance, hostname, desc) * 100 )) >= 90
      for: 48m
      labels:
        severity: warning
      annotations:
        description: "[{{ $labels.desc }}],告警值为:[{{ $value }}%],告警初始时长为48分钟."
 
### 内存 ###
# 默认内存使用率告警策略
    - alert: 主机内存95%
      expr: floor((node_memory_MemTotal - node_memory_MemFree - node_memory_Cached - node_memory_Buffers) / node_memory_MemTotal * 100) >= 95
      for: 3m
      labels:
        severity: warning
      annotations:
        description: "[{{ $labels.desc }}],告警值为:[{{ $value }}%],告警初始时长为3分钟."
 
### 负载 ###
# 默认负载过高告警策略
    - alert: 主机负载过高
      expr: floor(node_load1{hostname!~"sa_cluster_s.*|bigdata.*master.*"}) >= 20
      for: 3m
      labels:
        severity: warning
      annotations:
        description: "[{{ $labels.desc }}],告警值为:[{{ $value }}],告警初始时长为3分钟."
 
# 持续时间较长的负载过高告警策略
    - alert: 主机负载过高
      expr: floor(node_load1{hostname=~"sa_cluster_s.*|bigdata.*master.*"}) >= 20
      for: 12m
      labels:
        severity: warning
      annotations:
        description: "[{{ $labels.desc }}],告警值为:[{{ $value }}],告警初始时长为12分钟."

3.4编写Prometheus的配置文件

如果不修改配置文件会导致告警无法加载,自己编写的监控告警文件寻找目录。这个自己不需要动,我的ansible的yml文件种都有体现,不需要做任何修改。

# Load rules once and periodically evaluate them according to the global 'evaluation_interval'.
rule_files:
   - "rules/*.yml"

表示他会在你的/etc/promethues/下寻找rules的yml文件为告警

[root@host1 ~]# vim  /etc/prometheus/prometheus.yml

global:
  scrape_interval: 15s
  evaluation_interval: 15s

alerting:
  alertmanagers:
    - static_configs:
        - targets:
           - 192.168.1.11:9093

# Load rules once and periodically evaluate them according to the global 'evaluation_interval'.
rule_files:
   - "rules/*.yml"

scrape_configs:
  - job_name: "prometheus"
    static_configs:
      - targets:
          - "192.168.1.11:9090"

  - job_name: "node_exporter"
    static_configs:
      - targets:
          - "192.168.1.11:9100"
          - "192.168.1.12:9100"

重新启动一下Prometheus

[root@host1 ~]#systemctl  restart  prometheus

3.5编写ansible的主文件

[root@host1 ~]# vim  dingtalk.yml

- name: Install and configure Alertmanager
  hosts: prometheus_altermanger
  become: yes
      unarchive:
        src: /tmp/alertmanager-0.23.0.linux-amd64.tar.gz
        dest: /usr/local
        remote_src: yes

    - name: Create a symbolic link for Alertmanager
      file:
        src: /usr/local/alertmanager-0.23.0.linux-amd64/alertmanager
        dest: /usr/local/bin/alertmanager
        state: link

    - name: Create Alertmanager systemd service file
      copy:
        dest: /etc/systemd/system/alertmanager.service
        content: |
          [Unit]
          Description=Alertmanager

          [Service]
          ExecReload=/bin/kill -HUP $MAINPID
          KillMode=process
          Restart=on-failure

          [Install]
          WantedBy=multi-user.target

    - name: Reload systemd to pick up new service file
      systemd:
        daemon_reload: yes

    - name: Enable and start Alertmanager service
      systemd:
        name: alertmanager
        enabled: yes
        state: started
    - name: Ensure /etc/prometheus/rules directory exists
      file:
        path: /etc/prometheus/rules
        state: directory
        mode: '0755'

    - name: Move altermanger.yml.j2 to /etc/prometheus/rules
      ansible.builtin.copy:
        src: /root/altermanger.yml.j2
        dest: /etc/prometheus/rules/altermanger.yml
        remote_src: yes
        mode: '0644'

    - name: Replace prometheus.yml configuration
      ansible.builtin.template:
        src: /root/altermanger.yml.j1
        dest: /usr/local/alertmanager-0.23.0.linux-amd64/alertmanager.yml


    - name: Restart the service
        state: restarted


- name: Install and configure prometheus-webhook-dingtalk
  hosts: prometheus_dingtalk
  become: yes
  tasks:
    - name: Ensure the /usr/local directory exists
      file:
        path: /usr/local
        state: directory
      unarchive:
        src: /tmp/prometheus-webhook-dingtalk-1.4.0.linux-amd64.tar.gz
        dest: /usr/local
        remote_src: yes

    - name: Move extracted directory

    - name: Create prometheus-webhook-dingtalk systemd service file
      copy:
        dest: /etc/systemd/system/prometheus-webhook-dingtalk.service
        content: |
          [Unit]
          Description=https://github.com/timonwong/prometheus-webhook-dingtalk/releases/
          After=network-online.target

          [Service]
          Restart=on-failure

          [Install]
          WantedBy=multi-user.target

    - name: Copy dingtalk configuration file
      copy:
        src: /root/dingtalk.yml.j1
        dest: /usr/local/prometheus-webhook-dingtalk/config.yml

    - name: Enable and start prometheus-webhook-dingtalk service
      systemd:
        name: prometheus-webhook-dingtalk
        enabled: yes
        state: restarted

    - name: Enable and start prometheus-webhook-dingtalk service
      systemd:
        name: alertmanager.service
        enabled: yes
        state: restarted


4.执行ansible文件

[root@host1 ~]# ansible-playbook -i host dingtalk.yml

5.测试

挂掉host2主机的exporter

[root@host2 ~]# systemctl stop node_exporter.service

测试成功!

这篇关于Prometheus+alter+dingtalk实现钉钉报警(ansible搭建-宝宝教程)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1121437

相关文章

Spring Security 从入门到进阶系列教程

Spring Security 入门系列 《保护 Web 应用的安全》 《Spring-Security-入门(一):登录与退出》 《Spring-Security-入门(二):基于数据库验证》 《Spring-Security-入门(三):密码加密》 《Spring-Security-入门(四):自定义-Filter》 《Spring-Security-入门(五):在 Sprin

Makefile简明使用教程

文章目录 规则makefile文件的基本语法:加在命令前的特殊符号:.PHONY伪目标: Makefilev1 直观写法v2 加上中间过程v3 伪目标v4 变量 make 选项-f-n-C Make 是一种流行的构建工具,常用于将源代码转换成可执行文件或者其他形式的输出文件(如库文件、文档等)。Make 可以自动化地执行编译、链接等一系列操作。 规则 makefile文件

hdu1043(八数码问题,广搜 + hash(实现状态压缩) )

利用康拓展开将一个排列映射成一个自然数,然后就变成了普通的广搜题。 #include<iostream>#include<algorithm>#include<string>#include<stack>#include<queue>#include<map>#include<stdio.h>#include<stdlib.h>#include<ctype.h>#inclu

【C++】_list常用方法解析及模拟实现

相信自己的力量,只要对自己始终保持信心,尽自己最大努力去完成任何事,就算事情最终结果是失败了,努力了也不留遗憾。💓💓💓 目录   ✨说在前面 🍋知识点一:什么是list? •🌰1.list的定义 •🌰2.list的基本特性 •🌰3.常用接口介绍 🍋知识点二:list常用接口 •🌰1.默认成员函数 🔥构造函数(⭐) 🔥析构函数 •🌰2.list对象

【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯,先赞后看哦~🎈🎈 🏆 作者简介:景天科技苑 🏆《头衔》:大厂架构师,华为云开发者社区专家博主,阿里云开发者社区专家博主,CSDN全栈领域优质创作者,掘金优秀博主,51CTO博客专家等。 🏆《博客》:Python全栈,前后端开发,小程序开发,人工智能,js逆向,App逆向,网络系统安全,数据分析,Django,fastapi

让树莓派智能语音助手实现定时提醒功能

最初的时候是想直接在rasa 的chatbot上实现,因为rasa本身是带有remindschedule模块的。不过经过一番折腾后,忽然发现,chatbot上实现的定时,语音助手不一定会有响应。因为,我目前语音助手的代码设置了长时间无应答会结束对话,这样一来,chatbot定时提醒的触发就不会被语音助手获悉。那怎么让语音助手也具有定时提醒功能呢? 我最后选择的方法是用threading.Time

Android实现任意版本设置默认的锁屏壁纸和桌面壁纸(两张壁纸可不一致)

客户有些需求需要设置默认壁纸和锁屏壁纸  在默认情况下 这两个壁纸是相同的  如果需要默认的锁屏壁纸和桌面壁纸不一样 需要额外修改 Android13实现 替换默认桌面壁纸: 将图片文件替换frameworks/base/core/res/res/drawable-nodpi/default_wallpaper.*  (注意不能是bmp格式) 替换默认锁屏壁纸: 将图片资源放入vendo

C#实战|大乐透选号器[6]:实现实时显示已选择的红蓝球数量

哈喽,你好啊,我是雷工。 关于大乐透选号器在前面已经记录了5篇笔记,这是第6篇; 接下来实现实时显示当前选中红球数量,蓝球数量; 以下为练习笔记。 01 效果演示 当选择和取消选择红球或蓝球时,在对应的位置显示实时已选择的红球、蓝球的数量; 02 标签名称 分别设置Label标签名称为:lblRedCount、lblBlueCount

搭建Kafka+zookeeper集群调度

前言 硬件环境 172.18.0.5        kafkazk1        Kafka+zookeeper                Kafka Broker集群 172.18.0.6        kafkazk2        Kafka+zookeeper                Kafka Broker集群 172.18.0.7        kafkazk3

Kubernetes PodSecurityPolicy:PSP能实现的5种主要安全策略

Kubernetes PodSecurityPolicy:PSP能实现的5种主要安全策略 1. 特权模式限制2. 宿主机资源隔离3. 用户和组管理4. 权限提升控制5. SELinux配置 💖The Begin💖点点关注,收藏不迷路💖 Kubernetes的PodSecurityPolicy(PSP)是一个关键的安全特性,它在Pod创建之前实施安全策略,确保P