夜莺v5监控系统-Nightingale

2023-11-23 12:11

本文主要是介绍夜莺v5监控系统-Nightingale,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

一、夜莺介绍

GitHub项目地址: https://github.com/ccfos/nightingale

夜莺( Nightingale )是一款国产开源、云原生监控系统,Nightingale 在 2020.3.20 发布 v1 版本,目前是 v5 版本,从这个版本开始,与 Prometheus、VictoriaMetrics、Grafana、Telegraf、Datadog 等生态做了协同集成,力争打造国内最好用的开源运维监控系统。出自 Open-Falcon 研发团队。夜莺监控项目,于 2022 年 5 月 11 日,捐赠予中国计算机学会开源发展委员会(CCF ODC),为 CCF ODC 成立后接受捐赠的首个开源项目。

参考文档地址:https://www.bookstack.cn/read/n9e-5.6-zh/usage-alert-cur-event.md

二、安装

1.docker安装单节点

#下载并上传软件
https://github.com/ccfos/nightingale##关闭防火墙 或开启对应端口
systemctl stop firewalld && systemctl disable firewalld
#关闭内核安全机制selinux
setenforce 0
#永久关闭
sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config
#yum安装epel-release & docker & docker-compose
yum -y install epel-release
yum -y install docker docker-compose

纠错:

ERROR: Version in “./docker-compose.yaml” is unsupported. You might be seeing this error because you’re using the wrong Compose file version. Either specify a supported version (e.g “2.2” or “3.3”) and place your service definitions under the services key, or omit the version key and place your service definitions at the root of the file to use version 1.
For more on the Compose file format versions, see https://docs.docker.com/compose/compose-file/

[root@nightingale-1 docker]# docker --version
Docker version 19.03.9, build 9d988398e7

docker-compose版本低!要安装高版本的docker-compose

#卸载安装的低版本docker-compose 
yum -y remove docker-compose
#安装高版本docker-compose
curl -L "https://github.com/docker/compose/releases/download/1.29.2/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
chmod +x /usr/local/bin/docker-compose
ln -s /usr/local/bin/docker-compose /usr/bin/docker-compose
[root@nightingale-1 docker]# docker-compose --version
docker-compose version 1.29.2, build 5becea4c

安装完执行docker-compose up -d

#切换到下面目录并执行命令 会根据docker-compose.yaml文件内容自动拉取镜像文件并启动容器
# cd /data/nightingale-main/docker && docker-compose up -d[root@nightingale-1 docker]# docker-compose up -d
Creating network "docker_nightingale" with driver "bridge"
Pulling mysql (mysql:5.7)...
5.7: Pulling from library/mysql
c1ad9731b2c7: Pull complete
54f6eb0ee84d: Pull complete
cffcf8691bc5: Pull complete
89a783b5ac8a: Pull complete
6a8393c7be5f: Pull complete
af768d0b181e: Pull complete
810d6aaaf54a: Pull complete
81fe6daf2395: Pull complete
5ccf426818fd: Pull complete
68b838b06054: Pull complete
1b606c4f93df: Pull complete
Digest: sha256:7e99b2b8d5bca914ef31059858210f57b009c40375d647f0d4d65ecd01d6b1d5
Status: Downloaded newer image for mysql:5.7
Pulling redis (redis:6.2)...
6.2: Pulling from library/redis#等待拉取镜像结束,并查看容器运行是否正常
[root@nightingale-1 docker]# docker-compose psName                 Command               State                             Ports                          
---------------------------------------------------------------------------------------------------------------
agentd       /app/ibex agentd                 Up      10090/tcp, 20090/tcp                                     
ibex         sh -c /wait && /app/ibex s ...   Up      0.0.0.0:10090->10090/tcp, 0.0.0.0:20090->20090/tcp       
mysql        docker-entrypoint.sh mysqld      Up      0.0.0.0:3306->3306/tcp, 33060/tcp                        
nserver      sh -c /wait && /app/n9e server   Up      18000/tcp, 0.0.0.0:19000->19000/tcp                      
nwebapi      sh -c /wait && /app/n9e webapi   Up      0.0.0.0:18000->18000/tcp, 19000/tcp                      
prometheus   /bin/prometheus --config.f ...   Up      0.0.0.0:9090->9090/tcp                                   
redis        docker-entrypoint.sh redis ...   Up      0.0.0.0:6379->6379/tcp                                   
telegraf     /entrypoint.sh telegraf          Up      0.0.0.0:8092->8092/udp, 0.0.0.0:8094->8094/tcp,          0.0.0.0:8125->8125/udp 
注意:

​ 启动成功之后,建议把initsql目录下的内容挪走,这样下次重启的时候,DB就不会重新初始化了。否则下次启动mysql还是会自动执行initsql下面的sql文件导致DB重新初始化,页面上创建的规则、用户等都会丢失。docker-compose 这种部署方式,只是用于简单测试,不推荐在生产环境使用,当然了,如果您是 docker-compose 专家,另当别论。(测试了两次页面上创建的用户,导入json文件创建的告警规则没有丢失。还是推荐把initsql目录移走)

服务启动之后,浏览器访问nwebapi的端口,即18000,默认用户是root,密码是root.2020

#telegraf配置文件位置:docker exec -it telegraf /bin/bash 
root@telegraf01:/# ls /etc/telegraf/
telegraf.conf  telegraf.conf.sample  telegraf.d

2.使用二进制部署单机版服务端

本节讲述如何部署单机版,单机版对于很多中小公司足够用了,简单高效、快速直接,建议使用云主机,性能不够了直接升配,可以应对每秒上报的数据点小于100万的情形,如果只是监控机器(每台机器每个周期大概采集200个数据点)采集周期频率设置10秒的话,支撑上限是5万台

如果仅仅是为了快速测试,Docker 部署方式是最快的,不过很多朋友未必有 Docker 环境,另外为了减少引入更多技术栈,增强生产环境稳定性,有些朋友可能也不愿意用 Docker,那本篇就来讲解如何快速部署单机版,单机版的配套时序库是使用 Prometheus。如果要监控的机器有几千台,服务有几百个,单机版的容量无法满足,可以上集群版,集群版的时序库建议使用 VictoriaMetrics,也可以使用 M3DB,不过 M3DB 的架构更复杂,很多朋友无法搞定,选择简单的 VictoriaMetrics,对大部分公司来讲,足够用了。我们先来看一下服务端架构

在这里插入图片描述在这里插入图片描述

按照单机版本的这个架构图可以看出,服务端需要安装的组件有:MySQL、Redis、Prometheus、n9e-server、n9e-webapi,Agent 有多种选型,可以是 Telegraf、Datadog-Agent、Grafana-Agent 等,Agent 应该部署在所有的目标机器上,包括服务端的这台机器,Exporters 是指 Prometheus 生态的各类 Exporter 采集器,比如 mysqld_exporter、redis_exporter、blackbox_exporter 等,这些 Exporter 是非必须的,看各自公司的情况。

环境准备:

依赖的组件有:mysql、redis、prometheus,这三个组件都是开源软件,请大家自行安装,其中prometheus在启动的时候要注意开启 --enable-feature=remote-write-receiver 这里也提供一个小脚本来安装这3个组件,大家可以参考:

    # install prometheusmkdir -p /opt/prometheuswget https://s3-gz01.didistatic.com/n9e-pub/prome/prometheus-2.28.0.linux-amd64.tar.gz -O prometheus-2.28.0.linux-amd64.tar.gztar xf prometheus-2.28.0.linux-amd64.tar.gzcp -far prometheus-2.28.0.linux-amd64/*  /opt/prometheus/# service cat <<EOF >/etc/systemd/system/prometheus.service[Unit]Description="prometheus"Documentation=https://prometheus.io/After=network.target[Service]Type=simpleExecStart=/opt/prometheus/prometheus  --config.file=/opt/prometheus/prometheus.yml --storage.tsdb.path=/opt/prometheus/data --web.enable-lifecycle --enable-feature=remote-write-receiver --query.lookback-delta=2m Restart=on-failureSuccessExitStatus=0LimitNOFILE=65536StandardOutput=syslogStandardError=syslogSyslogIdentifier=prometheus[Install]WantedBy=multi-user.targetEOFsystemctl daemon-reloadsystemctl enable prometheussystemctl restart prometheussystemctl status prometheus# install mysql#mysql数据目录  默认配置文件路径 /etc/my.confyum -y install mariadb*systemctl enable mariadbsystemctl restart mariadbmysql -e "SET PASSWORD FOR 'root'@'localhost' = PASSWORD('1234');"# install redisyum install -y redissystemctl enable redissystemctl restart redis

上例中mysql的root密码设置为了1234,建议维持这个不变,后续就省去了修改配置文件的麻烦。

安装夜莺组件:

    mkdir -p /opt/n9e && cd /opt/n9e# 去 https://github.com/didi/nightingale/releases 找最新版本的包,文档里的包地址可能已经不是最新的了tarball=n9e-5.5.0.tar.gzurlpath=https://github.com/didi/nightingale/releases/download/v5.5.0/${tarball}wget $urlpath || exit 1tar zxvf ${tarball}mysql -uroot -p1234 < docker/initsql/a-n9e.sqlnohup ./n9e server &> server.log &nohup ./n9e webapi &> webapi.log &# check logs# check port[root@192-168-120-9 lib]# ss -anplt| grep n9e
LISTEN     0      128       [::]:19000                 [::]:*                   users:(("n9e",pid=2605,fd=8))
LISTEN     0      128       [::]:18000                 [::]:*                   users:(("n9e",pid=2616,fd=8))

如果启动成功,server 默认会监听在 19000 端口,webapi 会监听在 18000 端口,且日志没有报错。上面使用 nohup 简单演示,生产环境建议用 systemd 托管,相关 service 文件可以在 etc/service 目录下,供参考。

配置文件etc/server.confetc/webapi.conf中都含有 mysql 的连接地址配置,检查一下用户名和密码,prometheus 如果使用上面的脚本安装,默认会监听本机 9090 端口,server.conf 和 webapi.conf 中的 prometheus 相关地址都不用修改就是对的。

好了,浏览器访问 webapi 的端口(默认是18000)就可以体验相关功能了,默认用户是root,密码是root.2020。如果安装过程出现问题,可以参考公众号(云原生监控)的视频教程。

夜莺服务端部署好了,接下来要考虑监控数据采集的问题,如果是 Prometheus 重度用户,可以继续使用各类 Exporter 来采集,只要数据进了时序库了,夜莺就能够消费(判断告警、展示图表等);如果想快速看到效果,可以使用 Telegraf 来采集监控数据,请参考后续文档章节。

3.使用telegraf采集监控数据

Telegraf 是 InfluxData 开源的一款采集器,可以采集操作系统、各种中间件的监控指标,采集目标列表,看起来是非常丰富,Telegraf是一个大一统的设计,即一个二进制可以采集CPU、内存、mysql、mongodb、redis、snmp等,不像Prometheus的exporter,每个监控对象一个exporter,管理起来略麻烦。一个二进制分发起来确实比较方便

# curl opentsdbip地址:19000/ping 测试opentsdb是否能通,如果能通则返回 "pong"
#curl 192.168.120.9:19000/ping
#pong[[outputs.opentsdb]]  host = "http://opentsdbip地址"port = 19000http_batch_size = 50http_path = "/opentsdb/put"debug = falseseparator = "_"#其余input等指标配置和之前一样
92.168.120.9:19000/ping
#pong[[outputs.opentsdb]]  host = "http://opentsdbip地址"port = 19000http_batch_size = 50http_path = "/opentsdb/put"debug = falseseparator = "_"#其余input等指标配置和之前一样

这篇关于夜莺v5监控系统-Nightingale的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/417866

相关文章

利用Python快速搭建Markdown笔记发布系统

《利用Python快速搭建Markdown笔记发布系统》这篇文章主要为大家详细介绍了使用Python生态的成熟工具,在30分钟内搭建一个支持Markdown渲染、分类标签、全文搜索的私有化知识发布系统... 目录引言:为什么要自建知识博客一、技术选型:极简主义开发栈二、系统架构设计三、核心代码实现(分步解析

AJAX请求上传下载进度监控实现方式

《AJAX请求上传下载进度监控实现方式》在日常Web开发中,AJAX(AsynchronousJavaScriptandXML)被广泛用于异步请求数据,而无需刷新整个页面,:本文主要介绍AJAX请... 目录1. 前言2. 基于XMLHttpRequest的进度监控2.1 基础版文件上传监控2.2 增强版多

Python FastAPI+Celery+RabbitMQ实现分布式图片水印处理系统

《PythonFastAPI+Celery+RabbitMQ实现分布式图片水印处理系统》这篇文章主要为大家详细介绍了PythonFastAPI如何结合Celery以及RabbitMQ实现简单的分布式... 实现思路FastAPI 服务器Celery 任务队列RabbitMQ 作为消息代理定时任务处理完整

Linux系统中卸载与安装JDK的详细教程

《Linux系统中卸载与安装JDK的详细教程》本文详细介绍了如何在Linux系统中通过Xshell和Xftp工具连接与传输文件,然后进行JDK的安装与卸载,安装步骤包括连接Linux、传输JDK安装包... 目录1、卸载1.1 linux删除自带的JDK1.2 Linux上卸载自己安装的JDK2、安装2.1

Linux系统之主机网络配置方式

《Linux系统之主机网络配置方式》:本文主要介绍Linux系统之主机网络配置方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、查看主机的网络参数1、查看主机名2、查看IP地址3、查看网关4、查看DNS二、配置网卡1、修改网卡配置文件2、nmcli工具【通用

Linux系统之dns域名解析全过程

《Linux系统之dns域名解析全过程》:本文主要介绍Linux系统之dns域名解析全过程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、dns域名解析介绍1、DNS核心概念1.1 区域 zone1.2 记录 record二、DNS服务的配置1、正向解析的配置

Linux系统中配置静态IP地址的详细步骤

《Linux系统中配置静态IP地址的详细步骤》本文详细介绍了在Linux系统中配置静态IP地址的五个步骤,包括打开终端、编辑网络配置文件、配置IP地址、保存并重启网络服务,这对于系统管理员和新手都极具... 目录步骤一:打开终端步骤二:编辑网络配置文件步骤三:配置静态IP地址步骤四:保存并关闭文件步骤五:重

Windows系统下如何查找JDK的安装路径

《Windows系统下如何查找JDK的安装路径》:本文主要介绍Windows系统下如何查找JDK的安装路径,文中介绍了三种方法,分别是通过命令行检查、使用verbose选项查找jre目录、以及查看... 目录一、确认是否安装了JDK二、查找路径三、另外一种方式如果很久之前安装了JDK,或者在别人的电脑上,想

Linux系统之authconfig命令的使用解读

《Linux系统之authconfig命令的使用解读》authconfig是一个用于配置Linux系统身份验证和账户管理设置的命令行工具,主要用于RedHat系列的Linux发行版,它提供了一系列选项... 目录linux authconfig命令的使用基本语法常用选项示例总结Linux authconfi

Nginx配置系统服务&设置环境变量方式

《Nginx配置系统服务&设置环境变量方式》本文介绍了如何将Nginx配置为系统服务并设置环境变量,以便更方便地对Nginx进行操作,通过配置系统服务,可以使用系统命令来启动、停止或重新加载Nginx... 目录1.Nginx操作问题2.配置系统服android务3.设置环境变量总结1.Nginx操作问题