基于Telegraf+Influxdb+Grafana的监控平台介绍

2024-06-12 21:58

本文主要是介绍基于Telegraf+Influxdb+Grafana的监控平台介绍,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

最近在做大数据监控平台的方案调研,做了一些开源解决方案的尝试,今天分享一下基于Telegraf+InfluxDB+Grafana的监控平台整体部署过程。文章开始会简单介绍下 TICK 技术栈,接下来就是本次方案各个组件的安装部署了。希望对正在调研大数据监控平台或对监控系统感兴趣的同学有所帮助。

我们知道这种监控平台的数据特征一般都是时间序列数据(简称 时序数据),那么相应的这些数据最好是存储在时序数据库中,目前主流的时序数据库有InfluxDB、OpenTSDB、Graphite、TimescaleDB等。其中,InfluxDB是目前监控领域使用较多的时序数据库,并且基于InfluxDB有一套完善的开源解决方案 —— TICK Stack,如下图所示:

640?wx_fmt=png

TICK Stack 是 InfluxData 公司提供的包括采集、存储、展示及监控告警在内的一体化解决方案,包含以下 4 个核心组件:

  • Telegraf:Time-Series Data Collector

  • InfluxDB:Time-Series Data Storage

  • Chronograf:Time-Series Data Visualization

  • Kapacitor:Time-Series Data Processing

今天我们选用 TICK Stack 中的 Telegraf 与 InfluxDB,配合另一个常用的数据可视化组件 Grafana,即前文所说的 Telegraf+InfluxDB+Grafana,实现对我们大数据平台的基础指标监控,包括但不限于CPU/Mem/Net/Disk/Diskio等。接下来主要介绍下各个组件的安装部署,请阅读下文。

一、InfluxDB

InfluxDB是目前IoT监控、DevOps监控等领域最主流的开源时序数据库,属于TICK Stack的核心组件。

优点:Go语言编写,没有任何第三方依赖。

1 安装influxdb

# wget https://dl.influxdata.com/influxdb/releases/influxdb-1.7.7.x86_64.rpm
# yum install -y influxdb-1.7.7.x86_64.rpm

2 启动influxdb

# systemctl start influxdb

3 操作influxdb

下面演示创建一个名为“telegraf”的数据库,及名为“telegraf”的普通用户、“admin”的管理员用户:

# influx
Connected to http://localhost:8086 version 1.7.7
InfluxDB shell version: 1.7.7
> create database telegraf
> show databases
name: databases
name
----
_internal
telegraf
> create user "admin" with password 'admin' with all privileges
> create user "telegraf" with password 'telegraf'
> show users;
user     admin
----     -----
telegraf false
admin    true
> exit

4 查看influxdb配置

# more /etc/influxdb/influxdb.conf

 

...	
[data]# The directory where the TSM storage engine stores TSM files.dir = "/var/lib/influxdb/data"# The directory where the TSM storage engine stores WAL files.wal-dir = "/var/lib/influxdb/wal"...

 

二、Telegraf

Telegraf 是一个插件驱动的轻量级数据采集工具,用于收集系统和服务的各项指标。支持多种输入与输出插件,其中输入端支持直接获取操作系统的各项指标数据,从第三方API获取指标数据,甚至可以通过statsd和Kafka获取指标数据;输出端可以将采集的指标发送到各种数据存储,服务或消息队列中,支持InfluxDB,Graphite,OpenTSDB,Datadog,Librato,Kafka,MQTT等。

优点:Go语言编写,没有任何第三方依赖。

1 安装Telegraf

# wget https://dl.influxdata.com/telegraf/releases/telegraf-1.11.2-1.x86_64.rpm
# yum install -y telegraf-1.11.2-1.x86_64.rpm

2 配置Telegraf,这里修改outputs.influxdb的配置项

# vi /etc/telegraf/telegraf.conf

 

[[outputs.influxdb]]## The full HTTP or UDP URL for your InfluxDB instance.#### Multiple URLs can be specified for a single cluster, only ONE of the## urls will be written to each interval.# urls = ["unix:///var/run/influxdb.sock"]# urls = ["udp://127.0.0.1:8089"]urls = ["http://127.0.0.1:8086"]## The target database for metrics; will be created as needed.## For UDP url endpoint database needs to be configured on server side.database = "telegraf"## The value of this tag will be used to determine the database.  If this## tag is not set the 'database' option is used as the default.# database_tag = ""## If true, no CREATE DATABASE queries will be sent.  Set to true when using## Telegraf with a user without permissions to create databases or when the## database already exists.# skip_database_creation = false## Name of existing retention policy to write to.  Empty string writes to## the default retention policy.  Only takes effect when using HTTP.# retention_policy = ""## Write consistency (clusters only), can be: "any", "one", "quorum", "all".## Only takes effect when using HTTP.# write_consistency = "any"## Timeout for HTTP messages.timeout = "5s"## HTTP Basic Authusername = "telegraf"password = "telegraf"

3 启动Telegraf

# systemctl start telegraf

4 查看influxdb数据

# influx	
> use telegraf	
Using database telegraf	
> show measurements	
name: measurements	
name	
----	
cpu	
disk	
diskio	
kernel	
mem	
processes	
swap	
system	
> exit

注意:influxdb 自1.2版本之后关闭了自带的 web 界面,安装之前的方式访问 web 界面将会报 "404 page not found",如果想用 web 界面访问influxdb,建议使用第三方工具,或者使用低版本influxdb的web界面访问。

三、Grafana

Grafana是目前比较流行的开源可视化组件,支持多种数据源,包括InfluxDB、OpenTSDB、Graphite、Prometheus、Elasticsearch等主流的时序数据库,以及MySQL、PostgreSQL等关系数据库等。

优点:Go语言编写,自带用户管理、告警等功能。

1 安装Grafana

# wget https://dl.grafana.com/oss/release/grafana-6.2.5-1.x86_64.rpm
# yum install -y grafana-6.2.5-1.x86_64.rpm

 

2 启动Grafana

# systemctl start grafana-server

 

3 访问Grafana

Grafana的默认http端口为3000,默认管理员用户密码为admin/admin,因此访问Grafana只需访问 http://IP:3000 即可,初始访问的时候会提示修改密码。首页如下:

640?wx_fmt=jpeg

 

640?wx_fmt=png

 

4 查看Grafana配置

# more /etc/grafana/grafana.ini

 

...[paths]
# Path to where grafana can store temp files, sessions, and the sqlite3 db (if that is used)
;data = /var/lib/grafana# Temporary files in `data` directory older than given duration will be removed
;temp_data_lifetime = 24h# Directory where grafana can store logs
;logs = /var/log/grafana...# The http port  to use
;http_port = 3000...

 

5 界面配置Grafana访问influxdb

进入Grafana界面后,首先是添加数据源:Data Sources --> Add data source,这里选择influxdb作为数据源;然后是新建可视化面板:Dashboards --> Manage --> New dashboard,简单配置展示项后数据就可以展示出来了。页面操作比较简单,具体细节不多赘述,自行进一步熟悉Grafana界面即可。

640?wx_fmt=png

 

640?wx_fmt=png

 

640?wx_fmt=png

至此,我们演示了相关组件的安装部署与基本使用,成功展示了采集的指标数据。本文介绍了 TICK Stack,以及基于 Telegraf+InfluxDB+Grafana的监控平台搭建。后续更多的大数据监控运维分享请关注本公众号。


往期推荐

1、HBase最佳实践 | 聊聊HBase核心配置参数
2、Apache Hudi:剑指数据湖的增量处理框架
3、Hadoop社区比 Ozone 更重要的事情
4、MapReduce Shuffle 和 Spark Shuffle 结业篇

640?wx_fmt=jpeg

这篇关于基于Telegraf+Influxdb+Grafana的监控平台介绍的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1055447

相关文章

Python进阶之Excel基本操作介绍

《Python进阶之Excel基本操作介绍》在现实中,很多工作都需要与数据打交道,Excel作为常用的数据处理工具,一直备受人们的青睐,本文主要为大家介绍了一些Python中Excel的基本操作,希望... 目录概述写入使用 xlwt使用 XlsxWriter读取修改概述在现实中,很多工作都需要与数据打交

java脚本使用不同版本jdk的说明介绍

《java脚本使用不同版本jdk的说明介绍》本文介绍了在Java中执行JavaScript脚本的几种方式,包括使用ScriptEngine、Nashorn和GraalVM,ScriptEngine适用... 目录Java脚本使用不同版本jdk的说明1.使用ScriptEngine执行javascript2.

使用zabbix进行监控网络设备流量

《使用zabbix进行监控网络设备流量》这篇文章主要为大家详细介绍了如何使用zabbix进行监控网络设备流量,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录安装zabbix配置ENSP环境配置zabbix实行监控交换机测试一台liunx服务器,这里使用的为Ubuntu22.04(

Python实现NLP的完整流程介绍

《Python实现NLP的完整流程介绍》这篇文章主要为大家详细介绍了Python实现NLP的完整流程,文中的示例代码讲解详细,具有一定的借鉴价值,感兴趣的小伙伴可以跟随小编一起学习一下... 目录1. 编程安装和导入必要的库2. 文本数据准备3. 文本预处理3.1 小写化3.2 分词(Tokenizatio

Java读取InfluxDB数据库的方法详解

《Java读取InfluxDB数据库的方法详解》本文介绍基于Java语言,读取InfluxDB数据库的方法,包括读取InfluxDB的所有数据库,以及指定数据库中的measurement、field、... 首先,创建一个Java项目,用于撰写代码。接下来,配置所需要的依赖;这里我们就选择可用于与Infl

springboot健康检查监控全过程

《springboot健康检查监控全过程》文章介绍了SpringBoot如何使用Actuator和Micrometer进行健康检查和监控,通过配置和自定义健康指示器,开发者可以实时监控应用组件的状态,... 目录1. 引言重要性2. 配置Spring Boot ActuatorSpring Boot Act

Java实现任务管理器性能网络监控数据的方法详解

《Java实现任务管理器性能网络监控数据的方法详解》在现代操作系统中,任务管理器是一个非常重要的工具,用于监控和管理计算机的运行状态,包括CPU使用率、内存占用等,对于开发者和系统管理员来说,了解这些... 目录引言一、背景知识二、准备工作1. Maven依赖2. Gradle依赖三、代码实现四、代码详解五

python使用watchdog实现文件资源监控

《python使用watchdog实现文件资源监控》watchdog支持跨平台文件资源监控,可以检测指定文件夹下文件及文件夹变动,下面我们来看看Python如何使用watchdog实现文件资源监控吧... python文件监控库watchdogs简介随着Python在各种应用领域中的广泛使用,其生态环境也

SpringBoot整合InfluxDB的详细过程

《SpringBoot整合InfluxDB的详细过程》InfluxDB是一个开源的时间序列数据库,由Go语言编写,适用于存储和查询按时间顺序产生的数据,它具有高效的数据存储和查询机制,支持高并发写入和... 目录一、简单介绍InfluxDB是什么?1、主要特点2、应用场景二、使用步骤1、集成原生的Influ

流媒体平台/视频监控/安防视频汇聚EasyCVR播放暂停后视频画面黑屏是什么原因?

视频智能分析/视频监控/安防监控综合管理系统EasyCVR视频汇聚融合平台,是TSINGSEE青犀视频垂直深耕音视频流媒体技术、AI智能技术领域的杰出成果。该平台以其强大的视频处理、汇聚与融合能力,在构建全栈视频监控系统中展现出了独特的优势。视频监控管理系统EasyCVR平台内置了强大的视频解码、转码、压缩等技术,能够处理多种视频流格式,并以多种格式(RTMP、RTSP、HTTP-FLV、WebS