基于Telegraf+Influxdb+Grafana的监控平台介绍

2024-06-12 21:58
文章标签 平台 介绍 influxdb 监控 telegraf grafana

本文主要是介绍基于Telegraf+Influxdb+Grafana的监控平台介绍，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

最近在做大数据监控平台的方案调研，做了一些开源解决方案的尝试，今天分享一下基于Telegraf+InfluxDB+Grafana的监控平台整体部署过程。文章开始会简单介绍下 TICK 技术栈，接下来就是本次方案各个组件的安装部署了。希望对正在调研大数据监控平台或对监控系统感兴趣的同学有所帮助。

我们知道这种监控平台的数据特征一般都是时间序列数据（简称 时序数据），那么相应的这些数据最好是存储在时序数据库中，目前主流的时序数据库有InfluxDB、OpenTSDB、Graphite、TimescaleDB等。其中，InfluxDB是目前监控领域使用较多的时序数据库，并且基于InfluxDB有一套完善的开源解决方案 —— TICK Stack，如下图所示：

640?wx_fmt=png

TICK Stack 是 InfluxData 公司提供的包括采集、存储、展示及监控告警在内的一体化解决方案，包含以下 4 个核心组件：

  • Telegraf：Time-Series Data Collector

  • InfluxDB：Time-Series Data Storage

  • Chronograf：Time-Series Data Visualization

  • Kapacitor：Time-Series Data Processing

今天我们选用 TICK Stack 中的 Telegraf 与 InfluxDB，配合另一个常用的数据可视化组件 Grafana，即前文所说的 Telegraf+InfluxDB+Grafana，实现对我们大数据平台的基础指标监控，包括但不限于CPU/Mem/Net/Disk/Diskio等。接下来主要介绍下各个组件的安装部署，请阅读下文。

一、InfluxDB

InfluxDB是目前IoT监控、DevOps监控等领域最主流的开源时序数据库，属于TICK Stack的核心组件。

优点：Go语言编写，没有任何第三方依赖。

1 安装influxdb

# wget https://dl.influxdata.com/influxdb/releases/influxdb-1.7.7.x86_64.rpm
# yum install -y influxdb-1.7.7.x86_64.rpm

2 启动influxdb

# systemctl start influxdb

3 操作influxdb

下面演示创建一个名为“telegraf”的数据库，及名为“telegraf”的普通用户、“admin”的管理员用户：

# influx
Connected to http://localhost:8086 version 1.7.7
InfluxDB shell version: 1.7.7
> create database telegraf
> show databases
name: databases
name
----
_internal
telegraf
> create user "admin" with password 'admin' with all privileges
> create user "telegraf" with password 'telegraf'
> show users;
user     admin
----     -----
telegraf false
admin    true
> exit

4 查看influxdb配置

# more /etc/influxdb/influxdb.conf

 

...	
[data]# The directory where the TSM storage engine stores TSM files.dir = "/var/lib/influxdb/data"# The directory where the TSM storage engine stores WAL files.wal-dir = "/var/lib/influxdb/wal"...

 

二、Telegraf

Telegraf 是一个插件驱动的轻量级数据采集工具，用于收集系统和服务的各项指标。支持多种输入与输出插件，其中输入端支持直接获取操作系统的各项指标数据，从第三方API获取指标数据，甚至可以通过statsd和Kafka获取指标数据；输出端可以将采集的指标发送到各种数据存储，服务或消息队列中，支持InfluxDB，Graphite，OpenTSDB，Datadog，Librato，Kafka，MQTT等。

优点：Go语言编写，没有任何第三方依赖。

1 安装Telegraf

# wget https://dl.influxdata.com/telegraf/releases/telegraf-1.11.2-1.x86_64.rpm
# yum install -y telegraf-1.11.2-1.x86_64.rpm

2 配置Telegraf，这里修改outputs.influxdb的配置项

# vi /etc/telegraf/telegraf.conf

 

[[outputs.influxdb]]## The full HTTP or UDP URL for your InfluxDB instance.#### Multiple URLs can be specified for a single cluster, only ONE of the## urls will be written to each interval.# urls = ["unix:///var/run/influxdb.sock"]# urls = ["udp://127.0.0.1:8089"]urls = ["http://127.0.0.1:8086"]## The target database for metrics; will be created as needed.## For UDP url endpoint database needs to be configured on server side.database = "telegraf"## The value of this tag will be used to determine the database.  If this## tag is not set the 'database' option is used as the default.# database_tag = ""## If true, no CREATE DATABASE queries will be sent.  Set to true when using## Telegraf with a user without permissions to create databases or when the## database already exists.# skip_database_creation = false## Name of existing retention policy to write to.  Empty string writes to## the default retention policy.  Only takes effect when using HTTP.# retention_policy = ""## Write consistency (clusters only), can be: "any", "one", "quorum", "all".## Only takes effect when using HTTP.# write_consistency = "any"## Timeout for HTTP messages.timeout = "5s"## HTTP Basic Authusername = "telegraf"password = "telegraf"

3 启动Telegraf

# systemctl start telegraf

4 查看influxdb数据

# influx	
> use telegraf	
Using database telegraf	
> show measurements	
name: measurements	
name	
----	
cpu	
disk	
diskio	
kernel	
mem	
processes	
swap	
system	
> exit

注意：influxdb 自1.2版本之后关闭了自带的 web 界面，安装之前的方式访问 web 界面将会报 "404 page not found"，如果想用 web 界面访问influxdb，建议使用第三方工具，或者使用低版本influxdb的web界面访问。

三、Grafana

Grafana是目前比较流行的开源可视化组件，支持多种数据源，包括InfluxDB、OpenTSDB、Graphite、Prometheus、Elasticsearch等主流的时序数据库，以及MySQL、PostgreSQL等关系数据库等。

优点：Go语言编写，自带用户管理、告警等功能。

1 安装Grafana

# wget https://dl.grafana.com/oss/release/grafana-6.2.5-1.x86_64.rpm
# yum install -y grafana-6.2.5-1.x86_64.rpm

 

2 启动Grafana

# systemctl start grafana-server

 

3 访问Grafana

Grafana的默认http端口为3000，默认管理员用户密码为admin/admin，因此访问Grafana只需访问 http://IP:3000 即可，初始访问的时候会提示修改密码。首页如下：

640?wx_fmt=jpeg

 

640?wx_fmt=png

 

4 查看Grafana配置

# more /etc/grafana/grafana.ini

 

...[paths]
# Path to where grafana can store temp files, sessions, and the sqlite3 db (if that is used)
;data = /var/lib/grafana# Temporary files in `data` directory older than given duration will be removed
;temp_data_lifetime = 24h# Directory where grafana can store logs
;logs = /var/log/grafana...# The http port  to use
;http_port = 3000...

 

5 界面配置Grafana访问influxdb

进入Grafana界面后，首先是添加数据源：Data Sources --> Add data source，这里选择influxdb作为数据源；然后是新建可视化面板：Dashboards --> Manage --> New dashboard，简单配置展示项后数据就可以展示出来了。页面操作比较简单，具体细节不多赘述，自行进一步熟悉Grafana界面即可。

640?wx_fmt=png

 

640?wx_fmt=png

 

640?wx_fmt=png

至此，我们演示了相关组件的安装部署与基本使用，成功展示了采集的指标数据。本文介绍了 TICK Stack，以及基于 Telegraf+InfluxDB+Grafana的监控平台搭建。后续更多的大数据监控运维分享请关注本公众号。


往期推荐

1、HBase最佳实践 | 聊聊HBase核心配置参数
2、Apache Hudi：剑指数据湖的增量处理框架
3、Hadoop社区比 Ozone 更重要的事情
4、MapReduce Shuffle 和 Spark Shuffle 结业篇

640?wx_fmt=jpeg

这篇关于基于Telegraf+Influxdb+Grafana的监控平台介绍的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1055447。

相关文章

流媒体平台/视频监控/安防视频汇聚EasyCVR播放暂停后视频画面黑屏是什么原因？

流媒体平台/视频监控/安防视频汇聚EasyCVR播放暂停后视频画面黑屏是什么原因？

视频智能分析/视频监控/安防监控综合管理系统EasyCVR视频汇聚融合平台，是TSINGSEE青犀视频垂直深耕音视频流媒体技术、AI智能技术领域的杰出成果。该平台以其强大的视频处理、汇聚与融合能力，在构建全栈视频监控系统中展现出了独特的优势。视频监控管理系统EasyCVR平台内置了强大的视频解码、转码、压缩等技术，能够处理多种视频流格式，并以多种格式（RTMP、RTSP、HTTP-FLV、WebS
阅读更多...
性能测试介绍

性能测试介绍

性能测试是一种测试方法，旨在评估系统、应用程序或组件在现实场景中的性能表现和可靠性。它通常用于衡量系统在不同负载条件下的响应时间、吞吐量、资源利用率、稳定性和可扩展性等关键指标。 为什么要进行性能测试 通过性能测试，可以确定系统是否能够满足预期的性能要求，找出性能瓶颈和潜在的问题，并进行优化和调整。 发现性能瓶颈：性能测试可以帮助发现系统的性能瓶颈，即系统在高负载或高并发情况下可能出现的问题
阅读更多...
水位雨量在线监测系统概述及应用介绍

水位雨量在线监测系统概述及应用介绍

在当今社会，随着科技的飞速发展，各种智能监测系统已成为保障公共安全、促进资源管理和环境保护的重要工具。其中，水位雨量在线监测系统作为自然灾害预警、水资源管理及水利工程运行的关键技术，其重要性不言而喻。 一、水位雨量在线监测系统的基本原理 水位雨量在线监测系统主要由数据采集单元、数据传输网络、数据处理中心及用户终端四大部分构成，形成了一个完整的闭环系统。 数据采集单元：这是系统的“眼睛”，
阅读更多...
Hadoop数据压缩使用介绍

Hadoop数据压缩使用介绍

一、压缩原则 （1）运算密集型的Job，少用压缩 （2）IO密集型的Job，多用压缩 二、压缩算法比较 三、压缩位置选择 四、压缩参数配置 1）为了支持多种压缩/解压缩算法，Hadoop引入了编码/解码器 2）要在Hadoop中启用压缩，可以配置如下参数
阅读更多...
综合安防管理平台LntonAIServer视频监控汇聚抖动检测算法优势

综合安防管理平台LntonAIServer视频监控汇聚抖动检测算法优势

LntonAIServer视频质量诊断功能中的抖动检测是一个专门针对视频稳定性进行分析的功能。抖动通常是指视频帧之间的不必要运动，这种运动可能是由于摄像机的移动、传输中的错误或编解码问题导致的。抖动检测对于确保视频内容的平滑性和观看体验至关重要。 优势 1. 提高图像质量 - 清晰度提升：减少抖动，提高图像的清晰度和细节表现力，使得监控画面更加真实可信。 - 细节增强：在低光条件下，抖
阅读更多...
JAVA智听未来一站式有声阅读平台听书系统小程序源码

JAVA智听未来一站式有声阅读平台听书系统小程序源码

智听未来，一站式有声阅读平台听书系统 🌟 开篇：遇见未来，从“智听”开始 在这个快节奏的时代，你是否渴望在忙碌的间隙，找到一片属于自己的宁静角落？是否梦想着能随时随地，沉浸在知识的海洋，或是故事的奇幻世界里？今天，就让我带你一起探索“智听未来”——这一站式有声阅读平台听书系统，它正悄悄改变着我们的阅读方式，让未来触手可及！ 📚 第一站：海量资源，应有尽有 走进“智听
阅读更多...
如何解决线上平台抽佣高 线下门店客流少的痛点！

如何解决线上平台抽佣高 线下门店客流少的痛点！

目前，许多传统零售店铺正遭遇客源下降的难题。尽管广告推广能带来一定的客流，但其费用昂贵。鉴于此，众多零售商纷纷选择加入像美团、饿了么和抖音这样的大型在线平台，但这些平台的高佣金率导致了利润的大幅缩水。在这样的市场环境下，商家之间的合作网络逐渐成为一种有效的解决方案，通过资源和客户基础的共享，实现共同的利益增长。 以最近在上海兴起的一个跨行业合作平台为例，该平台融合了环保消费积分系统，在短
阅读更多...
Android平台播放RTSP流的几种方案探究（VLC VS ExoPlayer VS SmartPlayer）

Android平台播放RTSP流的几种方案探究（VLC VS ExoPlayer VS SmartPlayer）

技术背景 好多开发者需要遴选Android平台RTSP直播播放器的时候，不知道如何选的好，本文针对常用的方案，做个大概的说明： 1. 使用VLC for Android VLC Media Player（VLC多媒体播放器），最初命名为VideoLAN客户端，是VideoLAN品牌产品，是VideoLAN计划的多媒体播放器。它支持众多音频与视频解码器及文件格式，并支持DVD影音光盘，VCD影
阅读更多...
图神经网络模型介绍（1）

图神经网络模型介绍（1）

我们将图神经网络分为基于谱域的模型和基于空域的模型，并按照发展顺序详解每个类别中的重要模型。 1.1基于谱域的图神经网络         谱域上的图卷积在图学习迈向深度学习的发展历程中起到了关键的作用。本节主要介绍三个具有代表性的谱域图神经网络：谱图卷积网络、切比雪夫网络和图卷积网络。 （1）谱图卷积网络 卷积定理：函数卷积的傅里叶变换是函数傅里叶变换的乘积，即F{f*g}
阅读更多...
【区块链 + 人才服务】区块链集成开发平台 | FISCO BCOS应用案例

【区块链 + 人才服务】区块链集成开发平台 | FISCO BCOS应用案例

随着区块链技术的快速发展，越来越多的企业开始将其应用于实际业务中。然而，区块链技术的专业性使得其集成开发成为一项挑战。针对此，广东中创智慧科技有限公司基于国产开源联盟链 FISCO BCOS 推出了区块链集成开发平台。该平台基于区块链技术，提供一套全面的区块链开发工具和开发环境，支持开发者快速开发和部署区块链应用。此外，该平台还可以提供一套全面的区块链开发教程和文档，帮助开发者快速上手区块链开发。
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2