具前景的mysql数据监控平台_管理和监控MySQL和MongoDB性能的开源平台Percona

本文主要是介绍具前景的mysql数据监控平台_管理和监控MySQL和MongoDB性能的开源平台Percona,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Percona监控和管理概述

Percona监控和管理(PMM)是一个用于管理和监控MySQL和MongoDB性能的开源平台。 它由Percona与托管数据库服务,支持和咨询领域的专家合作开发。 PMM是一个免费的开源解决方案,您可以在自己的环境中运行,以实现最大的安全性和可靠性。 它为MySQL和MongoDB服务器提供全面的基于时间的分析,以确保您的数据尽可能高效地工作。

Percona监控和管理架构

PMM平台基于简单的客户端 - 服务器模型,可实现高效的可扩展性。它包括以下模块:

PMM Client安装在您要监视的每个数据库主机上。它收集服务器指标,一般系统指标和查询分析数据,以获得完整的性能概述。收集的数据发送到PMM服务器。

PMM Server是PMM的核心部分,它聚合收集的数据,并以Web界面的表格,仪表板和图形的形式呈现。

PMM是旨在无缝协同工作的工具集合。一些是由Percona开发的,一些是第三方开源工具。

下图说明了PMM当前的结构:

1460000011172589

PMM Client

PMM客户端软件包适用于大多数流行的Linux发行版:

Red Hat Enterprise Linux衍生产品的RPM(包括CentOS,Oracle Linux,Amazon Linux等)

DEB用于基于Debian的发行版(包括Ubuntu等)

PMM客户端软件包包含以下内容:

pmm-admin是用于管理PMM客户端的命令行工具,例如,添加和删除要监视的数据库实例。

percona-qan-agent是一种在收集查询性能数据时管理查询分析(QAN)代理的服务。它还与PMM服务器中的QAN API连接,并发送收集的数据。

node_exporter是收集一般系统指标的Prometheus exporter。有关详细信息,请参阅https://github.com/prometheus...。

mysqld_exporter是收集MySQL服务器指标的Prometheus exporter。有关详细信息,请参阅https://github.com/percona/my...。

mongodb_exporter是收集MongoDB服务器指标的Prometheus exporter。有关详细信息,请参阅https://github.com/percona/mo...。

proxysql_exporter是收集ProxySQL性能指标的Prometheus exporter。有关详细信息,请参阅https://github.com/percona/pr...。

PMM Server

PMM服务器将作为您的中央监控主机的机器运行。它通过以下方式作为设备分发:

可以用于运行容器的Docker映像

可以在VirtualBox或其他管理程序中运行

可以通过Amazon Web Services(AWS)运行的Amazon Machine Image(AMI)

PMM服务器由以下工具组成:

查询分析(QAN)使您能够在一段时间内分析MySQL查询性能。除客户端QAN代理外,还包括以下内容:

QAN API是用于存储和访问在PMM客户端上运行的percona-qan-agent收集的查询数据的后端

QAN Web App是用于可视化收集的Query Analytics数据的Web应用程序。

度量监视器(MM)提供对MySQL或MongoDB服务器实例至关重要的度量的历史视图。它包括以下内容:

Prometheus是一个第三方时间序列数据库,连接到在PMM客户端上运行的出口商,并汇总了收集的指标.

Consul提供一个PMM客户端可以远程列出,添加和删除Prometheus主机的API。

Grafana是一个第三方仪表板和图形构建器,用于在直观的Web界面中可视化由Prometheus汇总的数据.

Percona仪表板是由Percona开发的Grafana仪表板

Orchestrator是MySQL复制拓扑管理和可视化工具。

部署Percona监控和管理

以下过程介绍如何正确部署PMM:

在主机上运行PMM Server,用于访问收集的数据,查看基于时间的图表,并执行性能分析。

以下选项可用:

使用Docker运行PMM服务器

使用VirtualBox运行PMM服务器

使用Amazon Machine Image(AMI)运行PMM服务器

安装运行PMM Server(使用Docker运行PMM服务器)

使用docker运行PMM Server

PMM服务器的Docker映像公开托管在https://hub.docker.com/r/perc...。 如果要从Docker映像运行PMM Server,则主机必须能够运行Docker 1.13或更高版本,并具有网络访问权限。 有关使用Docker的更多信息,请参阅Docker文档(https://docs.docker.com/)。

CentOS 6 安装Docker

yum --enablerepo=epel -y install docker-io

/etc/rc.d/init.d/docker start

chkconfig docker on

注:使用pmm-server映像时,请使用特定的版本标签,而不是最新的标签。目前的稳定版本是1.1.3。

第一步. 创建一个PMM数据容器

要创建持久PMM数据的容器,请运行以下命令:

docker create \

-v /opt/prometheus/data \

-v /opt/consul-data \

-v /var/lib/mysql \

-v /var/lib/grafana \

--name pmm-data \

percona/pmm-server:1.1.3 /bin/true

此容器不运行,只需升级到较新的pmm服务器映像时,确保您保留所有PMM数据。不要删除或重新创建此容器,除非您打算清除所有PMM数据并重新开始。

第二步、创建并运行PMM服务器容器

要运行PMM服务器,请使用以下命令:

docker run -d \

-p 666:80 \

--volumes-from pmm-data \

--name pmm-server \

--restart always \

percona/pmm-server:1.1.3

注意:这里666端口是自定义的,因为笔者实验机80已被占用

确认PMM 安装运行是否正确

通过使用运行容器的主机的IP地址连接到PMM Web界面来验证PMM服务器是否正在运行,然后在要监视的所有数据库主机上安装PMM Client

Component

URL

删除PMM服务器

在停止和删除PMM服务器之前,请确保相关的PMM客户端不通过删除所有监视的实例来收集任何数据,如删除监控服务中所述。

docker stop pmm-server && docker rm pmm-server

docker rm pmm-data # 删除pmm数据容器

升级PMM服务器

docker stop pmm-server # 先停

docker rm pmm-server # 再删,如果如要保留收集数据,不要执行此操作

docker run -d \

-p 999:80 \

--volumes-from pmm-data \

--name pmm-server \

--restart always \

--init \

percona/pmm-server:1.1.3

在Red Hat和CentOS上安装PMM客户端

PMM客户端是安装在您要监视的MySQL或MongoDB主机上的一组代理和出口商。 组件收集关于一般系统和数据库性能的各种数据,并将该数据发送到相应的PMM服务器组件。

注:不应该在具有相同主机名的数据库服务器上安装代理,因为PMM服务器使用主机名来标识收集的数据。

安装PMM客户端

PMM客户端应该运行在任何现代的Linux发行版上,但是Percona提供的PMM客户端软件包只能从最受欢迎的Linux发行版的软件仓库进行自动安装:

系统事先无percona的yum源,需要新增

sudo yum install https://www.percona.com/redir/downloads/percona-release/redhat/latest/percona-release-0.1-4.noarch.rpm

安装pmm-client软件包

sudo yum install pmm-client -y

将PMM客户端连接到PMM服务器

使用pmm-admin config --help,查看帮助

[root@backup-server ~]# sudo pmm-admin config --server 192.168.0.99:666

OK, PMM server is alive.

PMM Server | 192.168.0.99:666

Client Name | backup-server

Client Address | 192.168.0.47

开始数据收集

将客户端连接到PMM服务器后,通过添加监控服务,从数据库实例启用数据收集。

要启用一般系统度量,MySQL指标和查询分析,请运行:

管理PMM客户端

# 添加监控服务

pmm-admin add

# 检查PMM客户端和PMM服务器之间的网络连接。

pmm-admin check-network

# 配置PMM Client如何与PMM服务器通信。

pmm-admin config

# 打印任何命令和退出的帮助

pmm-admin help

# 打印有关PMM客户端的信息

pmm-admin info

# 出为此PMM客户端添加的所有监控服务

pmm-admin list

# 检查PMM服务器是否存活

pmm-admin ping

# 检查PMM服务器是否存活。

pmm-admin purge

# 清除PMM服务器上的度量数据

pmm-admin remove, pmm-admin rm

# 删除监控服务

pmm-admin repair

# 重启pmm

pmm-admin restart

# 打印PMM Client使用的密码

pmm-admin show-passwords

# 开启监控服务

pmm-admin start

# 停止监控服务

pmm-admin stop

# 在卸载之前清理PMM Client

pmm-admin uninstall

添加MySQL查询分析服务

默认情况下不存在初始的被pmm-client使用的mysql用户,需要自己创建,笔者是登录到mysql中创建的用户,感兴趣的同学可以使用pmm-admin提供的参数创建默认用户

GRANT ALL PRIVILEGES ON *.* TO 'pmm'@'192.168.0.47' IDENTIFIED BY 'pmmpassword';

# 创建用户成功

[root@backup-server ~]# sudo pmm-admin add mysql:metrics --user pmm --password pmmpassword --host 192.168.0.47

# 使用创建的用户添加监控mysql服务

OK, now monitoring MySQL metrics using DSN pmm:***@tcp(192.168.0.47:3306)

[root@backup-server ~]# sudo pmm-admin add mysql:queries --user pmm --password pmmpassword --host 192.168.0.47

查看当前服务器监控的服务

[root@backup-server ~]# pmm-admin list

pmm-admin 1.1.3

PMM Server | 192.168.0.99:666

Client Name | backup-server

Client Address | 192.168.0.47

Service Manager | unix-systemv

-------------- -------------- ----------- -------- ------------------------------- ------------------------------------------

SERVICE TYPE NAME LOCAL PORT RUNNING DATA SOURCE OPTIONS

-------------- -------------- ----------- -------- ------------------------------- ------------------------------------------

mysql:queries backup-server - YES pmm:***@tcp(192.168.0.47:3306) query_source=slowlog, query_examples=true

linux:metrics backup-server 42000 YES -

mysql:metrics backup-server 42002 YES pmm:***@tcp(192.168.0.47:3306) tablestats=OFF

报错排查

QAN API error: "qh.Profile: No query classes for selected instance and time range. Please check whether your MySQL settings match the recommended.".Check the /var/log/qan-api.log file in docker container for more information

# mysql 开启慢日志查询

yum install percona-toolkit -y # 建议安装

#

slow_query_log = 1

long_query_time = 2

# 重启mysql(mysql5.6)

/etc/init.d/mysql restart

cc4c42270442e8edeb29db4ae286948c.png

881e1ea686521b75063fb927ab85aaba.png

01f44de2b5baf7620d07e5e337fe52e2.png

后续补充监控MongoDB的教程。。。

这篇关于具前景的mysql数据监控平台_管理和监控MySQL和MongoDB性能的开源平台Percona的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/512523

相关文章

Vue3 的 shallowRef 和 shallowReactive:优化性能

大家对 Vue3 的 ref 和 reactive 都很熟悉,那么对 shallowRef 和 shallowReactive 是否了解呢? 在编程和数据结构中,“shallow”(浅层)通常指对数据结构的最外层进行操作,而不递归地处理其内部或嵌套的数据。这种处理方式关注的是数据结构的第一层属性或元素,而忽略更深层次的嵌套内容。 1. 浅层与深层的对比 1.1 浅层(Shallow) 定义

流媒体平台/视频监控/安防视频汇聚EasyCVR播放暂停后视频画面黑屏是什么原因?

视频智能分析/视频监控/安防监控综合管理系统EasyCVR视频汇聚融合平台,是TSINGSEE青犀视频垂直深耕音视频流媒体技术、AI智能技术领域的杰出成果。该平台以其强大的视频处理、汇聚与融合能力,在构建全栈视频监控系统中展现出了独特的优势。视频监控管理系统EasyCVR平台内置了强大的视频解码、转码、压缩等技术,能够处理多种视频流格式,并以多种格式(RTMP、RTSP、HTTP-FLV、WebS

大模型研发全揭秘:客服工单数据标注的完整攻略

在人工智能(AI)领域,数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者,掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中,工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注,不仅能够帮助提升客服自动化系统的智能化水平,还能优化客户服务流程,提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行

SQL中的外键约束

外键约束用于表示两张表中的指标连接关系。外键约束的作用主要有以下三点: 1.确保子表中的某个字段(外键)只能引用父表中的有效记录2.主表中的列被删除时,子表中的关联列也会被删除3.主表中的列更新时,子表中的关联元素也会被更新 子表中的元素指向主表 以下是一个外键约束的实例展示

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展,我们的业务数据越来越多,单纯使用 MySQL 已经不能满足我们的数据查询需求,例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后,随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步,我们目前的解决方案是建立数据中间表。把需要检索的业务数据,统一放到一张M

关于数据埋点,你需要了解这些基本知识

产品汪每天都在和数据打交道,你知道数据来自哪里吗? 移动app端内的用户行为数据大多来自埋点,了解一些埋点知识,能和数据分析师、技术侃大山,参与到前期的数据采集,更重要是让最终的埋点数据能为我所用,否则可怜巴巴等上几个月是常有的事。   埋点类型 根据埋点方式,可以区分为: 手动埋点半自动埋点全自动埋点 秉承“任何事物都有两面性”的道理:自动程度高的,能解决通用统计,便于统一化管理,但个性化定

如何去写一手好SQL

MySQL性能 最大数据量 抛开数据量和并发数,谈性能都是耍流氓。MySQL没有限制单表最大记录数,它取决于操作系统对文件大小的限制。 《阿里巴巴Java开发手册》提出单表行数超过500万行或者单表容量超过2GB,才推荐分库分表。性能由综合因素决定,抛开业务复杂度,影响程度依次是硬件配置、MySQL配置、数据表设计、索引优化。500万这个值仅供参考,并非铁律。 博主曾经操作过超过4亿行数据

性能测试介绍

性能测试是一种测试方法,旨在评估系统、应用程序或组件在现实场景中的性能表现和可靠性。它通常用于衡量系统在不同负载条件下的响应时间、吞吐量、资源利用率、稳定性和可扩展性等关键指标。 为什么要进行性能测试 通过性能测试,可以确定系统是否能够满足预期的性能要求,找出性能瓶颈和潜在的问题,并进行优化和调整。 发现性能瓶颈:性能测试可以帮助发现系统的性能瓶颈,即系统在高负载或高并发情况下可能出现的问题

使用SecondaryNameNode恢复NameNode的数据

1)需求: NameNode进程挂了并且存储的数据也丢失了,如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2)故障模拟 (1)kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 (2)删除NameNode存储的数据(/opt/module/hadoop-3.1.4/data/tmp/dfs/na

异构存储(冷热数据分离)

异构存储主要解决不同的数据,存储在不同类型的硬盘中,达到最佳性能的问题。 异构存储Shell操作 (1)查看当前有哪些存储策略可以用 [lytfly@hadoop102 hadoop-3.1.4]$ hdfs storagepolicies -listPolicies (2)为指定路径(数据存储目录)设置指定的存储策略 hdfs storagepolicies -setStoragePo