导出 CDH 中各组件（HDFS、Hive、Impala、Kafka、Kudu、YARN和Zookeeper）指标到 Prometheus

2024-05-04 00:20
文章标签 组件 导出 指标 hdfs hive zookeeper kafka prometheus yarn impala cdh kudu

本文主要是介绍导出 CDH 中各组件（HDFS、Hive、Impala、Kafka、Kudu、YARN和Zookeeper）指标到 Prometheus，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

文章目录

  • 前言
  • 一、提取准备
    • 1. 下载jmx
    • 2. 创建规则文件
  • 二、HDFS指标提取
    • 1. namenode指标提取
    • 2. datanode指标提取
  • 二、Hive指标提取
    • 1. Hive Metastore Server 指标提取
    • 2. HiveServer2 指标提取
  • 三、Impala 指标提取
    • 1. Impala Catalog Server 指标提取
    • 2. Impala Daemon 指标提取
  • 四、Kafka 指标提取
    • 1. Kafka Broker 指标提取
    • 2. Kafka MirrorMaker 指标提取
  • 五、KUDU指标提取
    • 1. Tablet Server 指标提取
      • 1.1 下载和解压
      • 1.2 修改配置文件
      • 1.3 启动和停止
        • 1.3.1 启动
        • 1.3.2 停止
        • 1.3.3 测试
    • 2. Master 指标提取
      • 2.1 创建配置文件和启动脚本
      • 2.2 修改配置文件
      • 2.3 修改启动脚本
      • 2.4 启动和停止
        • 2.4.1 启动
        • 2.4.2 停止
    • 3. Grafana模版下载
  • 六、YARN 指标提取
    • 1. ResourceManager 指标提取
    • 2. NodeManager 指标提取
  • 七、Zookeeper 指标提取
    • 1. Server 指标提取
  • 总结

前言

本教程介绍了如何提取大数据集群中不同组件的指标信息，涵盖了HDFS、Hive、Impala、Kafka、Kudu、YARN和Zookeeper等组件，通过配置环境变量以启用JMX监控，并展示了具体操作步骤和配置方法。

一、提取准备

1. 下载jmx

mkdir -p /opt/soft/jmx/config
wget https://repo1.maven.org/maven2/io/prometheus/jmx/jmx_prometheus_javaagent/0.18.0/jmx_prometheus_javaagent-0.18.0.jar -P /opt/soft/jmx/config/

2. 创建规则文件

echo "lowercaseOutputName: true
lowercaseOutputLabelNames: true
rules:- pattern: '.*'" > /opt/soft/jmx/config/common_conf.yml

二、HDFS指标提取

1. namenode指标提取

在Cloudera Manager的UI页面打开HDFS集群，点击配置，找到NameNode 环境高级配置代码段（安全阀），添加如下配置：

HADOOP_NAMENODE_OPTS=-Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.local.only=false -Dcom.sun.management.jmxremote.port=2870 -javaagent:/opt/soft/jmx/config/jmx_prometheus_javaagent-0.18.0.jar=10870:/opt/soft/jmx/config/common_conf.yml

2. datanode指标提取

在Cloudera Manager的UI页面打开HDFS集群，点击配置，找到DataNode 环境高级配置代码段（安全阀），添加如下配置：

HADOOP_DATANODE_OPTS=-Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.local.only=false -Dcom.sun.management.jmxremote.port=2864 -javaagent:/opt/soft/jmx/config/jmx_prometheus_javaagent-0.18.0.jar=10864:/opt/soft/jmx/config/common_conf.yml

配置之后需要重启HDFS服务使配置生效。

二、Hive指标提取

1. Hive Metastore Server 指标提取

在Cloudera Manager的UI页面打开Hive集群，点击配置，找到Hive Metastore Server 环境高级配置代码段（安全阀），添加如下配置：

HADOOP_OPTS=-Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.port=2083 -javaagent:/opt/soft/jmx/config/jmx_prometheus_javaagent-0.18.0.jar=10083:/opt/soft/jmx/config/common_conf.yml

2. HiveServer2 指标提取

在Cloudera Manager的UI页面打开Hive集群，点击配置，找到HiveServer2 环境高级配置代码段（安全阀），添加如下配置：

HADOOP_OPTS=-Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.port=2002 -javaagent:/opt/soft/jmx/config/jmx_prometheus_javaagent-0.18.0.jar=11002:/opt/soft/jmx/config/common_conf.yml

配置之后需要重启Hive服务使配置生效。

三、Impala 指标提取

1. Impala Catalog Server 指标提取

在Cloudera Manager的UI页面打开Impala集群，点击配置，找到Impala Catalog Server 环境高级配置代码段（安全阀），添加如下配置：

JAVA_TOOL_OPTIONS=-Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.port=2020 -javaagent:/opt/soft/jmx/config/jmx_prometheus_javaagent-0.18.0.jar=26020:/opt/soft/jmx/config/common_conf.yml

2. Impala Daemon 指标提取

在Cloudera Manager的UI页面打开Impala集群，点击配置，找到Impala Daemon 环境高级配置代码段（安全阀），添加如下配置：

JAVA_TOOL_OPTIONS=-Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.port=2000 -javaagent:/opt/soft/jmx/config/jmx_prometheus_javaagent-0.18.0.jar=26000:/opt/soft/jmx/config/common_conf.yml

配置之后需要重启Impala服务使配置生效。

参考链接：https://cwiki.apache.org/confluence/display/IMPALA/How+to+do+JVM+Profiling+for+Impala

四、Kafka 指标提取

1. Kafka Broker 指标提取

在Cloudera Manager的UI页面打开Kafka集群，点击配置，找到Kafka Broker 环境高级配置代码段（安全阀），添加如下配置：

KAFKA_JMX_OPTS=-Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.port=2092 -javaagent:/opt/soft/jmx/config/jmx_prometheus_javaagent-0.18.0.jar=10092:/opt/soft/jmx/config/common_conf.yml

2. Kafka MirrorMaker 指标提取

在Cloudera Manager的UI页面打开Kafka集群，点击配置，找到Kafka MirrorMaker 环境高级配置代码段（安全阀），添加如下配置：

KAFKA_JMX_OPTS=-Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.port=2192 -javaagent:/opt/soft/jmx/config/jmx_prometheus_javaagent-0.18.0.jar=20092:/opt/soft/jmx/config/common_conf.yml

配置之后需要重启Kafka服务使配置生效。

参考链接：https://docs.confluent.io/platform/current/kafka/monitoring.html

五、KUDU指标提取

1. Tablet Server 指标提取

1.1 下载和解压

wget https://github.com/leeeizhang/Prometheus-Kudu-Exporter/releases/download/v0.2.0/prometheus-kudu-exporter-binary-0.2.0.tar.gz -P /tmp
tar -zxvf /tmp/prometheus-kudu-exporter-binary-0.2.0.tar.gz -C /opt/soft/jmx/config/

1.2 修改配置文件

vim /opt/soft/jmx/config/prometheus-kudu-exporter/conf/kudu-exporter.yml

内容如下所示。

# Fetcher配置
# Kudu服务器的端口应该是8051,Kudu平板服务器应该是8050
prom.kudu.fetcher.classname: io.prometheus.kudu.fetcher.KuduMetricRestFetcher
prom.kudu.fetcher.kudu-nodes: [ host_ip:8050 ]
prom.kudu.fetcher.interval: 10000#单机报表配置
#启动后请访问http://localhost:9055/metrics查看kudu-export状态
prom.kudu.reporter.classname: io.prometheus.kudu.reporter.KuduMetricLocalReporter
prom.kudu.reporter.local.port: 9050# Push-Gateway 报表配置
# Push-Gateway应该在运行kudu-export之前安装
#prom.kudu.reporter.classname: io.prometheus.kudu.reporter.KuduMetricPushGatewayReporter
#prom.kudu.reporter.pushgateway.host: 127.0.0.1:9091
#prom.kudu.reporter.pushgateway.interval: 10000

1.3 启动和停止

1.3.1 启动
nohup /opt/soft/jmx/config/prometheus-kudu-exporter/bin/kudu-exporter.sh >/tmp/kudu-exporter.log 2>&1 &
1.3.2 停止

查看进程PID，然后停止对应进程。

ps -ef | grep prometheus-kudu-exporter

kill <PID>
1.3.3 测试
curl http://127.0.0.1:9050/metrics

2. Master 指标提取

2.1 创建配置文件和启动脚本

cd /opt/soft/jmx/config/prometheus-kudu-exporter/conf
cp kudu-exporter.yml kudu-exporter-master.yml
cd /opt/soft/jmx/config/prometheus-kudu-exporter/bin
cp kudu-exporter.sh kudu-exporter-master.sh

2.2 修改配置文件

cd /opt/soft/jmx/config/prometheus-kudu-exporter/conf
vim kudu-exporter-master.yml

内容如下所示。

# Fetcher配置
# Kudu服务器的端口应该是8051,Kudu平板服务器应该是8050
prom.kudu.fetcher.classname: io.prometheus.kudu.fetcher.KuduMetricRestFetcher
prom.kudu.fetcher.kudu-nodes: [ host_ip:8051 ]
prom.kudu.fetcher.interval: 10000#单机报表配置
#启动后请访问http://localhost:9055/metrics查看kudu-export状态
prom.kudu.reporter.classname: io.prometheus.kudu.reporter.KuduMetricLocalReporter
prom.kudu.reporter.local.port: 9051# Push-Gateway 报表配置
# Push-Gateway应该在运行kudu-export之前安装
#prom.kudu.reporter.classname: io.prometheus.kudu.reporter.KuduMetricPushGatewayReporter
#prom.kudu.reporter.pushgateway.host: 127.0.0.1:9091
#prom.kudu.reporter.pushgateway.interval: 10000

2.3 修改启动脚本

cd /opt/soft/jmx/config/prometheus-kudu-exporter/bin
vim kudu-exporter-master.sh

把启动脚本中PROMETHEUS_KUDU_EXPORTER_CONF="$PROMETHEUS_KUDU_EXPORTER_CONF_DIR"/kudu-exporter.yml修改为PROMETHEUS_KUDU_EXPORTER_CONF="$PROMETHEUS_KUDU_EXPORTER_CONF_DIR"/kudu-exporter-master.yml。

2.4 启动和停止

2.4.1 启动
nohup /opt/soft/jmx/config/prometheus-kudu-exporter/bin/kudu-exporter-master.sh >/tmp/kudu-exporter-master.log 2>&1 &
2.4.2 停止

查看进程PID，然后停止对应进程。

ps -ef | grep prometheus-kudu-exporter

kill <PID>

3. Grafana模版下载

点击下载KUDU指标JSON模版

六、YARN 指标提取

1. ResourceManager 指标提取

在Cloudera Manager的UI页面打开Kafka集群，点击配置，找到ResourceManager 环境高级配置代码段（安全阀），添加如下配置：

YARN_RESOURCEMANAGER_OPTS=-Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.port=2088 -javaagent:/opt/soft/jmx/config/jmx_prometheus_javaagent-0.18.0.jar=9088:/opt/soft/jmx/config/common_conf.yml

2. NodeManager 指标提取

在Cloudera Manager的UI页面打开Kafka集群，点击配置，找到NodeManager 环境高级配置代码段（安全阀），添加如下配置：

YARN_NODEMANAGER_OPTS=-Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.port=2042 -javaagent:/opt/soft/jmx/config/jmx_prometheus_javaagent-0.18.0.jar=9042:/opt/soft/jmx/config/common_conf.yml

配置之后需要重启YARN服务使配置生效。

参考链接：https://community.cloudera.com/t5/Community-Articles/Enable-JMX-metrics-on-hadoop-using-jmxterm/ta-p/247783

七、Zookeeper 指标提取

1. Server 指标提取

在Cloudera Manager的UI页面打开Kafka集群，点击配置，找到Server 环境高级配置代码段（安全阀），添加如下配置：

ZOOKEEPER_SERVER_OPTS=-Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.port=9010 -javaagent:/opt/soft/jmx/config/jmx_prometheus_javaagent-0.18.0.jar=3181:/opt/soft/jmx/config/common_conf.yml

总结

本教程详细介绍了如何使用JMX Prometheus Exporter工具来提取各个大数据组件的指标信息，并将其暴露给Prometheus进行监控。通过学习本教程，您可以轻松设置并收集这些指标数据，并利用可视化工具展示和分析它们。

希望本教程对您有所帮助！如有任何疑问或问题，请随时在评论区留言。感谢阅读！

这篇关于导出 CDH 中各组件（HDFS、Hive、Impala、Kafka、Kudu、YARN和Zookeeper）指标到 Prometheus的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/957973。

相关文章

Prometheus+cpolar如何在手机上也能监控服务器状态？

Prometheus+cpolar如何在手机上也能监控服务器状态？

《Prometheus+cpolar如何在手机上也能监控服务器状态？》本文强调了通过Cpolar这一内网穿透工具,轻松突破Prometheus仅限于局域网访问的限制,实现外网随时随地访问监控数据,教你... 目录前言1.安装prometheus2.安装cpolar实现随时随地开发3.配置公网地址4.保留固定
阅读更多...
JavaWeb 中的 Filter组件详解

JavaWeb 中的 Filter组件详解

《JavaWeb中的Filter组件详解》本文详细介绍了JavaWeb中的Filter组件,包括其基本概念、工作原理、核心接口和类、配置方式以及常见应用示例,Filter可以实现请求预处理、响应后... 目录JavaWeb 中的 Filter 详解1. Filter 基本概念1.1 什么是 Filter1.
阅读更多...
SpringBoot整合Kafka启动失败的常见错误问题总结(推荐)

SpringBoot整合Kafka启动失败的常见错误问题总结(推荐)

《SpringBoot整合Kafka启动失败的常见错误问题总结(推荐)》本文总结了SpringBoot项目整合Kafka启动失败的常见错误,包括Kafka服务器连接问题、序列化配置错误、依赖配置问题、... 目录一、Kafka服务器连接问题1. Kafka服务器无法连接2. 开发环境与生产环境网络不通二、序
阅读更多...
2025最新版Android Studio安装及组件配置教程(SDK、JDK、Gradle)

2025最新版Android Studio安装及组件配置教程(SDK、JDK、Gradle)

《2025最新版AndroidStudio安装及组件配置教程(SDK、JDK、Gradle)》：本文主要介绍2025最新版AndroidStudio安装及组件配置(SDK、JDK、Gradle... 目录原生 android 简介Android Studio必备组件一、Android Studio安装二、A
阅读更多...
使用C#导出Excel数据并保存多种格式的完整示例

使用C#导出Excel数据并保存多种格式的完整示例

《使用C#导出Excel数据并保存多种格式的完整示例》在现代企业信息化管理中,Excel已经成为最常用的数据存储和分析工具,从员工信息表、销售数据报表到财务分析表,几乎所有部门都离不开Excel,本文... 目录引言1. 安装 Spire.XLS2. 创建工作簿和填充数据3. 保存为不同格式4. 效果展示5
阅读更多...
前端Visual Studio Code安装配置教程之下载、汉化、常用组件及基本操作

前端Visual Studio Code安装配置教程之下载、汉化、常用组件及基本操作

《前端VisualStudioCode安装配置教程之下载、汉化、常用组件及基本操作》VisualStudioCode是微软推出的一个强大的代码编辑器,功能强大,操作简单便捷,还有着良好的用户界面,... 目录一、Visual Studio Code下载二、汉化三、常用组件1、Auto Rename Tag2
阅读更多...
kafka自定义分区器使用详解

kafka自定义分区器使用详解

《kafka自定义分区器使用详解》本文介绍了如何根据企业需求自定义Kafka分区器,只需实现Partitioner接口并重写partition()方法,示例中,包含cuihaida的数据发送到0号分区... 目录kafka自定义分区器假设现在有一个需求使用分区器的方法总结kafka自定义分区器根据企业需求
阅读更多...
Vue3视频播放组件 vue3-video-play使用方式

Vue3视频播放组件 vue3-video-play使用方式

《Vue3视频播放组件vue3-video-play使用方式》vue3-video-play是Vue3的视频播放组件,基于原生video标签开发,支持MP4和HLS流,提供全局/局部引入方式,可监听... 目录一、安装二、全局引入三、局部引入四、基本使用五、事件监听六、播放 HLS 流七、更多功能总结在 v
阅读更多...
使用EasyPoi快速导出Word文档功能的实现步骤

使用EasyPoi快速导出Word文档功能的实现步骤

《使用EasyPoi快速导出Word文档功能的实现步骤》EasyPoi是一个基于ApachePOI的开源Java工具库,旨在简化Excel和Word文档的操作,本文将详细介绍如何使用EasyPoi快速... 目录一、准备工作1、引入依赖二、准备好一个word模版文件三、编写导出方法的工具类四、在Export
阅读更多...
前端导出Excel文件出现乱码或文件损坏问题的解决办法

前端导出Excel文件出现乱码或文件损坏问题的解决办法

《前端导出Excel文件出现乱码或文件损坏问题的解决办法》在现代网页应用程序中,前端有时需要与后端进行数据交互,包括下载文件,：本文主要介绍前端导出Excel文件出现乱码或文件损坏问题的解决办法,... 目录1. 检查后端返回的数据格式2. 前端正确处理二进制数据方案 1：直接下载（推荐）方案 2：手动构造
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2