导出 CDH 中各组件（HDFS、Hive、Impala、Kafka、Kudu、YARN和Zookeeper）指标到 Prometheus

2024-05-04 00:20
文章标签 组件 导出 指标 hdfs hive zookeeper kafka prometheus yarn impala cdh kudu

本文主要是介绍导出 CDH 中各组件（HDFS、Hive、Impala、Kafka、Kudu、YARN和Zookeeper）指标到 Prometheus，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

文章目录

  • 前言
  • 一、提取准备
    • 1. 下载jmx
    • 2. 创建规则文件
  • 二、HDFS指标提取
    • 1. namenode指标提取
    • 2. datanode指标提取
  • 二、Hive指标提取
    • 1. Hive Metastore Server 指标提取
    • 2. HiveServer2 指标提取
  • 三、Impala 指标提取
    • 1. Impala Catalog Server 指标提取
    • 2. Impala Daemon 指标提取
  • 四、Kafka 指标提取
    • 1. Kafka Broker 指标提取
    • 2. Kafka MirrorMaker 指标提取
  • 五、KUDU指标提取
    • 1. Tablet Server 指标提取
      • 1.1 下载和解压
      • 1.2 修改配置文件
      • 1.3 启动和停止
        • 1.3.1 启动
        • 1.3.2 停止
        • 1.3.3 测试
    • 2. Master 指标提取
      • 2.1 创建配置文件和启动脚本
      • 2.2 修改配置文件
      • 2.3 修改启动脚本
      • 2.4 启动和停止
        • 2.4.1 启动
        • 2.4.2 停止
    • 3. Grafana模版下载
  • 六、YARN 指标提取
    • 1. ResourceManager 指标提取
    • 2. NodeManager 指标提取
  • 七、Zookeeper 指标提取
    • 1. Server 指标提取
  • 总结

前言

本教程介绍了如何提取大数据集群中不同组件的指标信息，涵盖了HDFS、Hive、Impala、Kafka、Kudu、YARN和Zookeeper等组件，通过配置环境变量以启用JMX监控，并展示了具体操作步骤和配置方法。

一、提取准备

1. 下载jmx

mkdir -p /opt/soft/jmx/config
wget https://repo1.maven.org/maven2/io/prometheus/jmx/jmx_prometheus_javaagent/0.18.0/jmx_prometheus_javaagent-0.18.0.jar -P /opt/soft/jmx/config/

2. 创建规则文件

echo "lowercaseOutputName: true
lowercaseOutputLabelNames: true
rules:- pattern: '.*'" > /opt/soft/jmx/config/common_conf.yml

二、HDFS指标提取

1. namenode指标提取

在Cloudera Manager的UI页面打开HDFS集群，点击配置，找到NameNode 环境高级配置代码段（安全阀），添加如下配置：

HADOOP_NAMENODE_OPTS=-Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.local.only=false -Dcom.sun.management.jmxremote.port=2870 -javaagent:/opt/soft/jmx/config/jmx_prometheus_javaagent-0.18.0.jar=10870:/opt/soft/jmx/config/common_conf.yml

2. datanode指标提取

在Cloudera Manager的UI页面打开HDFS集群，点击配置，找到DataNode 环境高级配置代码段（安全阀），添加如下配置：

HADOOP_DATANODE_OPTS=-Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.local.only=false -Dcom.sun.management.jmxremote.port=2864 -javaagent:/opt/soft/jmx/config/jmx_prometheus_javaagent-0.18.0.jar=10864:/opt/soft/jmx/config/common_conf.yml

配置之后需要重启HDFS服务使配置生效。

二、Hive指标提取

1. Hive Metastore Server 指标提取

在Cloudera Manager的UI页面打开Hive集群，点击配置，找到Hive Metastore Server 环境高级配置代码段（安全阀），添加如下配置：

HADOOP_OPTS=-Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.port=2083 -javaagent:/opt/soft/jmx/config/jmx_prometheus_javaagent-0.18.0.jar=10083:/opt/soft/jmx/config/common_conf.yml

2. HiveServer2 指标提取

在Cloudera Manager的UI页面打开Hive集群，点击配置，找到HiveServer2 环境高级配置代码段（安全阀），添加如下配置：

HADOOP_OPTS=-Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.port=2002 -javaagent:/opt/soft/jmx/config/jmx_prometheus_javaagent-0.18.0.jar=11002:/opt/soft/jmx/config/common_conf.yml

配置之后需要重启Hive服务使配置生效。

三、Impala 指标提取

1. Impala Catalog Server 指标提取

在Cloudera Manager的UI页面打开Impala集群，点击配置，找到Impala Catalog Server 环境高级配置代码段（安全阀），添加如下配置：

JAVA_TOOL_OPTIONS=-Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.port=2020 -javaagent:/opt/soft/jmx/config/jmx_prometheus_javaagent-0.18.0.jar=26020:/opt/soft/jmx/config/common_conf.yml

2. Impala Daemon 指标提取

在Cloudera Manager的UI页面打开Impala集群，点击配置，找到Impala Daemon 环境高级配置代码段（安全阀），添加如下配置：

JAVA_TOOL_OPTIONS=-Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.port=2000 -javaagent:/opt/soft/jmx/config/jmx_prometheus_javaagent-0.18.0.jar=26000:/opt/soft/jmx/config/common_conf.yml

配置之后需要重启Impala服务使配置生效。

参考链接：https://cwiki.apache.org/confluence/display/IMPALA/How+to+do+JVM+Profiling+for+Impala

四、Kafka 指标提取

1. Kafka Broker 指标提取

在Cloudera Manager的UI页面打开Kafka集群，点击配置，找到Kafka Broker 环境高级配置代码段（安全阀），添加如下配置：

KAFKA_JMX_OPTS=-Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.port=2092 -javaagent:/opt/soft/jmx/config/jmx_prometheus_javaagent-0.18.0.jar=10092:/opt/soft/jmx/config/common_conf.yml

2. Kafka MirrorMaker 指标提取

在Cloudera Manager的UI页面打开Kafka集群，点击配置，找到Kafka MirrorMaker 环境高级配置代码段（安全阀），添加如下配置：

KAFKA_JMX_OPTS=-Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.port=2192 -javaagent:/opt/soft/jmx/config/jmx_prometheus_javaagent-0.18.0.jar=20092:/opt/soft/jmx/config/common_conf.yml

配置之后需要重启Kafka服务使配置生效。

参考链接：https://docs.confluent.io/platform/current/kafka/monitoring.html

五、KUDU指标提取

1. Tablet Server 指标提取

1.1 下载和解压

wget https://github.com/leeeizhang/Prometheus-Kudu-Exporter/releases/download/v0.2.0/prometheus-kudu-exporter-binary-0.2.0.tar.gz -P /tmp
tar -zxvf /tmp/prometheus-kudu-exporter-binary-0.2.0.tar.gz -C /opt/soft/jmx/config/

1.2 修改配置文件

vim /opt/soft/jmx/config/prometheus-kudu-exporter/conf/kudu-exporter.yml

内容如下所示。

# Fetcher配置
# Kudu服务器的端口应该是8051,Kudu平板服务器应该是8050
prom.kudu.fetcher.classname: io.prometheus.kudu.fetcher.KuduMetricRestFetcher
prom.kudu.fetcher.kudu-nodes: [ host_ip:8050 ]
prom.kudu.fetcher.interval: 10000#单机报表配置
#启动后请访问http://localhost:9055/metrics查看kudu-export状态
prom.kudu.reporter.classname: io.prometheus.kudu.reporter.KuduMetricLocalReporter
prom.kudu.reporter.local.port: 9050# Push-Gateway 报表配置
# Push-Gateway应该在运行kudu-export之前安装
#prom.kudu.reporter.classname: io.prometheus.kudu.reporter.KuduMetricPushGatewayReporter
#prom.kudu.reporter.pushgateway.host: 127.0.0.1:9091
#prom.kudu.reporter.pushgateway.interval: 10000

1.3 启动和停止

1.3.1 启动
nohup /opt/soft/jmx/config/prometheus-kudu-exporter/bin/kudu-exporter.sh >/tmp/kudu-exporter.log 2>&1 &
1.3.2 停止

查看进程PID，然后停止对应进程。

ps -ef | grep prometheus-kudu-exporter

kill <PID>
1.3.3 测试
curl http://127.0.0.1:9050/metrics

2. Master 指标提取

2.1 创建配置文件和启动脚本

cd /opt/soft/jmx/config/prometheus-kudu-exporter/conf
cp kudu-exporter.yml kudu-exporter-master.yml
cd /opt/soft/jmx/config/prometheus-kudu-exporter/bin
cp kudu-exporter.sh kudu-exporter-master.sh

2.2 修改配置文件

cd /opt/soft/jmx/config/prometheus-kudu-exporter/conf
vim kudu-exporter-master.yml

内容如下所示。

# Fetcher配置
# Kudu服务器的端口应该是8051,Kudu平板服务器应该是8050
prom.kudu.fetcher.classname: io.prometheus.kudu.fetcher.KuduMetricRestFetcher
prom.kudu.fetcher.kudu-nodes: [ host_ip:8051 ]
prom.kudu.fetcher.interval: 10000#单机报表配置
#启动后请访问http://localhost:9055/metrics查看kudu-export状态
prom.kudu.reporter.classname: io.prometheus.kudu.reporter.KuduMetricLocalReporter
prom.kudu.reporter.local.port: 9051# Push-Gateway 报表配置
# Push-Gateway应该在运行kudu-export之前安装
#prom.kudu.reporter.classname: io.prometheus.kudu.reporter.KuduMetricPushGatewayReporter
#prom.kudu.reporter.pushgateway.host: 127.0.0.1:9091
#prom.kudu.reporter.pushgateway.interval: 10000

2.3 修改启动脚本

cd /opt/soft/jmx/config/prometheus-kudu-exporter/bin
vim kudu-exporter-master.sh

把启动脚本中PROMETHEUS_KUDU_EXPORTER_CONF="$PROMETHEUS_KUDU_EXPORTER_CONF_DIR"/kudu-exporter.yml修改为PROMETHEUS_KUDU_EXPORTER_CONF="$PROMETHEUS_KUDU_EXPORTER_CONF_DIR"/kudu-exporter-master.yml。

2.4 启动和停止

2.4.1 启动
nohup /opt/soft/jmx/config/prometheus-kudu-exporter/bin/kudu-exporter-master.sh >/tmp/kudu-exporter-master.log 2>&1 &
2.4.2 停止

查看进程PID，然后停止对应进程。

ps -ef | grep prometheus-kudu-exporter

kill <PID>

3. Grafana模版下载

点击下载KUDU指标JSON模版

六、YARN 指标提取

1. ResourceManager 指标提取

在Cloudera Manager的UI页面打开Kafka集群，点击配置，找到ResourceManager 环境高级配置代码段（安全阀），添加如下配置：

YARN_RESOURCEMANAGER_OPTS=-Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.port=2088 -javaagent:/opt/soft/jmx/config/jmx_prometheus_javaagent-0.18.0.jar=9088:/opt/soft/jmx/config/common_conf.yml

2. NodeManager 指标提取

在Cloudera Manager的UI页面打开Kafka集群，点击配置，找到NodeManager 环境高级配置代码段（安全阀），添加如下配置：

YARN_NODEMANAGER_OPTS=-Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.port=2042 -javaagent:/opt/soft/jmx/config/jmx_prometheus_javaagent-0.18.0.jar=9042:/opt/soft/jmx/config/common_conf.yml

配置之后需要重启YARN服务使配置生效。

参考链接：https://community.cloudera.com/t5/Community-Articles/Enable-JMX-metrics-on-hadoop-using-jmxterm/ta-p/247783

七、Zookeeper 指标提取

1. Server 指标提取

在Cloudera Manager的UI页面打开Kafka集群，点击配置，找到Server 环境高级配置代码段（安全阀），添加如下配置：

ZOOKEEPER_SERVER_OPTS=-Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.port=9010 -javaagent:/opt/soft/jmx/config/jmx_prometheus_javaagent-0.18.0.jar=3181:/opt/soft/jmx/config/common_conf.yml

总结

本教程详细介绍了如何使用JMX Prometheus Exporter工具来提取各个大数据组件的指标信息，并将其暴露给Prometheus进行监控。通过学习本教程，您可以轻松设置并收集这些指标数据，并利用可视化工具展示和分析它们。

希望本教程对您有所帮助！如有任何疑问或问题，请随时在评论区留言。感谢阅读！

这篇关于导出 CDH 中各组件（HDFS、Hive、Impala、Kafka、Kudu、YARN和Zookeeper）指标到 Prometheus的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/957973。

相关文章

JS常用组件收集

JS常用组件收集

收集了一些平时遇到的前端比较优秀的组件，方便以后开发的时候查找！！！ 函数工具： Lodash 页面固定： stickUp、jQuery.Pin 轮播： unslider、swiper 开关: switch 复选框： icheck 气泡： grumble 隐藏元素： Headroom
阅读更多...
Zookeeper安装和配置说明

Zookeeper安装和配置说明

一、Zookeeper的搭建方式 Zookeeper安装方式有三种，单机模式和集群模式以及伪集群模式。 ■ 单机模式：Zookeeper只运行在一台服务器上，适合测试环境； ■ 伪集群模式：就是在一台物理机上运行多个Zookeeper 实例； ■ 集群模式：Zookeeper运行于一个集群上，适合生产环境，这个计算机集群被称为一个“集合体”（ensemble） Zookeeper通过复制来实现
阅读更多...
HDFS—存储优化（纠删码）

HDFS—存储优化（纠删码）

纠删码原理 HDFS 默认情况下，一个文件有3个副本，这样提高了数据的可靠性，但也带来了2倍的冗余开销。 Hadoop3.x 引入了纠删码，采用计算的方式，可以节省约50％左右的存储空间。 此种方式节约了空间，但是会增加 cpu 的计算。 纠删码策略是给具体一个路径设置。所有往此路径下存储的文件，都会执行此策略。 默认只开启对 RS-6-3-1024k
阅读更多...
HDFS—集群扩容及缩容

HDFS—集群扩容及缩容

白名单：表示在白名单的主机IP地址可以，用来存储数据。 配置白名单步骤如下： 1）在NameNode节点的/opt/module/hadoop-3.1.4/etc/hadoop目录下分别创建whitelist 和blacklist文件 （1）创建白名单 [lytfly@hadoop102 hadoop]$ vim whitelist 在whitelist中添加如下主机名称，假如集群正常工作的节
阅读更多...
【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

【Prometheus】PromQL向量匹配实现不同标签的向量数据进行运算

✨✨ 欢迎大家来到景天科技苑✨✨ 🎈🎈 养成好习惯，先赞后看哦~🎈🎈 🏆 作者简介：景天科技苑 🏆《头衔》：大厂架构师，华为云开发者社区专家博主，阿里云开发者社区专家博主，CSDN全栈领域优质创作者，掘金优秀博主，51CTO博客专家等。 🏆《博客》：Python全栈，前后端开发，小程序开发，人工智能，js逆向，App逆向，网络系统安全，数据分析，Django，fastapi
阅读更多...
如何在页面调用utility bar并传递参数至lwc组件

如何在页面调用utility bar并传递参数至lwc组件

1.在app的utility item中添加lwc组件： 2.调用utility bar api的方式有两种： 方法一，通过lwc调用： import {LightningElement,api ,wire } from 'lwc';import { publish, MessageContext } from 'lightning/messageService';import Ca
阅读更多...
搭建Kafka+zookeeper集群调度

搭建Kafka+zookeeper集群调度

前言 硬件环境 172.18.0.5        kafkazk1        Kafka+zookeeper                Kafka Broker集群 172.18.0.6        kafkazk2        Kafka+zookeeper                Kafka Broker集群 172.18.0.7        kafkazk3
阅读更多...
ZooKeeper 中的 Curator 框架解析

ZooKeeper 中的 Curator 框架解析

Apache ZooKeeper 是一个为分布式应用提供一致性服务的软件。它提供了诸如配置管理、分布式同步、组服务等功能。在使用 ZooKeeper 时，Curator 是一个非常流行的客户端库，它简化了 ZooKeeper 的使用，提供了高级的抽象和丰富的工具。本文将详细介绍 Curator 框架，包括它的设计哲学、核心组件以及如何使用 Curator 来简化 ZooKeeper 的操作。 1
阅读更多...
vue2 组件通信

vue2 组件通信

props + emits props:用于接收父组件传递给子组件的数据。可以定义期望从父组件接收的数据结构和类型。‘子组件不可更改该数据’emits:用于定义组件可以向父组件发出的事件。这允许父组件监听子组件的事件并作出响应。(比如数据更新) props检查属性 属性名类型描述默认值typeFunction指定 prop 应该是什么类型，如 String, Number, Boolean,
阅读更多...
kubelet组件的启动流程源码分析

kubelet组件的启动流程源码分析

概述 摘要: 本文将总结kubelet的作用以及原理，在有一定基础认识的前提下，通过阅读kubelet源码，对kubelet组件的启动流程进行分析。 正文 kubelet的作用 这里对kubelet的作用做一个简单总结。 节点管理 节点的注册 节点状态更新 容器管理(pod生命周期管理) 监听apiserver的容器事件 容器的创建、删除(CRI) 容器的网络的创建与删除
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2