Ranger安装部署 - 扩展组件安装

2023-12-21 17:18
文章标签 部署 安装 组件 扩展 ranger

本文主要是介绍Ranger安装部署 - 扩展组件安装，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

1. ranger-hdfs plugin安装

1.1 安装ranger hdfs plugin软件包

# pwd
/opt/app/ranger-release-ranger-1.2.0/target
# tar -zxvf ranger-1.2.0-hdfs-plugin.tar.gz

1.2 修改install.properties文件

# pwd
/home/redpeak/app/ranger-release-ranger-1.2.0/target/ranger-1.2.0-hdfs-plugin
# vim install.properties配置ranger admin的地址
POLICY_MGR_URL = http://localhost:6080配置hdfs的仓库名
REPOSITORY_NAME=hadoopdev配置hadoop组件的HADOOP_HOME
COMPONENT_INSTALL_DIR_NAME=/opt/app/hadoop-2.7.3配置hdfs的审计日志
XAAUDIT.SOLR.ENABLE=true
XAAUDIT.SOLR.URL=http://node1:6083/solr/ranger_audits
XAAUDIT.SOLR.USER=NONE
XAAUDIT.SOLR.PASSWORD=NONE
XAAUDIT.SOLR.ZOOKEEPER=node1:2181,node2:2181,node3:2181/ranger_audits
XAAUDIT.SOLR.FILE_SPOOL_DIR=/var/log/hadoop/hdfs/audit/solr/spool配置ranger-hdfs-plugin的所属用户、用户组
CUSTOM_USER=hdfs
CUSTOM_GROUP=hadoop

1.3 使hdfs-plugin生效

# pwd
/opt/app/apache-ranger-1.2.0/target/ranger-1.2.0-hdfs-plugin
# ./enable-hdfs-plugin.sh

　　结果如下：

1.4 启动hdfs

　　注：这里是ha高可用模式下的hdfs，

bridge1上启动hdfs和zkfc
[root@bridge1 ranger-1.2.0-hdfs-plugin]# start-dfs.sh
[root@bridge1 ranger-1.2.0-hdfs-plugin]# hadoop-daemon.sh start zkfcbridge2上启动zkfc
(base) [root@bridge2 scripts]# hadoop-daemon.sh start zkfc

　　若hdfs已启动，则需要重启

[root@bridge1 ranger-1.2.0-hdfs-plugin]# stop-dfs.sh
[root@bridge1 ranger-1.2.0-hdfs-plugin]# start-dfs.sh

1.5 新建hdfs组件服务

　　在 Ranger UI 页面添加 HDFS Service。

　　

  • 标准集群

　　如果您创建的是标准集群（可到详情页面查看安全模式），请参考下图进行配置：

　　

  • 高安全集群

　　如果您创建的是高安全集群（可到详情页面查看安全模式），请参考下图进行配置：

　　

　　

 　　测试hdfs插件是否正常

　　

1.6 权限配置示例

　　上面一节中已经将 Ranger 集成到 HDFS，现在可以进行相关的权限设置。例如给用户 test 授予 /user/foo路径的写/执行权限：

　　

 　　单击上图中的 emr-hdfs 进入配置页面，配置相关权限。

　　

 

 　　按照上述步骤设置添加一个 Policy 后，就实现了对 test 的授权，然后用户 test 就可以对 /user/foo 的 HDFS 路径进行访问了。

　　注： 添加 Policy 默认1 分钟左右，HDFS 才会生效。

2. ranger-yarn plugin安装

2.1 安装ranger-yarn-plugin软件包

# pwd
/optapp/ranger-release-ranger-1.2.0/target
# tar -zxvf ranger-1.2.0-yarn-plugin.tar.gz

2.2 修改install.properties文件

# pwd
/home/redpeak/app/ranger-release-ranger-1.2.0/target/ranger-1.2.0-yarn-plugin
# vim install.properties配置ranger admin的地址
POLICY_MGR_URL = http://localhost:6080配置yarn的仓库名
REPOSITORY_NAME=yarndev配置hadoop组件的HADOOP_HOME
COMPONENT_INSTALL_DIR_NAME=/opt/app/hadoop-2.7.3配置yarn的审计日志
XAAUDIT.SOLR.ENABLE=true
XAAUDIT.SOLR.URL=http://node1:6083/solr/ranger_audits
XAAUDIT.SOLR.USER=NONE
XAAUDIT.SOLR.PASSWORD=NONE
XAAUDIT.SOLR.ZOOKEEPER=node1:2181,node2:2181,node3:2181/ranger_audits
XAAUDIT.SOLR.FILE_SPOOL_DIR=/var/log/hadoop/yarn/audit/solr/spool配置ranger-yarn-plugin的所属用户、用户组
CUSTOM_USER=yarn
CUSTOM_GROUP=hadoop

2.3 使yarn-plugin生效

# pwd
/opt/app/apache-ranger-1.2.0/target/ranger-1.2.0-yarn-plugin
# ./enable-yarn-plugin.sh

2.4 重启yarn

# stop-yarn.sh
# start-yarn.sh

2.5 新建yarn组件服务

 　　登录 Ranger 管理界面，点击 +

　　 

 

 　　配置yarn组件服务，下图的service name要与ranger-yarn-plugin的install.properties配置的REPOSITORY_NAME值要一致。

  • 标准集群

　　如果创建的是标准集群，请参考下图进行配置

　　

 

  •  高安全集群

　　如果创建的是高安全集群，请参考下图进行配置

　　

2.6 权限配置示例

　　如下图所示，点击创建好的 yarn service，进入 policy 配置管理页，即可配置相关策略。

 

　　点击 “Add New Policy” 创建新的策略

 

 配置新的策略，如下，yarn上的队列Queue默认为root.default，以此为例，允许root用户在队列root.default上提交，拒绝hadoop用户在队列root.default上提交

 

 接着配置拒绝hadoop用户提交的设置，最后点击保存

 

 

注：策略大概会30秒后生效

3. ranger-hive plugin安装

3.1 安装ranger-hive-plugin软件包

# pwd
/opt/app/ranger-release-ranger-1.2.0/target
# tar -zxvf ranger-1.2.0-hive-plugin.tar.gz

3.2 修改install.properties文件

# pwd
/home/redpeak/app/ranger-release-ranger-1.2.0/target/ranger-1.2.0-hive-plugin
# vim install.properties配置ranger admin的地址
POLICY_MGR_URL = http://localhost:6080配置hive的仓库名
REPOSITORY_NAME=hivedev配置hive组件的HIVE_HOME
COMPONENT_INSTALL_DIR_NAME=/opt/app/apache-hive-2.3.6-bin配置hive的审计日志
XAAUDIT.SOLR.ENABLE=true
XAAUDIT.SOLR.URL=http://node1:6083/solr/ranger_audits
XAAUDIT.SOLR.USER=NONE
XAAUDIT.SOLR.PASSWORD=NONE
XAAUDIT.SOLR.ZOOKEEPER=node1:2181,node2:2181,node3:2181/ranger_audits
XAAUDIT.SOLR.FILE_SPOOL_DIR=/var/log/hadoop/hive/audit/solr/spool配置ranger-hive-plugin的所属用户、用户组
CUSTOM_USER=hive
CUSTOM_GROUP=hadoop

3.3 使hive-plugin生效

# pwd
/opt/app/apache-ranger-1.2.0/target/ranger-1.2.0-hive-plugin
# ./enable-hive-plugin.sh

3.4 重启hiveserver2或者hive cli

# cd /opt/app/apache-hive-2.3.6-bin/bin
# ./hiveserver2
或者
# ./hive

3.5 新建hive组件服务

 　　登录 Ranger 管理界面，点击 +

 

配置hive组件服务，下图的service name要与ranger-hive-plugin的install.properties配置的REPOSITORY_NAME值要一致。

 

3.6 hive权限配置示例

如下图所示，点击创建好的 hive service，进入 policy 配置管理页，即可配置相关策略。

3.6.1 hive访问权限配置示例

 

 配置新的策略，如下。这里hive提供10种控制权限，其中read,write不可用。目前支持的命令为index，lock，select，update，create，drop，alter，all。all表示所有命令。

 

 

接着配置拒绝hadoop用户的操作命令，最后点击保存

3.6.2 hive列脱敏配置示例

 

 

配置新的脱敏策略，如下：

 

 

列屏蔽允许Ranger为用户配置列的mask策略。mask支持以下8种策略:

  • Redact策略 - 用x屏蔽所有字母字符，用n屏蔽所有数字字符。
  • Partial mask: show last 4 策略 - 仅显示最后四个字符,其他用x代替。
  • Partial mask: show first 4 策略- 仅显示前四个字符,其他用x代替。
  • Hash策略- 用值的哈希值替换原值。
  • Nullify策略 - 用NULL值替换原值。
  • Unmasked (retain original value)策略 - 原样显示。
  • Date: show only year策略 – 仅显示日期字符串的年份部分，并将月份和日期默认为01/01。
  • Custom策略 – 可使用任何有效Hive UDF(返回与被屏蔽的列中的数据类型相同的数据类型)来自定义策略。

3.6.3 hive列过滤配置示例

 

 

添加新的列过滤策略，如下：

 

 

字段过滤红框值为： 列名 + “要过滤的内容”

一般格式为：

  • 等于：列名=“要过滤的内容”
  • 不等于：列名<>“要过滤的内容”

总结

【参考资料】

https://www.cnblogs.com/taojietaoge/p/10808534.html

https://help.aliyun.com/document_detail/66411.html?spm=a2c4g.11186623.6.786.722e4f2caDRDFt

https://cloud.baidu.com/doc/BMR/s/Jjwvxvdh7

https://blog.csdn.net/sudaxhh/article/details/52334652

https://www.jianshu.com/p/203efa603e25 Ranger集成KMS服务

https://blog.csdn.net/lsshlsw/article/details/103930388 Apache Ranger KMS 部署文档

https://www.iteye.com/blog/kingding-2422915  ranger权限管理、rang kms 秘钥管理、kerberos认证服务整合应用

https://blog.csdn.net/qq_35440040/article/details/78780473 Hadoop KMS 透明加密配置以及测试

https://www.cnblogs.com/felixzh/p/10523067.html Ranger-Kafka插件安装

 https://blog.csdn.net/Happy_Sunshine_Boy/article/details/102513629 

 

这篇关于Ranger安装部署 - 扩展组件安装的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/520842。

相关文章

闲置电脑也能活出第二春？鲁大师AiNAS让你动动手指就能轻松部署

闲置电脑也能活出第二春？鲁大师AiNAS让你动动手指就能轻松部署

对于大多数人而言，在这个“数据爆炸”的时代或多或少都遇到过存储告急的情况，这使得“存储焦虑”不再是个别现象，而将会是随着软件的不断臃肿而越来越普遍的情况。从不少手机厂商都开始将存储上限提升至1TB可以见得，我们似乎正处在互联网信息飞速增长的阶段，对于存储的需求也将会不断扩大。对于苹果用户而言，这一问题愈发严峻，毕竟512GB和1TB版本的iPhone可不是人人都消费得起的，因此成熟的外置存储方案开
阅读更多...
JS常用组件收集

JS常用组件收集

收集了一些平时遇到的前端比较优秀的组件，方便以后开发的时候查找！！！ 函数工具： Lodash 页面固定： stickUp、jQuery.Pin 轮播： unslider、swiper 开关: switch 复选框： icheck 气泡： grumble 隐藏元素： Headroom
阅读更多...
Zookeeper安装和配置说明

Zookeeper安装和配置说明

一、Zookeeper的搭建方式 Zookeeper安装方式有三种，单机模式和集群模式以及伪集群模式。 ■ 单机模式：Zookeeper只运行在一台服务器上，适合测试环境； ■ 伪集群模式：就是在一台物理机上运行多个Zookeeper 实例； ■ 集群模式：Zookeeper运行于一个集群上，适合生产环境，这个计算机集群被称为一个“集合体”（ensemble） Zookeeper通过复制来实现
阅读更多...
CentOS7安装配置mysql5.7 tar免安装版

CentOS7安装配置mysql5.7 tar免安装版

一、CentOS7.4系统自带mariadb # 查看系统自带的Mariadb[root@localhost~]# rpm -qa|grep mariadbmariadb-libs-5.5.44-2.el7.centos.x86_64# 卸载系统自带的Mariadb[root@localhost ~]# rpm -e --nodeps mariadb-libs-5.5.44-2.el7
阅读更多...
Centos7安装Mongodb4

Centos7安装Mongodb4

1、下载源码包 curl -O https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-rhel70-4.2.1.tgz 2、解压 放到 /usr/local/ 目录下 tar -zxvf mongodb-linux-x86_64-rhel70-4.2.1.tgzmv mongodb-linux-x86_64-rhel70-4.2.1/
阅读更多...
csu 1446 Problem J Modified LCS （扩展欧几里得算法的简单应用）

csu 1446 Problem J Modified LCS （扩展欧几里得算法的简单应用）

这是一道扩展欧几里得算法的简单应用题，这题是在湖南多校训练赛中队友ac的一道题，在比赛之后请教了队友，然后自己把它a掉 这也是自己独自做扩展欧几里得算法的题目 题意：把题意转变下就变成了：求d1*x - d2*y = f2 - f1的解,很明显用exgcd来解 下面介绍一下exgcd的一些知识点：求ax + by = c的解 一、首先求ax + by = gcd(a,b)的解 这个
阅读更多...
Centos7安装JDK1.8保姆版

Centos7安装JDK1.8保姆版

工欲善其事，必先利其器。这句话同样适用于学习Java编程。在开始Java的学习旅程之前，我们必须首先配置好适合的开发环境。 通过事先准备好这些工具和配置，我们可以避免在学习过程中遇到因环境问题导致的代码异常或错误。一个稳定、高效的开发环境能够让我们更加专注于代码的学习和编写，提升学习效率，减少不必要的困扰和挫折感。因此，在学习Java之初，投入一些时间和精力来配置好开发环境是非常值得的。这将为我
阅读更多...
阿里开源语音识别SenseVoiceWindows环境部署

阿里开源语音识别SenseVoiceWindows环境部署

SenseVoice介绍 SenseVoice 专注于高精度多语言语音识别、情感辨识和音频事件检测多语言识别： 采用超过 40 万小时数据训练，支持超过 50 种语言，识别效果上优于 Whisper 模型。富文本识别：具备优秀的情感识别，能够在测试数据上达到和超过目前最佳情感识别模型的效果。支持声音事件检测能力，支持音乐、掌声、笑声、哭声、咳嗽、喷嚏等多种常见人机交互事件进行检测。高效推
阅读更多...
如何在页面调用utility bar并传递参数至lwc组件

如何在页面调用utility bar并传递参数至lwc组件

1.在app的utility item中添加lwc组件： 2.调用utility bar api的方式有两种： 方法一，通过lwc调用： import {LightningElement,api ,wire } from 'lwc';import { publish, MessageContext } from 'lightning/messageService';import Ca
阅读更多...
科研绘图系列：R语言扩展物种堆积图（Extended Stacked Barplot）

科研绘图系列：R语言扩展物种堆积图（Extended Stacked Barplot）

介绍 R语言的扩展物种堆积图是一种数据可视化工具，它不仅展示了物种的堆积结果，还整合了不同样本分组之间的差异性分析结果。这种图形表示方法能够直观地比较不同物种在各个分组中的显著性差异，为研究者提供了一种有效的数据解读方式。 加载R包 knitr::opts_chunk$set(warning = F, message = F)library(tidyverse)library(phyl
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2