Ranger安装部署

2023-12-21 17:18
文章标签 部署 安装 ranger

本文主要是介绍Ranger安装部署，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

1. 概述

　　Apache Ranger是大数据领域的一个集中式安全管理框架，目的是通过制定策略（policies）实现对Hadoop组件的集中式安全管理。用户可以通过Ranger实现对集群中数据的安全访问。

2. Ranger内部组件

　　Ranger由三个模块组成：Ranger内部组件、依赖组件、扩展性组件。

2.1 内部组件

　　包含的内部组件如下：

  • Ranger Admin 用户管理策略，提供WebUI和RestFul接口
  • Ranger UserSync 用于将Unix系统或LDAP用户/组同步到RangerAdmin
  • Ranger TagSync 同步Atlas中的Tag信息，基于标签的权限管理，当一个用户的请求涉及到多个应用系统中的多个资源的权限时，可以通过只配置这些资源的tag方便快速的授权
  • Ranger KMS 对hadoop KMS的策略管理和密钥管理

　　注：Apache atlas 是Hadoop社区为解决Hadoop生态系统的元数据治理问题而产生的开源项目，它为Hadoop集群提供了包括数据分类、集中策略引擎、数据血缘、安全和生命周期管理在内的元数据治理核心能力。　　

2.2 依赖组件

  • JDK8 用于运行RangerAdmin、RangerKMS
  • Python2.7 用于Ranger自动化安装
  • Maven3.6 用于Ranger编译
  • RDMS 用于存储授权策略，存储Ranger用户/组，存储审核日志
  • Solr(可选) 存储日志
  • Kerberos(可选) 确保所有请求都被认证

2.3 扩展性组件

　　HDFS、HBASE、HIVE、YARN、KNOX、STORM、SOLR、KAFKA、NIFI、KYLIN、NIFI-REGISTRY、SQOOP、ATLAS、ELASTICSEARCH、PRESTO、OZONE

2.4 总体架构

　　

3. Ranger编译

　　Ranger官网源码包最新版本是2.0.0，不提供二进制安装包，故需要maven编译。目前测试使用的版本为：

ranger版本2.0.0
hadoop版本2.7.3
hbase版本 
hive版本  2.1.0         
postgres版本      11
python版本2.7

3.1 官网下载源码包

# wget http://mirrors.tuna.tsinghua.edu.cn/apache/ranger/2.0.0/apache-ranger-2.0.0.tar.gz

3.2 下载maven

　　编译安装需要使用到maven，下载如下：

# wget http://mirrors.tuna.tsinghua.edu.cn/apache/maven/maven-3/3.6.2/binaries/apache-maven-3.6.2-bin.tar.gz

　　解压，并添加环境变量，同时修改maven的Java堆内存最大值，避免编译内存溢出

# tar -zxvf apache-maven-3.6.2-bin.tar.gz# vim /etc/bashrc
export MAVEN_HOME=/opt/app/apache-maven-3.6.2
export PATH=$PATH:$MAVEN_HOME/binMAVEN_OPTS=-Xmx2048m
export JAVA_HOME MAVEN_HOME MAVEN_OPTS JAVA_BIN PATH CLASSPATH

　　修改maven源为阿里源或其他源

# pwd
/opt/app/apache-maven-3.6.2/conf
# vim settings.xml
<mirrors><mirror><id>nexus-aliyun</id><mirrorOf>central</mirrorOf><name>Nexus aliyun</name><url>http://maven.aliyun.com/nexus/content/groups/public</url></mirror><mirror><id>CN</id><name>OSChina Central</name><url>http://maven.oschina.net/content/groups/public/</url><mirrorOf>central</mirrorOf></mirror><mirror><id>alimaven</id><mirrorof>central</mirrorof><name>aliyun maven</name><url>https://maven.aliyun.com/nexus/content/repositories/central/</url></mirror><mirror><id>jboss-public-repository-group</id><mirrorof>central</mirrorof><name>JBoss Public Repository Group</name><url>https://repository.jboss.org/nexus/content/groups/public</url></mirror>
</mirrors>

3.3 编译Ranger

　　首次编译ranger，需要时间比较长，时间主要用于maven下载相应的依赖包，时间快慢取决于机器网络带宽。

# pwd
/opt/app/apache-ranger-2.0.0
# mvn clean compile package assembly:assembly install -DskipTests -Drat.skip=true

　　编译完成如下：

　　编译完成后，在当前目录下的target会生成相应的tar包文件，如下：

 　　接下来就可以使用这些编译完成二进制tar文件。

　　注：如果在编译安装的时候，需要对Hadoop、HBase、Hive等相应的版本有要求，那么可以在下载的源代码目录下pom.xml文件里面，修改Hadoop组件的相应版本，否则会导致后面使用的时候，出现版本兼容性问题。　

# pwd
/opt/app/apache-ranger-2.0.0
# vim pom.xml

4. Ranger-admin安装部署

　　安装ranger-admin的机器可以不在Hadoop集群内部，可以是随便一台。

4.1 准备

4.1.1 检测是否安装python2

# python
Python 2.7.5 (default, Aug  4 2017, 00:39:18) 
[GCC 4.8.5 20150623 (Red Hat 4.8.5-16)] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> 如果没有检测到python2，则执行下面的命令
# yum -y install python

4.1.2 postgres数据库安装以及下载驱动包

　　请自行百度安装，在postgres安装目录 data下修改pg_hba.conf文件，使postgres可以被远程服务器访问，修改为如下：

# Allow replication connections from localhost, by a user with the
# replication privilege.
#host    replication     all             127.0.0.1/32            md5
#host    replication     all             ::1/128                 md5
host      all             all             0.0.0.0/0               md5

　　从maven源库下载，https://repo1.maven.org/maven2/org/postgresql/postgresql/42.2.8/

　　把postgresql-42.2.8.jar下载，并创建 /usr/share/java/ 目录，最后转移到该目录下

# wget https://repo1.maven.org/maven2/org/postgresql/postgresql/42.2.8/postgresql-42.2.8.jar
# mkdir -p /usr/share/java
# mv postgresql-42.2.8.jar /usr/share/java/

4.2 解压ranger-admin软件包

# pwd
/opt/app/apache-ranger-2.0.0/target
# tar -zxvf ranger-2.0.0-admin.tar.gz

4.3 修改install.properties文件

# pwd
/opt/app/apache-ranger-2.0.0/target/ranger-2.0.0-admin
# vim install.properties

　　修改install.properties文件，这里使用的数据库是postgres，不安装solr服务

1）数据库配置
DB_FLAVOR=POSTGRES #指明使用数据库类型
SQL_CONNECTOR_JAR=/usr/share/java/postgresql-42.2.8.jar #数据库连接驱动
db_root_user=postgres        #数据库root用户名
db_root_password=postgres #数据库主机
db_host=192.168.1.33:5432 #数据库密码# 以下三个属性是用于设置ranger数据库的
db_name=ranger          #数据库名
db_user=postgres        #管理该数据库用户
db_password=postgres    #密码# 不需要保存，为空，否则生成的数据库密码为'_'
cred_keystore_filename=2) 审计日志， 如果没有安装solr，对应的属性值为空即可
audit_store=audit_solr_urls=
audit_solr_user=
audit_solr_password=
audit_solr_zookeepers=3）策略管理配置，配置ip和端口，默认即可
policymgr_external_url=http://localhost:60804) 配置hadoop集群的core-site.xml文件，把core-site.xml文件拷贝到该目录
hadoop_conf=/etc/hadoop/conf5) rangerAdmin、rangerTagSync、rangerUsersync、keyadmin密码配置。默认为空，可以不配，对应的内部组件该属性也要为空
rangerAdmin_password=
rangerTagsync_password=
rangerUsersync_password=
keyadmin_password=

4.4 初始化ranger-admin

# pwd
/opt/frame-tools/apache-ranger-2.0.0/target/ranger-2.0.0-admin
# ./setup.sh

　　初始化结果如下则成功：

 　　接着，运行set_globals.sh

# ./set_globals.sh 
usermod: no changes
[2019/11/27 21:54:32]:  [I] Soft linking /etc/ranger/admin/conf to ews/webapp/WEB-INF/classes/conf

4.5 启动ranger-admin

# ranger-admin start 
或者
# ./ews/ranger-admin-services.sh start

　　Ranger的默认端口是6080，如图，则表明程序正常启动

　　查看Ranger Admin Server运行的日志情况，日志路径默认为 ews/log ， 软链接到 /var/log/admin ，如下：

　　Ranger Admin Server的具体配置文件为 ranger-admin-site.xml ，如下：

　　浏览器连接测试：http://192.168.1.10:6080，登录界面用户名和密码为：admin/admin，登录进去界面如下：

5. Ranger-usersync安装部署

5.1 解压ranger-usersync软件包

# pwd
/opt/frame-tools/apache-ranger-2.0.0/target
# tar -zxvf ranger-2.0.0-usersync.tar.gz

5.2 修改install.property文件

# pwd
/opt/app/apache-ranger-2.0.0/target/ranger-2.0.0-usersync
# vim install.properties配置ranger admin的地址
POLICY_MGR_URL = http://localhost:6080

同步源系统类型
SYNC_SOURCE = unix同步间隔时间
SYNC_INTERVAL = 1usersync程序运行的用户和用户组
unix_user=usersync
unix_group=usersync修改rangerusersync用户的密码。注意，此密码应与Ranger admin中install.properties的rangerusersync_password相同。此处可以为空，同样Ranger admin的也要为空
rangerUsersync_password=配置hadoop的core-site.xml路径
hadoop_conf=/etc/hadoop/conf配置usersync的log路径
logdir=logs

5.3 初始化ranger-usersync

# pwd
/opt/app/apache-ranger-2.0.0/target/ranger-2.0.0-usersync
# ./setup.sh

　　执行结果：

　

5.4 启动ranger-usersync

# ranger-usersync start
或
# pwd
/opt/frame-tools/apache-ranger-2.0.0/target/ranger-2.0.0-usersync
# ./ranger-usersync-services.sh start

 　　验证是否安装成功，如图则成功：

总结

【参考资料】

https://yaooqinn.github.io/spark-authorizer/docs/install_plugin.html

https://github.com/yaooqinn/spark-ranger

https://blog.csdn.net/sudaxhh/article/details/52135184

https://blog.csdn.net/w609392362/article/details/89959445

https://www.cnblogs.com/xiaolang8762400/p/7449489.html

https://help.aliyun.com/document_detail/66411.html

https://www.cnblogs.com/yjt1993/p/11837398.html

https://www.lagou.com/lgeduarticle/7838.html

https://www.jianshu.com/p/d0bf6e77bb8f

https://www.cnblogs.com/taojietaoge/p/10808534.html

这篇关于Ranger安装部署的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/520838。

相关文章

闲置电脑也能活出第二春？鲁大师AiNAS让你动动手指就能轻松部署

闲置电脑也能活出第二春？鲁大师AiNAS让你动动手指就能轻松部署

对于大多数人而言，在这个“数据爆炸”的时代或多或少都遇到过存储告急的情况，这使得“存储焦虑”不再是个别现象，而将会是随着软件的不断臃肿而越来越普遍的情况。从不少手机厂商都开始将存储上限提升至1TB可以见得，我们似乎正处在互联网信息飞速增长的阶段，对于存储的需求也将会不断扩大。对于苹果用户而言，这一问题愈发严峻，毕竟512GB和1TB版本的iPhone可不是人人都消费得起的，因此成熟的外置存储方案开
阅读更多...
Zookeeper安装和配置说明

Zookeeper安装和配置说明

一、Zookeeper的搭建方式 Zookeeper安装方式有三种，单机模式和集群模式以及伪集群模式。 ■ 单机模式：Zookeeper只运行在一台服务器上，适合测试环境； ■ 伪集群模式：就是在一台物理机上运行多个Zookeeper 实例； ■ 集群模式：Zookeeper运行于一个集群上，适合生产环境，这个计算机集群被称为一个“集合体”（ensemble） Zookeeper通过复制来实现
阅读更多...
CentOS7安装配置mysql5.7 tar免安装版

CentOS7安装配置mysql5.7 tar免安装版

一、CentOS7.4系统自带mariadb # 查看系统自带的Mariadb[root@localhost~]# rpm -qa|grep mariadbmariadb-libs-5.5.44-2.el7.centos.x86_64# 卸载系统自带的Mariadb[root@localhost ~]# rpm -e --nodeps mariadb-libs-5.5.44-2.el7
阅读更多...
Centos7安装Mongodb4

Centos7安装Mongodb4

1、下载源码包 curl -O https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-rhel70-4.2.1.tgz 2、解压 放到 /usr/local/ 目录下 tar -zxvf mongodb-linux-x86_64-rhel70-4.2.1.tgzmv mongodb-linux-x86_64-rhel70-4.2.1/
阅读更多...
Centos7安装JDK1.8保姆版

Centos7安装JDK1.8保姆版

工欲善其事，必先利其器。这句话同样适用于学习Java编程。在开始Java的学习旅程之前，我们必须首先配置好适合的开发环境。 通过事先准备好这些工具和配置，我们可以避免在学习过程中遇到因环境问题导致的代码异常或错误。一个稳定、高效的开发环境能够让我们更加专注于代码的学习和编写，提升学习效率，减少不必要的困扰和挫折感。因此，在学习Java之初，投入一些时间和精力来配置好开发环境是非常值得的。这将为我
阅读更多...
阿里开源语音识别SenseVoiceWindows环境部署

阿里开源语音识别SenseVoiceWindows环境部署

SenseVoice介绍 SenseVoice 专注于高精度多语言语音识别、情感辨识和音频事件检测多语言识别： 采用超过 40 万小时数据训练，支持超过 50 种语言，识别效果上优于 Whisper 模型。富文本识别：具备优秀的情感识别，能够在测试数据上达到和超过目前最佳情感识别模型的效果。支持声音事件检测能力，支持音乐、掌声、笑声、哭声、咳嗽、喷嚏等多种常见人机交互事件进行检测。高效推
阅读更多...
安装nodejs环境

安装nodejs环境

本文介绍了如何通过nvm(NodeVersionManager)安装和管理Node.js及npm的不同版本，包括下载安装脚本、检查版本并安装特定版本的方法。 1、安装nvm curl -o- https://raw.githubusercontent.com/nvm-sh/nvm/v0.39.0/install.sh | bash 2、查看nvm版本 nvm --version 3、安装
阅读更多...
计算机毕业设计 大学志愿填报系统 Java+SpringBoot+Vue 前后端分离 文档报告 代码讲解 安装调试

计算机毕业设计 大学志愿填报系统 Java+SpringBoot+Vue 前后端分离 文档报告 代码讲解 安装调试

🍊作者：计算机编程-吉哥 🍊简介：专业从事JavaWeb程序开发，微信小程序开发，定制化项目、 源码、代码讲解、文档撰写、ppt制作。做自己喜欢的事，生活就是快乐的。 🍊心愿：点赞 👍 收藏 ⭐评论 📝 🍅 文末获取源码联系 👇🏻 精彩专栏推荐订阅 👇🏻 不然下次找不到哟~Java毕业设计项目~热门选题推荐《1000套》 目录 1.技术选型 2.开发工具 3.功能
阅读更多...
SWAP作物生长模型安装教程、数据制备、敏感性分析、气候变化影响、R模型敏感性分析与贝叶斯优化、Fortran源代码分析、气候数据降尺度与变化影响分析

SWAP作物生长模型安装教程、数据制备、敏感性分析、气候变化影响、R模型敏感性分析与贝叶斯优化、Fortran源代码分析、气候数据降尺度与变化影响分析

查看原文>>>全流程SWAP农业模型数据制备、敏感性分析及气候变化影响实践技术应用 SWAP模型是由荷兰瓦赫宁根大学开发的先进农作物模型，它综合考虑了土壤-水分-大气以及植被间的相互作用；是一种描述作物生长过程的一种机理性作物生长模型。它不但运用Richard方程，使其能够精确的模拟土壤中水分的运动，而且耦合了WOFOST作物模型使作物的生长描述更为科学。 本文让更多的科研人员和农业工作者
阅读更多...
K8S（Kubernetes）开源的容器编排平台安装步骤详解

K8S（Kubernetes）开源的容器编排平台安装步骤详解

K8S（Kubernetes）是一个开源的容器编排平台，用于自动化部署、扩展和管理容器化应用程序。以下是K8S容器编排平台的安装步骤、使用方式及特点的概述： 安装步骤： 安装Docker：K8S需要基于Docker来运行容器化应用程序。首先要在所有节点上安装Docker引擎。 安装Kubernetes Master：在集群中选择一台主机作为Master节点，安装K8S的控制平面组件，如AP
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2