ranger权限管理、rang kms 秘钥管理、kerberos认证服务整合应用(ambari 平台上安装)

本文主要是介绍ranger权限管理、rang kms 秘钥管理、kerberos认证服务整合应用(ambari 平台上安装),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

一、ranger权限管理安装

        ranger安装参考:https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.5.0/bk_security/content/ch03s01s03s01.html

 
二、rang kms 秘钥管理安装

        ranger kms安装参考:https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.5.0/bk_security/content/ch06s01s01s01.html

 
三、kerberos认证服务安装

kerberos 常用命令:
 

kadmin.local  //以超管身份进入kadminkadmin    //进入kadmin模式,需输入密码kdb5_util create -r JENKIN.COM -s    //创建数据库service krb5kdc start    //启动kdc服务service kadmin start    //启动kadmin服务service kprop start     //启动kprop服务kdb5_util dump /var/kerberos/krb5kdc/slave_data    //生成dump文件kprop -f /var/kerberos/krb5kdc/slave_data master2.com    //将master数据库同步是slavekadmin模式下:addprinc -randkey root/master1@JENKIN.COM   //生成随机key的principaladdprinc admin/admin    //生成指定key的principallistprincs    //查看principalchange_password -pw xxxx admin/admin  //修改admin/admin的密码delete_principal  admin/admin    //删除principalkinit admin/admin    //验证principal是否可用ktadd -k /etc/security/keytabs/hdfs.keytab hdfs/master@HQGF.COM    //kadmin模式下使用//可生成keytabkinit -k -t /var/kerberos/krb5kdc/keytab/root.keytab root/master1@JENKIN.COM     //测试keytab是否可用klist -e -k -t /var/kerberos/krb5kdc/keytab/root.keytab    //查看keytabkdestroy     //销毁当前获取的票

一,先升级再安装server,执行以下命令

yum install krb5-server krb5-libs krb5-workstation

二、修改三个配置文件

 

第一个文件 /etc/krb5.conf

[logging]default = FILE:/var/log/krb5libs.logkdc = FILE:/var/log/krb5kdc.logadmin_server = FILE:/var/log/kadmind.log[libdefaults]default_realm = HQGF.COMdns_lookup_realm = falsedns_lookup_kdc = falseticket_lifetime = 24hrenew_lifetime = 7dforwardable = true[realms]HQGF.COM = {kdc = masteradmin_server = master}[domain_realm].example.com = HQGF.COMexample.com = HQGF.COM

第二个文件 /var/kerberos/krb5kdc/kdc.conf

[kdcdefaults]kdc_ports = 88kdc_tcp_ports = 88[realms]HQGF.COM = {#master_key_type = aes256-ctsacl_file = /var/kerberos/krb5kdc/kadm5.acldict_file = /usr/share/dict/wordsadmin_keytab = /var/kerberos/krb5kdc/kadm5.keytabsupported_enctypes = aes256-cts:normal aes128-cts:normal des3-hmac-sha1:normal arcfour-hmac:normal des-hmac-sha1:normal des-cbc-md5:normal des-cbc-crc:normal}
!

第三个文件 /var/kerberos/krb5kdc/kadm5.acl (注意后面的 “*” 号不可以跟前面的字符连接在一起必须空格)

*/admin@HQGF.COM     *

三、创建kerberos 应用

/usr/sbin/kdb5_util create -s -r HQGF.COM

四、启动服务

 
  • service krb5kdc start

  •  
  • service kadmin start

六、添加principal

[root@ws1es ~]# kadmin.local 
Authenticating as principal root/admin@HQGF.COM with password.
kadmin.local:  addprinc admin/admin@HQGF.COM
WARNING: no policy specified for admin/admin@HQGF.COM; defaulting to no policy
Enter password for principal "admin/admin@HQGF.COM": 
Re-enter password for principal "admin/admin@HQGF.COM": 
Principal "admin/admin@HQGF.COM" created.
kadmin.local:  listprincs 
K/M@HQGF.COM
admin/admin@HQGF.COM
kadmin/admin@HQGF.COM
kadmin/changepw@HQGF.COM
kadmin/ws1es.wondersoft.cn@HQGF.COM
krbtgt/HQGF.COM@HQGF.COM

七、重启服务

service kadmin restart
11.下载JCE
补充1:
JCE(Java Cryptography Extension)是一组包,它们提供用于加密、密钥生成和协商以及 Message Authentication Code(MAC)算法的框架和实现。
它提供对对称、不对称、块和流密码的加密支持,它还支持安全流和密封的对象。它不对外出口,用它开发完成封装后将无法调用。
补充2:
If you are using Oracle JDK, you must distribute and install the JCE on all hosts in the cluster, including the Ambari Server. 
Be sure to restart Ambari Server after installng the JCE. If you are using OpenJDK, some distributions of the OpenJDKcome with unlimited strength JCE automatically and therefore, installation of JCE is not required.For Oracle JDK 1.8:http://www.oracle.com/technetwork/java/javase/downloads/jce8-download-2133166.htmlFor Oracle JDK 1.7:http://www.oracle.com/technetwork/java/javase/downloads/jce-7-download-432124.html将下载的JCE解压并覆盖$JAVA_HOME/jre/lib/security/目录下的文件(所有节点)

 

 

 

 

 

 

 

十七、安装成功后,查看它自动创建的principal和keytab

[root@master krb5kdc]# kadmin.local
Authenticating as principal root/admin@HQGF.COM with password.
kadmin.local:  listprincs
HTTP/master.hqgf.com@HQGF.COM
HTTP/master@HQGF.COM
HTTP/slave222.hqgf.com@HQGF.COM
HTTP/slave223.hqgf.com@HQGF.COM
HTTP/slave227.hqgf.com@HQGF.COM
HTTP/slave228.hqgf.com@HQGF.COM
K/M@HQGF.COM
activity_explorer/master.hqgf.com@HQGF.COM
activity_explorer/slave222.hqgf.com@HQGF.COM
admin/admin@HQGF.COM
ambari-qa-hqgf@HQGF.COM
ambari-server-hqgf@HQGF.COM
amshbase/slave222.hqgf.com@HQGF.COM
amszk/slave222.hqgf.com@HQGF.COM
dn/slave223.hqgf.com@HQGF.COM
dn/slave227.hqgf.com@HQGF.COM
dn/slave228.hqgf.com@HQGF.COM
hbase-hqgf@HQGF.COM
hbase/master.hqgf.com@HQGF.COM
hbase/slave222.hqgf.com@HQGF.COM
hdfs-hqgf@HQGF.COM
hive/master.hqgf.com@HQGF.COM
hive/slave222.hqgf.com@HQGF.COM
hive/slave223.hqgf.com@HQGF.COM
hive/slave227.hqgf.com@HQGF.COM
hive/slave228.hqgf.com@HQGF.COM
jhs/master.hqgf.com@HQGF.COM
jn/slave223.hqgf.com@HQGF.COM
jn/slave227.hqgf.com@HQGF.COM
jn/slave228.hqgf.com@HQGF.COM
kadmin/admin@HQGF.COM
kadmin/changepw@HQGF.COM
kadmin/master@HQGF.COM
kafka/slave223.hqgf.com@HQGF.COM
kafka/slave227.hqgf.com@HQGF.COM
kafka/slave228.hqgf.com@HQGF.COM
kiprop/master@HQGF.COM
krbtgt/HQGF.COM@HQGF.COM
livy/master.hqgf.com@HQGF.COM
livy/slave222.hqgf.com@HQGF.COM
nfs/master.hqgf.com@HQGF.COM
nfs/slave222.hqgf.com@HQGF.COM
nm/slave223.hqgf.com@HQGF.COM
nm/slave227.hqgf.com@HQGF.COM
nm/slave228.hqgf.com@HQGF.COM
nn/master.hqgf.com@HQGF.COM
nn/slave222.hqgf.com@HQGF.COM
oozie/master.hqgf.com@HQGF.COM
rangeradmin/master.hqgf.com@HQGF.COM
rangerkms/master.hqgf.com@HQGF.COM
rangerlookup/master.hqgf.com@HQGF.COM
rangertagsync/master.hqgf.com@HQGF.COM
rangerusersync/master.hqgf.com@HQGF.COM
rm/master.hqgf.com@HQGF.COM
rm/slave222.hqgf.com@HQGF.COM
spark-hqgf@HQGF.COM
yarn/master.hqgf.com@HQGF.COM
zookeeper/slave222.hqgf.com@HQGF.COM
zookeeper/slave223.hqgf.com@HQGF.COM
zookeeper/slave227.hqgf.com@HQGF.COM
zookeeper/slave228.hqgf.com@HQGF.COM

四、ranger +kerberos+ranger kms 透明加密 实例
 

      1.添加系统用户hadooptest

       

    添加用户名:useradd hadooptest
    设置用户密码为hadooptest:passwd hadooptest

 

 

       2.把hadooptest用户添加到kerberos认证中

 
 

先进入admin/admin princ输入密码,执行:
kinit admin/admin
查看是否进入:
klist -e
进入后可以看到如下结果:
Ticket cache: FILE:/tmp/krb5cc_1040
Default principal: admin/admin@HQGF.COMValid starting       Expires              Service principal
2018-05-17T09:51:47  2018-05-18T09:51:47  krbtgt/HQGF.COM@HQGF.COMEtype (skey, tkt): aes256-cts-hmac-sha1-96, aes256-cts-hmac-sha1-96
退出hadooptest用户使用root用户进入kadmin.local配置,执行:
su root
kadmin.local
进入后执行并输入密码hadooptest:addprinc hadooptest
测试是否成功
kinit hadooptest
使用kadmin模式生成keytab执行
kdestroy     
kadmin
ktadd -k /etc/security/keytabs/hadooptest.keytab hadooptest@HQGF.COM测试kerberos 认证是否成功:
kinit hadooptest
hdfs dfs -ls /        是否可以查看hdfs文件目录,如果认证不成功会一直报错的
到此hadooptest 认证已完成

     3.使用ranger 管理权限

 

 

权限分配完成后使用hadooptest上传文件到hdfs(具体读写操作用户自行测试):

 hdfs dfs -put /usr/hqgf/hive_user.txt /tmp/input/

 

 

 4.hdfs 使用ranger kms 创建加密区

 

1.添加系统用户hq
adduser hq
password hq2.使用ranger 添加hq@HQGF.COM
kinit kadmin
kadmin.local
addprinc hq@HQGF.COM3.kadmin模式下生成对应的keytab文件
kinit kadmin
kadmin
ktadd -k /etc/security/keytabs/hq.keytab hq@HQGF.COM4.修改hq@HQGF.COM初始密码
kinit kadmin
kadmin
change_password -pw ambari hq5.使用admin用户登录ranger 后台添加hq操作hdfs文件的权限,注意ranger+kerberos整合下hq用户不管在何种情况下都无法删除添加的文件和文件夹

 
  • 6.使用keyadmin用户登录ranger后台添加key管理(注意用户设置,用户必须拥有对加密区写的操作)

 
  • 7.选择服务添加key

  •  
  • 8.添加key

  • 9.使用keyadmin用户查看hdfs上是否已经生成了key
  • 10.使用key创建加密区hadoop key list -metadata   //查看已添加的keyhdfs dfs -mkdir /zone_encrhdfs crypto -createZone -keyName key -path /zone_encrhdfs crypto -listZones11.测试(效果怎么样自己去试)使用hq 用户在加密区上传下载文件再使用其他用户上传下载文件
    

     

这篇关于ranger权限管理、rang kms 秘钥管理、kerberos认证服务整合应用(ambari 平台上安装)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/298872

相关文章

Spring Security 基于表达式的权限控制

前言 spring security 3.0已经可以使用spring el表达式来控制授权,允许在表达式中使用复杂的布尔逻辑来控制访问的权限。 常见的表达式 Spring Security可用表达式对象的基类是SecurityExpressionRoot。 表达式描述hasRole([role])用户拥有制定的角色时返回true (Spring security默认会带有ROLE_前缀),去

浅析Spring Security认证过程

类图 为了方便理解Spring Security认证流程,特意画了如下的类图,包含相关的核心认证类 概述 核心验证器 AuthenticationManager 该对象提供了认证方法的入口,接收一个Authentiaton对象作为参数; public interface AuthenticationManager {Authentication authenticate(Authenti

流媒体平台/视频监控/安防视频汇聚EasyCVR播放暂停后视频画面黑屏是什么原因?

视频智能分析/视频监控/安防监控综合管理系统EasyCVR视频汇聚融合平台,是TSINGSEE青犀视频垂直深耕音视频流媒体技术、AI智能技术领域的杰出成果。该平台以其强大的视频处理、汇聚与融合能力,在构建全栈视频监控系统中展现出了独特的优势。视频监控管理系统EasyCVR平台内置了强大的视频解码、转码、压缩等技术,能够处理多种视频流格式,并以多种格式(RTMP、RTSP、HTTP-FLV、WebS

Zookeeper安装和配置说明

一、Zookeeper的搭建方式 Zookeeper安装方式有三种,单机模式和集群模式以及伪集群模式。 ■ 单机模式:Zookeeper只运行在一台服务器上,适合测试环境; ■ 伪集群模式:就是在一台物理机上运行多个Zookeeper 实例; ■ 集群模式:Zookeeper运行于一个集群上,适合生产环境,这个计算机集群被称为一个“集合体”(ensemble) Zookeeper通过复制来实现

CentOS7安装配置mysql5.7 tar免安装版

一、CentOS7.4系统自带mariadb # 查看系统自带的Mariadb[root@localhost~]# rpm -qa|grep mariadbmariadb-libs-5.5.44-2.el7.centos.x86_64# 卸载系统自带的Mariadb[root@localhost ~]# rpm -e --nodeps mariadb-libs-5.5.44-2.el7

Centos7安装Mongodb4

1、下载源码包 curl -O https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-rhel70-4.2.1.tgz 2、解压 放到 /usr/local/ 目录下 tar -zxvf mongodb-linux-x86_64-rhel70-4.2.1.tgzmv mongodb-linux-x86_64-rhel70-4.2.1/

中文分词jieba库的使用与实景应用(一)

知识星球:https://articles.zsxq.com/id_fxvgc803qmr2.html 目录 一.定义: 精确模式(默认模式): 全模式: 搜索引擎模式: paddle 模式(基于深度学习的分词模式): 二 自定义词典 三.文本解析   调整词出现的频率 四. 关键词提取 A. 基于TF-IDF算法的关键词提取 B. 基于TextRank算法的关键词提取

水位雨量在线监测系统概述及应用介绍

在当今社会,随着科技的飞速发展,各种智能监测系统已成为保障公共安全、促进资源管理和环境保护的重要工具。其中,水位雨量在线监测系统作为自然灾害预警、水资源管理及水利工程运行的关键技术,其重要性不言而喻。 一、水位雨量在线监测系统的基本原理 水位雨量在线监测系统主要由数据采集单元、数据传输网络、数据处理中心及用户终端四大部分构成,形成了一个完整的闭环系统。 数据采集单元:这是系统的“眼睛”,

csu 1446 Problem J Modified LCS (扩展欧几里得算法的简单应用)

这是一道扩展欧几里得算法的简单应用题,这题是在湖南多校训练赛中队友ac的一道题,在比赛之后请教了队友,然后自己把它a掉 这也是自己独自做扩展欧几里得算法的题目 题意:把题意转变下就变成了:求d1*x - d2*y = f2 - f1的解,很明显用exgcd来解 下面介绍一下exgcd的一些知识点:求ax + by = c的解 一、首先求ax + by = gcd(a,b)的解 这个

综合安防管理平台LntonAIServer视频监控汇聚抖动检测算法优势

LntonAIServer视频质量诊断功能中的抖动检测是一个专门针对视频稳定性进行分析的功能。抖动通常是指视频帧之间的不必要运动,这种运动可能是由于摄像机的移动、传输中的错误或编解码问题导致的。抖动检测对于确保视频内容的平滑性和观看体验至关重要。 优势 1. 提高图像质量 - 清晰度提升:减少抖动,提高图像的清晰度和细节表现力,使得监控画面更加真实可信。 - 细节增强:在低光条件下,抖