Ranger2.4+OpenLdap 用户权限管理

2023-12-10 19:59
文章标签 管理 用户 权限 openldap ranger2.4

本文主要是介绍Ranger2.4+OpenLdap 用户权限管理，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

介绍

使用openldap做统一用户管理
使用ranger做用户权限管理
对Hdfs,Hive,Spark,Trino,Yarn进行权限控制

openLdap用户

执行以下命令，添加用户，用户组

组用户用户用户
shuguoliubeiguanyuzhangfei
weiguocaocaocaopicaozhi
wuguoshunquanshuncelvmeng
user='zhangfei'  #替换用户名
EXAMPLE_GROUP='shuguo'  #替换用户所属组USER_UID=$((2000+$RANDOM%999))OPENLDAP_ROOT_DN='cn=admin,dc=example,dc=com'
OPENLDAP_ROOT_PASSWORD='Admin1234!'
OPENLDAP_USERS_BASE_DN='ou=users,dc=example,dc=com'
COMMON_DEFAULT_PASSWORD='Admin1234!'
OPENLDAP_BASE_DN='dc=example,dc=com'ldapsearch -D "$OPENLDAP_ROOT_DN" -w $OPENLDAP_ROOT_PASSWORD -b "cn=$EXAMPLE_GROUP,ou=groups,$OPENLDAP_BASE_DN" >& /dev/null
if [ "$?" != "0" ]; thenGROUP_GID=$((3000+$RANDOM%999))echo "用户组不存在 --${GROUP_GID}"
elseGROUP_GID=`ldapsearch -D "$OPENLDAP_ROOT_DN" -w $OPENLDAP_ROOT_PASSWORD -b "ou=groups,$OPENLDAP_BASE_DN" -s sub "(&(objectClass=posixGroup)(cn=$EXAMPLE_GROUP))" gidNumber | grep "^gidNumber:" | awk '{print $2}'`echo "用户组存在 --${GROUP_GID}"
fi# add user
cat << EOF | ldapadd -D "$OPENLDAP_ROOT_DN" -w $OPENLDAP_ROOT_PASSWORD
dn: uid=$user,$OPENLDAP_USERS_BASE_DN
objectClass: posixAccount
objectClass: top
objectClass: inetOrgPerson
uid: $user
displayName: $user
sn: $user
homeDirectory: /home/$user
cn: $user
uidNumber: $USER_UID
gidNumber: $GROUP_GID
userPassword: $(slappasswd -s $COMMON_DEFAULT_PASSWORD)
EOF#检查是否有groups，如果不存在就创建，如果存在就直接把刚刚的用户添加到groups中
ldapsearch -D "$OPENLDAP_ROOT_DN" -w $OPENLDAP_ROOT_PASSWORD -b "cn=$EXAMPLE_GROUP,ou=groups,$OPENLDAP_BASE_DN" >& /dev/null
if [ "$?" != "0" ]; thenecho '不存在，需要创建'cat << EOF | ldapadd -D "$OPENLDAP_ROOT_DN" -w $OPENLDAP_ROOT_PASSWORD
dn: cn=$EXAMPLE_GROUP,ou=groups,$OPENLDAP_BASE_DN
cn: $EXAMPLE_GROUP
objectclass: top
objectclass: posixGroup
gidNumber: $GROUP_GID
memberUid: $user
EOF
elseecho '已经存在添加用户'cat << EOF | ldapmodify -D "$OPENLDAP_ROOT_DN" -w $OPENLDAP_ROOT_PASSWORD
dn: cn=$EXAMPLE_GROUP,ou=groups,$OPENLDAP_BASE_DN
changetype: modify
add: memberUid
memberUid: $user
EOF
fi

查看openldap用户，用户组
ldapsearch -x -D “cn=admin,dc=example,dc=com” -w ‘Admin1234!’ -b “ou=groups,dc=example,dc=com”

# shuguo, groups, example.com
dn: cn=shuguo,ou=groups,dc=example,dc=com
cn: shuguo
objectClass: top
objectClass: posixGroup
gidNumber: 3563
memberUid: liubei
memberUid: guanyu
memberUid: zhangfei# weiguo, groups, example.com
dn: cn=weiguo,ou=groups,dc=example,dc=com
cn: weiguo
objectClass: top
objectClass: posixGroup
gidNumber: 3358
memberUid: caocao
memberUid: caopi
memberUid: caozhi# wuguo, groups, example.com
dn: cn=wuguo,ou=groups,dc=example,dc=com
cn: wuguo
objectClass: top
objectClass: posixGroup
gidNumber: 3847
memberUid: shunquan
memberUid: shunce
memberUid: lvmeng

master sssd节点用户，用户组同步

sudo systemctl restart sssd
sudo sss_cache -ESSD同步成功：
[hadoop@ip-10-0-29-52 ~]$ id liubei
uid=2117(liubei) gid=3563(shuguo) groups=3563(shuguo)
[hadoop@ip-10-0-29-52 ~]$ id guanyu
uid=2664(guanyu) gid=3563(shuguo) groups=3563(shuguo)
[hadoop@ip-10-0-29-52 ~]$ id zhangfei
uid=2937(zhangfei) gid=3563(shuguo) groups=3563(shuguo)[hadoop@ip-10-0-29-52 ~]$ id caocao
uid=2838(caocao) gid=3358(weiguo) groups=3358(weiguo)
[hadoop@ip-10-0-29-52 ~]$ id caopi
uid=2210(caopi) gid=3358(weiguo) groups=3358(weiguo)
[hadoop@ip-10-0-29-52 ~]$ id caozhi
uid=2137(caozhi) gid=3358(weiguo) groups=3358(weiguo)[hadoop@ip-10-0-29-52 ~]$ id shunquan
uid=2689(shunquan) gid=3847(wuguo) groups=3847(wuguo)
[hadoop@ip-10-0-29-52 ~]$ id shunce
uid=2092(shunce) gid=3847(wuguo) groups=3847(wuguo)
[hadoop@ip-10-0-29-52 ~]$ id lvmeng
uid=2215(lvmeng) gid=3847(wuguo) groups=3847(wuguo)

重启ranger-sync服务

sudo ranger-usersync restart

ranger-admin查看同步成功
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传UQ(img-80dMfTh3-1689216967321)(typora-user-images\image-20230711160030717.png)(typora-user-images\image-20230711160030717.png)]在这里插入图片描述
hue手动添加用户组

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-G3brgqxu-1689216967324)(typora-user-images\image-20230712101401039.png)]

测试场景

测试用户：

只给liubei用户权限

测试组：

给weiguo组权限

测试role：

创建role，并绑定guanyu用户,绑定wuguo组，然后给role权限

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-99w9esLP-1689216967325)(typora-user-images\image-20230711160356065.png)]

Hadoop 插件

hadoop fs -mkdir /ranger-test

hadoop fs -chown hadoop:hadoop /ranger-test

hadoop fs -chmod 700 /ranger-test

该文件夹除了hadoop用户以外都没有权限查看

未授权：

用户

用户liubei 权限被禁止

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-vZhBfko6-1689216967326)(typora-user-images\image-20230711161600762.png)]

组

weiguo组中用户caocao 权限被禁止

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-o3onp62P-1689216967327)(typora-user-images\image-20230711161938944.png)]

Role

用户guanyu

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-hfbuuuIc-1689216967328)(typora-user-images\image-20230711162325710.png)]

wuguo组中shunquan 权限被禁止

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-X62sgIMi-1689216967329)(typora-user-images\image-20230711162433543.png)]

授权：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-d4PFuvqu-1689216967330)(typora-user-images\image-20230711162604122.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ejsc8Ylf-1689216967330)(typora-user-images\image-20230711162647529.png)]

sudo ./disable-hdfs-plugin.sh

sudo ./enable-hdfs-plugin.sh

插件可能需要重装一下，重启服务

用户

用户liubei 权限被允许

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-2sfosAYZ-1689216967330)(typora-user-images\image-20230711163308535.png)]

组

weiguo组中用户caocao 权限被允许

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-UtYITJ9q-1689216967331)(typora-user-images\image-20230711163329805.png)]

Role

用户guanyu权限被允许

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-7SWGsu4m-1689216967331)(typora-user-images\image-20230711163201815.png)]

wuguo组中shunquan 权限被允许

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-IHmvu5Mx-1689216967332)(typora-user-images\image-20230711163141973.png)]

Hive 插件

未授权：

将ranger权限全部清空

用户

用户liubei 权限被禁止

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-1WqmM3dZ-1689216967332)(typora-user-images\image-20230711164421758.png)]

组

weiguo组中用户caocao 权限被禁止

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-xYzAxCL8-1689216967333)(typora-user-images\image-20230711165430868.png)]

Role

用户guanyu权限被禁止

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ayRnCFrT-1689216967333)(typora-user-images\image-20230711170628395.png)]

wuguo组中shunquan 权限被禁止

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-tmcr4MDc-1689216967334)(typora-user-images\image-20230711170122898.png)]

授权：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-scZDNVSs-1689216967334)(typora-user-images\image-20230711170906007.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-3NOL7DKm-1689216967334)(typora-user-images\image-20230711170923277.png)]

sudo ./disable-hive-plugin.sh
sudo ./enable-hive-plugin.sh
重启一下hive相关服务

用户

用户liubei 权限被允许

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-OsaEztnS-1689216967335)(typora-user-images\image-20230711172649395.png)]

组

weiguo组中用户caocao 权限被允许

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-7l3cDcTn-1689216967335)(typora-user-images\image-20230711172457435.png)]

Role

用户guanyu

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-DbYaBLNP-1689216967335)(typora-user-images\image-20230711172603188.png)]

wuguo组中shunquan 权限被允许

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-rIoaTyGM-1689216967336)(typora-user-images\image-20230711172537903.png)]

Spark 插件

未授权：

将ranger权限全部清空

用户

用户liubei 权限被禁止

spark-sql --master yarn --deploy-mode client --conf 'spark.sql.extensions=org.apache.kyuubi.plugin.spark.authz.ranger.RangerSparkExtension' --proxy-user liubei

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-EFt4YwyO-1689216967336)(typora-user-images\image-20230711175124237.png)]

组

weiguo组中用户caocao 权限被禁止

spark-sql --master yarn --deploy-mode client --conf 'spark.sql.extensions=org.apache.kyuubi.plugin.spark.authz.ranger.RangerSparkExtension' --proxy-user caocao

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-mzlt8WSm-1689216967336)(typora-user-images\image-20230711175023640.png)]

Role

用户guanyu权限被禁止

spark-sql --master yarn --deploy-mode client --conf 'spark.sql.extensions=org.apache.kyuubi.plugin.spark.authz.ranger.RangerSparkExtension' --proxy-user guanyu

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-1LReQeOh-1689216967337)(typora-user-images\image-20230711174908535.png)]

wuguo组中shunquan 权限被禁止

spark-sql --master yarn --deploy-mode client --conf 'spark.sql.extensions=org.apache.kyuubi.plugin.spark.authz.ranger.RangerSparkExtension' --proxy-user shunquan

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ceYqT5ji-1689216967337)(typora-user-images\image-20230711174754637.png)]

授权：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-jy4aKgLz-1689216967337)(typora-user-images\image-20230711174632672.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-iuoh0t6Y-1689216967338)(typora-user-images\image-20230711174649300.png)]

用户

用户liubei 权限被允许

spark-sql --master yarn --deploy-mode client --conf 'spark.sql.extensions=org.apache.kyuubi.plugin.spark.authz.ranger.RangerSparkExtension' --proxy-user liubei

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-7UDHUiJf-1689216967338)(typora-user-images\image-20230711174303608.png)]

组

weiguo组中用户caocao 权限被允许

spark-sql --master yarn --deploy-mode client --conf 'spark.sql.extensions=org.apache.kyuubi.plugin.spark.authz.ranger.RangerSparkExtension' --proxy-user caocao

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-AKFQdMi7-1689216967339)(typora-user-images\image-20230711174411539.png)]

Role

用户guanyu权限被允许

spark-sql --master yarn --deploy-mode client --conf 'spark.sql.extensions=org.apache.kyuubi.plugin.spark.authz.ranger.RangerSparkExtension' --proxy-user guanyu

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-wnlHKPY2-1689216967339)(typora-user-images\image-20230711174505923.png)]

wuguo组中shunquan 权限被允许

spark-sql --master yarn --deploy-mode client --conf 'spark.sql.extensions=org.apache.kyuubi.plugin.spark.authz.ranger.RangerSparkExtension' --proxy-user shunquan

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ljQIW2En-1689216967339)(typora-user-images\image-20230711174613767.png)]

Trino 插件

未授权：

将ranger权限全部清空

用户

用户liubei 权限被禁止

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ZQoGAwFf-1689216967340)(typora-user-images\image-20230712103443079.png)]

组

weiguo组中用户caocao 权限被禁止

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-PmfHxAUa-1689216967340)(typora-user-images\image-20230712103513863.png)]

Role

用户guanyu权限被禁止

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-9t9B4VMF-1689216967340)(typora-user-images\image-20230712103537517.png)]

wuguo组中shunquan 权限被禁止

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-lftTbvl3-1689216967341)(typora-user-images\image-20230712103603777.png)]

授权：

https://blog.csdn.net/qq_36096641/article/details/127518912

注意Trino的权限需要对每一访问层级进行设置，比如

catalog 级别

catalog + schema 级别

catalog + schema + table 级别

并且需要配置用户可访问information_schema这个trino元数据库，这样才能访问其它的表
————————————————

catalog级别：
在这里插入图片描述

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-CxAyvXo2-1689216967341)(typora-user-images\image-20230712110036058.png)]

information_schema元数据库：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-FKfsOwDZ-1689216967342)(typora-user-images\image-20230712110118510.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-LZHgG1Rp-1689216967342)(typora-user-images\image-20230712110135690.png)]

catalog + schema 级别：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-aODpflKb-1689216967343)(typora-user-images\image-20230712110215801.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-eMtHRtZQ-1689216967345)(typora-user-images\image-20230712110230747.png)]

catalog + schema + table 级别

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-FNdaPGdN-1689216967345)(typora-user-images\image-20230712103838413.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-jK0VIU9s-1689216967346)(typora-user-images\image-20230712103858276.png)]

用户

用户liubei 权限被允许

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-iNTZ8Pb7-1689216967346)(typora-user-images\image-20230712105611704.png)]

组

weiguo组中用户caocao 权限被禁止

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-3M01KlXe-1689216967346)(typora-user-images\image-20230712105909860.png)]

trino-plugin支持组失败，修改配置/usr/lib/trino/etc/access-control.properties，
请参考：https://blog.csdn.net/qq_40616823/article/details/123008319#:~:text=%E9%80%9A%E8%BF%87debug%E5%8F%91%E7%8E%B0this.useUgi%E9%BB%98%E8%AE%A4%E6%98%AFfalse

添加：ranger.use_ugi=true

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-BWkslpzS-1689216967346)(typora-user-images\image-20230712144655315.png)]

Role

用户guanyu权限被允许

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Opcl28IC-1689216967347)(typora-user-images\image-20230712105803756.png)]

wuguo组中shunquan 权限被禁止

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-XrfAXHG5-1689216967347)(typora-user-images\image-20230712105838952.png)]

trino-plugin支持组失败，修改配置/usr/lib/trino/etc/access-control.properties，
请参考：https://blog.csdn.net/qq_40616823/article/details/123008319#:~:text=%E9%80%9A%E8%BF%87debug%E5%8F%91%E7%8E%B0this.useUgi%E9%BB%98%E8%AE%A4%E6%98%AFfalse

添加：ranger.use_ugi=true

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-SKozZDSE-1689216967347)(typora-user-images\image-20230712145738028.png)]

Yarn 插件

yarn配置队列

[{"classification": "yarn-site","properties": {"yarn.scheduler.capacity.queue-mappings-override.enable": "true","yarn.acl.enable": "true"}},{"classification": "capacity-scheduler","properties": {"yarn.scheduler.capacity.queue-mappings": "u:hadoop:default,u:caocao:weiguo,u:liubei:shuguo,u:shunquan:wuguo,u:guanyu:shuguo,u:zhangfei:shuguo,u:shunce:wuguo,u:lvmeng:wuguo,u:caopi:weiguo,u:caozhi:weiguo","yarn.scheduler.capacity.root.queues": "default,shuguo,weiguo,wuguo","yarn.scheduler.capacity.root.capacity": "100","yarn.scheduler.capacity.root.acl_administer_queue": "","yarn.scheduler.capacity.root.acl_submit_applications": "","yarn.scheduler.capacity.root.default.capacity": "10","yarn.scheduler.capacity.root.default.maximum-capacity": "60","yarn.scheduler.capacity.root.default.acl_administer_queue": "hadoop","yarn.scheduler.capacity.root.default.acl_submit_applications": "caocao,liubei,shunquan,guanyu,zhangfei,shunce,lvmeng,caopi,caozhi","yarn.scheduler.capacity.root.shuguo.capacity": "30","yarn.scheduler.capacity.root.shuguo.maximum-capacity": "70","yarn.scheduler.capacity.root.shuguo.acl_administer_queue":"hadoop","yarn.scheduler.capacity.root.shuguo.acl_submit_applications": "","yarn.scheduler.capacity.root.weiguo.capacity": "30","yarn.scheduler.capacity.root.weiguo.maximum-capacity": "70","yarn.scheduler.capacity.root.weiguo.acl_administer_queue": "hadoop","yarn.scheduler.capacity.root.weiguo.acl_submit_applications": "","yarn.scheduler.capacity.root.wuguo.capacity": "30","yarn.scheduler.capacity.root.wuguo.maximum-capacity": "70","yarn.scheduler.capacity.root.wuguo.acl_administer_queue": "hadoop","yarn.scheduler.capacity.root.wuguo.acl_submit_applications": "","yarn.scheduler.capacity.resource-calculator": "org.apache.hadoop.yarn.util.resource.DominantResourceCalculator"}}
]

配置如下(注意：配置的ranger.add-yarn-authorization=false会无视下面这个配置)：

liubei,guanyu,zhangfei 默认提交到shuguo

caocao,caopi,caozhi 默认提交到weiguo

shunquan,shunce,lvmeng 默认提交到wuguo

但是都没有权限提交，需要ranger授权才行

未授权：

将ranger权限全部清空

并配置

By default, fallback to YARN ACLs are enabled. If access cannot be determined by Ranger policies, authorization will fall back to YARN ACLs. If this behavior needs to be changed, modify YARN plugin config - ranger.add-yarn-authorization.

默认情况下，允许回退到YARN acl。如果访问不能由Ranger策略确定，则授权将返回到YARN acl。如果需要修改此行为，请修改YARN plugin config - ranger.add-yarn-authorization。

禁用yarn默认的ACL，都从ranger-yarn通过

sudo vim /usr/lib/hadoop-yarn/etc/hadoop/ranger-yarn-security.xml

<property><name>ranger.add-yarn-authorization</name><value>false</value>
</property>

sudo systemctl restart hadoop-yarn-resourcemanager.service

提前准备用户在hdfs上的文件

hadoop fs -mkdir /user/liubei
hadoop fs -chown liubei:liubei /user/liubeihadoop fs -mkdir /user/caocao
hadoop fs -chown caocao:caocao /user/caocaohadoop fs -mkdir /user/guanyu
hadoop fs -chown guanyu:guanyu /user/guanyuhadoop fs -mkdir /user/shunquan
hadoop fs -chown shunquan:shunquan /user/shunquan

用户

用户liubei 提交到shuguo权限被禁止

spark-submit \
--master yarn \
--deploy-mode cluster \
--proxy-user liubei \
--queue shuguo \
--class  org.apache.spark.examples.SparkPi  /usr/lib/spark/examples/jars/spark-examples.jar

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-QA6gRf8w-1689216967347)(typora-user-images\image-20230712163733534.png)]

组

weiguo组中用户caocao 提交到weiguo权限被禁止

spark-submit \
--master yarn \
--deploy-mode cluster \
--proxy-user caocao \
--queue weiguo \
--class  org.apache.spark.examples.SparkPi  /usr/lib/spark/examples/jars/spark-examples.jar

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-RXde9W71-1689216967348)(typora-user-images\image-20230712163702484.png)]

Role

用户guanyu提交到wuguo 权限被禁止

spark-submit \
--master yarn \
--deploy-mode cluster \
--proxy-user guanyu \
--queue wuguo \
--class  org.apache.spark.examples.SparkPi  /usr/lib/spark/examples/jars/spark-examples.jar

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-oRvoSE3c-1689216967348)(typora-user-images\image-20230712163640343.png)]

wuguo组中shunquan提交到wuguo 权限被禁止

spark-submit \
--master yarn \
--deploy-mode cluster \
--proxy-user shunquan \
--queue wuguo \
--class  org.apache.spark.examples.SparkPi  /usr/lib/spark/examples/jars/spark-examples.jar

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-0sfDqLTC-1689216967348)(typora-user-images\image-20230712163909424.png)]

授权：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-4y8nIbKn-1689216967349)(typora-user-images\image-20230712164401200.png)]

授权用户

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-5ohDWwVy-1689216967350)(typora-user-images\image-20230712164430254.png)]

授权组

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-S04ULrWH-1689216967351)(typora-user-images\image-20230712164454420.png)]

授权role

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Gb6Y18TV-1689216967351)(typora-user-images\image-20230712164528064.png)]

用户

用户liubei 提交到shuguo权限被允许

spark-submit \
--master yarn \
--deploy-mode cluster \
--proxy-user liubei \
--queue shuguo \
--class  org.apache.spark.examples.SparkPi  /usr/lib/spark/examples/jars/spark-examples.jar

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-xJxbBbvd-1689216967351)(typora-user-images\image-20230712164701975.png)]

组

weiguo组中用户caocao 提交到weiguo权限被允许

spark-submit \
--master yarn \
--deploy-mode cluster \
--proxy-user caocao \
--queue weiguo \
--class  org.apache.spark.examples.SparkPi  /usr/lib/spark/examples/jars/spark-examples.jar

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-FbeojX8V-1689216967351)(typora-user-images\image-20230712164749898.png)]

Role

用户guanyu提交到wuguo 权限被允许

spark-submit \
--master yarn \
--deploy-mode cluster \
--proxy-user guanyu \
--queue wuguo \
--class  org.apache.spark.examples.SparkPi  /usr/lib/spark/examples/jars/spark-examples.jar

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-hB4n7SBp-1689216967352)(typora-user-images\image-20230712164848638.png)]

wuguo组中shunquan提交到wuguo 权限被允许

spark-submit \
--master yarn \
--deploy-mode cluster \
--proxy-user shunquan \
--queue wuguo \
--class  org.apache.spark.examples.SparkPi  /usr/lib/spark/examples/jars/spark-examples.jar

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-z4gdEbDj-1689216967352)(typora-user-images\image-20230712164938673.png)]

Spark Sql+结合Livy

由于spark sql在hue上通过livy进行提交

因此：配置sudo vim /etc/livy/conf/livy.conf

livy.impersonation.enabled: true

使得根据对应的hue用户初始化session环境

tail -f /var/log/livy/livy-livy-server.out

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-l8QDcf9m-1689216967352)(typora-user-images\image-20230712171433955.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Kh0er2mf-1689216967353)(typora-user-images\image-20230712171407268.png)]

由于初始环境的时候，并没有指定配置

–conf ‘spark.sql.extensions=org.apache.kyuubi.plugin.spark.authz.ranger.RangerSparkExtension’ ，因此并不能管住权限

修改sudo vim /etc/spark/conf/spark-defaults.conf，添加配置

spark.sql.extensions org.apache.kyuubi.plugin.spark.authz.ranger.RangerSparkExtension

重新初始化session，并查看spark webui，可以看到配置如下：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-INJeC03t-1689216967353)(typora-user-images\image-20230712172321077.png)]

未授权

将ranger权限全部清空

用户

用户liubei 提交到shuguo，但是查询被禁止

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ZNlxLR8S-1689216967354)(typora-user-images\image-20230712175719148.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-GTz0cJs7-1689216967354)(typora-user-images\image-20230712175746074.png)]

组

weiguo组中用户caocao提交到weiuo，但是查询被禁止

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-P1yCcxrA-1689216967354)(typora-user-images\image-20230712175524358.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-taAWtbEO-1689216967355)(typora-user-images\image-20230712175551530.png)]

Role

用户guanyu在livy初始化环境的时候失败，因为guanyu默认提交的队列为shuguo，但是ranger并没有给其权限

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-yehXsBs7-1689216967355)(typora-user-images\image-20230712175316891.png)]

wuguo组中shunquan提交到wuguo ，但是查询被禁止

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-lGTVOPWo-1689216967355)(typora-user-images\image-20230712175051672.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-mGF7SNpn-1689216967356)(typora-user-images\image-20230712175011601.png)]

授权

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-tSUVGUaz-1689216967356)(typora-user-images\image-20230711174649300.png)]

用户

用户liubei 提交到shuguo，并且查询被允许

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Qoga1B5N-1689216967356)(typora-user-images\image-20230712173302678.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-7ueysfpH-1689216967357)(typora-user-images\image-20230712172909916.png)]

组

weiguo组中用户caocao提交到weiuo，并且查询被允许

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-akEk8PfX-1689216967357)(typora-user-images\image-20230712173244536.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-CqjW5qmw-1689216967358)(typora-user-images\image-20230712173407261.png)]

Role

用户guanyu在livy初始化环境的时候失败，因为guanyu默认提交的队列为shuguo，但是ranger并没有给其权限

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Kif0mVdt-1689216967358)(typora-user-images\image-20230712173943719.png)]

wuguo组中shunquan提交到wuguo ，并且查询被允许

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-f6O4mgIs-1689216967358)(typora-user-images\image-20230712174245110.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-NAWfkqyL-1689216967359)(typora-user-images\image-20230712174339478.png)]

这篇关于Ranger2.4+OpenLdap 用户权限管理的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/478197。

相关文章

Java访问修饰符public、private、protected及默认访问权限详解

Java访问修饰符public、private、protected及默认访问权限详解

《Java访问修饰符public、private、protected及默认访问权限详解》：本文主要介绍Java访问修饰符public、private、protected及默认访问权限的相关资料,每... 目录前言1. public 访问修饰符特点：示例：适用场景：2. private 访问修饰符特点：示例：
阅读更多...
数据库oracle用户密码过期查询及解决方案

数据库oracle用户密码过期查询及解决方案

《数据库oracle用户密码过期查询及解决方案》：本文主要介绍如何处理ORACLE数据库用户密码过期和修改密码期限的问题,包括创建用户、赋予权限、修改密码、解锁用户和设置密码期限,文中通过代码介绍... 目录前言一、创建用户、赋予权限、修改密码、解锁用户和设置期限二、查询用户密码期限和过期后的修改1.查询用
阅读更多...
高效管理你的Linux系统: Debian操作系统常用命令指南

高效管理你的Linux系统: Debian操作系统常用命令指南

《高效管理你的Linux系统:Debian操作系统常用命令指南》在Debian操作系统中，了解和掌握常用命令对于提高工作效率和系统管理至关重要，本文将详细介绍Debian的常用命令，帮助读者更好地使... Debian是一个流行的linux发行版，它以其稳定性、强大的软件包管理和丰富的社区资源而闻名。在使用
阅读更多...
Linux中chmod权限设置方式

Linux中chmod权限设置方式

《Linux中chmod权限设置方式》本文介绍了Linux系统中文件和目录权限的设置方法,包括chmod、chown和chgrp命令的使用,以及权限模式和符号模式的详细说明,通过这些命令,用户可以灵活... 目录设置基本权限命令：chmod1、权限介绍2、chmod命令常见用法和示例3、文件权限详解4、ch
阅读更多...
SpringBoot使用minio进行文件管理的流程步骤

SpringBoot使用minio进行文件管理的流程步骤

《SpringBoot使用minio进行文件管理的流程步骤》MinIO是一个高性能的对象存储系统,兼容AmazonS3API,该软件设计用于处理非结构化数据,如图片、视频、日志文件以及备份数据等,本文... 目录一、拉取minio镜像二、创建配置文件和上传文件的目录三、启动容器四、浏览器登录 minio五、
阅读更多...
IDEA中的Kafka管理神器详解

IDEA中的Kafka管理神器详解

《IDEA中的Kafka管理神器详解》这款基于IDEA插件实现的Kafka管理工具,能够在本地IDE环境中直接运行,简化了设置流程,为开发者提供了更加紧密集成、高效且直观的Kafka操作体验... 目录免安装：IDEA中的Kafka管理神器！简介安装必要的插件创建 Kafka 连接第一步：创建连接第二步：选
阅读更多...
Mybatis拦截器如何实现数据权限过滤

Mybatis拦截器如何实现数据权限过滤

《Mybatis拦截器如何实现数据权限过滤》本文介绍了MyBatis拦截器的使用,通过实现Interceptor接口对SQL进行处理,实现数据权限过滤功能,通过在本地线程变量中存储数据权限相关信息,并... 目录背景基础知识MyBATis 拦截器介绍代码实战总结背景现在的项目负责人去年年底离职，导致前期规
阅读更多...
Spring Security 基于表达式的权限控制

Spring Security 基于表达式的权限控制

前言 spring security 3.0已经可以使用spring el表达式来控制授权，允许在表达式中使用复杂的布尔逻辑来控制访问的权限。 常见的表达式 Spring Security可用表达式对象的基类是SecurityExpressionRoot。 表达式描述hasRole([role])用户拥有制定的角色时返回true （Spring security默认会带有ROLE_前缀）,去
阅读更多...
综合安防管理平台LntonAIServer视频监控汇聚抖动检测算法优势

综合安防管理平台LntonAIServer视频监控汇聚抖动检测算法优势

LntonAIServer视频质量诊断功能中的抖动检测是一个专门针对视频稳定性进行分析的功能。抖动通常是指视频帧之间的不必要运动，这种运动可能是由于摄像机的移动、传输中的错误或编解码问题导致的。抖动检测对于确保视频内容的平滑性和观看体验至关重要。 优势 1. 提高图像质量 - 清晰度提升：减少抖动，提高图像的清晰度和细节表现力，使得监控画面更加真实可信。 - 细节增强：在低光条件下，抖
阅读更多...
软考系统规划与管理师考试证书含金量高吗？

软考系统规划与管理师考试证书含金量高吗？

2024年软考系统规划与管理师考试报名时间节点： 报名时间：2024年上半年软考将于3月中旬陆续开始报名 考试时间：上半年5月25日到28日，下半年11月9日到12日 分数线：所有科目成绩均须达到45分以上（包括45分）方可通过考试 成绩查询：可在“中国计算机技术职业资格网”上查询软考成绩 出成绩时间：预计在11月左右 证书领取时间：一般在考试成绩公布后3~4个月，各地领取时间有所不同
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2