本文主要是介绍Cloudera Manager 配置 LDAP - 通过搜索绑定实现用户和组的映射,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
直接绑定和搜索绑定
因为使用直接绑定方式,会导致集群无法被多个团队的多个角色混用。举个例子,我们有这样的场景:
- 用户 a1 属于组 A,组 A 对应 Sentry 中的 dev 角色;
- 用户 a2 属于组 A,组 A 对应 Sentry 中的 dev 角色;
- 用户 b1 属于组 B,组 B 对应 Sentry 中的 ops 角色;
- 用户 b2 属于组 B,组 B 对应 Sentry 中的 ops 角色;
在直接绑定方式下,我们是达不到需求的,因为我们的 LDAP 目前没有用户和组的映射概念。为什么这么说?我们现在的 LDAP 节点关系在 ou
下,只有一层,直接就是用户uid
了。假设我们定义了用户 a1
的 dn
为 uid=a1,ou=people,dc=domain,dc=com
,同时我们也用一样的方式定义了 a2
, b1
, b2
三个用户。所以我们需要引入搜索绑定,多定义一层组的概念,才可以完成需求。也就是说 dn
应该长这样:uid=a1,cn=A,ou=groups,dc=domain,dc=com
,这里的 cn
就是组的概念。我们可以通过搜索绑定结合 LDAP
的 posix group / user
,实现用户和组的映射,达到细粒度的权限控制。目前笔者只做到了一级分组,也就是说当公司壮大了之后,层级繁多情况下,是需要多层级的分组的。不过就我在阿里的 HBASE
运维经验来看,不同 BU
也可以做集群物理隔离。尤其是在 docker
日益火热的当下,这也不是什么问题,甚至虚拟化也可以满足我们的需求。再者,公司面对的私/专有云输出用户,一层权限细分在近1年场景下是绝对足够的。
关于配置,很简单,但是当时也是研究一些时间(被虐了3天左右),因为对 LDAP 不熟悉么,呵呵。在 Cloudera Mnager 中修改 HUE 配置,使用搜索绑定
进行认证:
使用搜索绑定身份验证(Use Search Bind Authentication):search_bind_authentication = true
LDAP 搜索基础(LDAP Search Base):base_dn = dc=example,dc=com
LDAP 绑定用户可分辨名称(LDAP Bind User Distinguished Name):bind_dn = uid=ldapadmin,ou=people,dc=example,dc=com
LDAP 绑定密码(LDAP Bind Password):bind_password = ${BIND_PASSWORD}
LDAP 用户名属性(LDAP Username Attribute):user_name_attr = uid
上面属性与直接绑定相同,下面属性为搜索绑定新配置属性
LDAP 用户筛选(LDAP User Filter):user_filter = (objectClass=posixAccount)
LDAP 组筛选(LDAP Group Filter:group_filter = (|(objectClass=organizationalUnit)(objectClass=posixGroup))
LDAP 组名称属性(LDAP Group Name Attribute):group_name_attr = cn
LDAP 组成员身份属性(LDAP Group Membership Attribute):group_member_attr = memberUID # 非常重要,否则无法识别映射
- 我们开启了搜索绑定认证方式,搜索的基础过滤字符串为 dc=domain,dc=com ,表示我们只搜索 LDAP 中 dc=com 节点下的 dc=example 节点下的 dn (Distinguishied Name)。
- 在搜索的时候,我们使用的 dn 为
uid=ldapadmin,ou=people,dc=example,dc=com
,这相当于是我们的超级管理员账户 - LDAP 预先定义了多种关于账户的 objectClass,我们使用 posixAccount 作为后续的账户对象, 因为它具备和组映射相关的属性 gidNumber。
- 同时,我们使用 posixGroup 或 organizationalUnit 作为对组过滤的条件,前者具备核心属性 gidNumber 可以和 posixAccount 进行映射, 后者是因为我们之前在初始化的时候已经创建了一部分以 organizationalUnit 为基础的组(可以认为是公司的 BU 概念),是为了做到向后兼容。 posixGroup 还有一个非常关键的属性 memberUid ,它可以定义该组下面的成员列表,方便我们后续在 HUE 中按照组维度批量导入其下所有用户账户。
新建用户授权步骤
接下来我们谈谈如何正确的把 Unix / HDFS 用户导入到 LDAP 再导入到 HUE中,打通四者账户体系。
Unix / HDFS / LDAP / HUE / Sentry 账户体系
对于对接了 LDAP 作为默认账户管理的 HUE 而言,首先要有概念,整个链路上包含5个账户体系:
- Unix 账户,大数据服务端集群必须存在对应的用户/组,是基础账户数据,目前HDFS账户对它是强依赖和一一对应;
- HDFS 账户,因为我们默认配置的是 ShellBasedUnixAccount,所以和 Unix 账户是强映射的,大家可以仔细想下自己平时在终端怎么访问 HDFS 的;
- LDAP 账户,大数据 LDAP 服务,数据来自Unix账户;
- HUE账户,大数据前端分析平台账户,数据来自 LDAP;
- Sentry账户,其实 Sentry 使用的还是 HDFS 账户,但是从权限角度讲 Sentry 的 Role 对应了 HDFS 的组,这个概念映射要特别留意;
所以理论上的操作序列为:
- 在每一台部署有大数据服务的机器上,初始化 Unix 账户,当然 Cloudera 已经在部署的时候帮我们初始化了一系列账户,比如 hdfs, yarn, hive, hbase 等;
- 把 Unix 账户信息同步至 OpenLDAP;
- 把 OpenLDAP 的账户信息同步至 HUE;
- 在 HUE 中进行 Sentry 的权限分配;
下面详细说下如何操作, 我们需要的权限包括 Unix 服务器的 root 权限,用于创建用户和组。 LDAP 服务器的超级管理员权限,用于数据导入。 HUE 的超级管理员权限, 用于用户和组信息同步,和 Sentry 权限分配。
一、新建 Unix 组 / 账户
以用户 songxitang 为例,他属于 bigdata_ops 组, 在 bigdata 这个部门, 公司是 bocloud.com。我们在所有部署了 Cloudera Agent 的服务器上创建用户 songxitang, 从属组为 bigdata_ops, 假设 uid=1005,gid=1006。可以通过终端命令 id songxitang 查看 uid 和 gid。创建用户,并且使之从属于 bigdata_ops:
//添加用户songxitang默认组为songxitang
[root@master ~]# useradd songxitang
[root@master ~]# pssh -i -h slaves useradd songxitang
[1] 18:23:37 [SUCCESS] slave6
[2] 18:23:37 [SUCCESS] slave3
[3] 18:23:37 [SUCCESS] slave5
[4] 18:23:37 [SUCCESS] slave2
[5] 18:23:37 [SUCCESS] slave1
[6] 18:23:37 [SUCCESS] slave4
//添加组 bigdata_ops
[root@master ~]# groupadd bigdata_ops
[root@master ~]# pssh -i -h slaves groupadd bigdata_ops
[1] 18:24:37 [SUCCESS] slave5
[2] 18:24:37 [SUCCESS] slave6
[3] 18:24:37 [SUCCESS] slave1
[4] 18:24:37 [SUCCESS] slave3
[5] 18:24:37 [SUCCESS] slave2
[6] 18:24:37 [SUCCESS] slave4
//将用户songxitang的组改为bigdata_ops
[root@master ~]# usermod -g bigdata_ops songxitang
[root@master ~]# pssh -i -h slaves usermod -g bigdata_ops songxitang
[1] 18:25:42 [SUCCESS] slave6
[2] 18:25:42 [SUCCESS] slave5
[3] 18:25:42 [SUCCESS] slave2
[4] 18:25:42 [SUCCESS] slave3
[5] 18:25:42 [SUCCESS] slave4
[6] 18:25:42 [SUCCESS] slave1
//查看uid和gid
[root@master ~]# id songxitang
uid=1005(songxitang) gid=1006(bigdata_ops) groups=1006(bigdata_ops)
//修改密码,只修改Hue服务器上的用户就行?
[root@master ~]# passwd songxitang
Changing password for user songxitang.
New password:
BAD PASSWORD: The password contains the user name in some form
Retype new password:
passwd: all authentication tokens updated successfully.
切记, Unix 账户、LDAP 账户的密码必须一致,否则无法进行 Sentry 赋权
二、导入 Unix 组 / 账户至 LDAP
导入新用户和新组
我们当然可以使用 LDAP 的 GUI 工具进行工作,但是为了便于理解,我们使用 ldif
文件和 ldapadd
命令进行操作。
好,接下来我们尝试往 LDAP 中添加一个测试组 bigdata_ops
,先修改 ldif
文件 /tmp/create_group_bigdata_ops.ldif,其中定义了一个名为 bigdata 的ou,可以理解为大数据部门,定义了一个 bigdata_ops 的组,我们理解为大数据运维团队:
dn: cn=bigdata_ops,ou=bigdata,dc=example,dc=com
objectClass: top
objectClass: posixGroup
gidNumber: ${UNIX_GROUP_NUMBER} # 用Linux系统中实际的gid替换
memberUID: ${MEMBER_UID} # 用bigdata组下的用户的uid替换
description: ${DESCRIPTION_STIRNG} # 描述
使用 ldapadd 导入:
# ldapadd -x -D "uid=ldapadmin,ou=people,dc=example,dc=com" -W -f create_group_bigdata_ops.ldif
添加失败:
添加失败:
ldap_add no such object (32) matched dn dc=example,dc=com
解决方法:
I solved changing the OU on ldif file for one that exist.
故,需要在 LDAP中添加 ou=bigdata,dc=example,dc=com 的 organizationalUnit
然后在导入,成功:
# ldapadd -x -D "uid=ldapadmin,ou=people,dc=example,dc=com" -W -f create_group_bigdata_ops.ldif
在 LDAP 中添加 songxitang
用户,先创建 ldif
文件 create_user_songxitang.ldif,我们先不在这里定义密码,因为这样的话在执行
ldapsearch` 的时候所得到的密码属性是明文,并不安全:
dn: uid=songxitang,cn=bigdata_ops,ou=bigdata,dc=example,dc=com
objectClass: top
objectClass: inetOrgPerson
objectClass: posixAccount
objectClass: shadowAccount
givenName: xitang
sn: song
cn: songxitang
mail: songxitang@domain.com
telephoneNumber: 0101-3333333
mobile: 13111111111
uid: songxitang
uidNumber: 1005
gidNumber: 1006
homeDirectory: /home/songxitang
loginShell: /bin/bash
使用 ldapadd 导入:
ldapadd -x -D "uid=ldapadmin,ou=people,dc=example,dc=com" -W -f create_user_songxitang.ldif
使用 ldapmodify 修改密码:
ldappasswd -x -D "uid=ldapadmin,ou=people,dc=example,dc=com" -w root "uid=songxitang,cn=bigdata_ops,ou=bigdata,dc=example,dc=com" -S
再执行 search 的时候会发现多了一行 userPassword 属性,是加密后的密码:
# ldapsearch -x -D "uid=ldapadmin,ou=people,dc=example,dc=com" -w root -b "uid=songxitang,cn=bigdata_ops,ou=bigdata,dc=example,dc=com"
# songxitang, bigdata_ops, bigdata, example.com
dn: uid=songxitang,cn=bigdata_ops,ou=bigdata,dc=example,dc=com
objectClass: top
objectClass: inetOrgPerson
objectClass: posixAccount
objectClass: shadowAccount
givenName: xitang
sn: song
cn: songxitang
mail: songxitang@domain.com
telephoneNumber: 0101-3333333
mobile: 13111111111
uid: songxitang
uidNumber: 1005
gidNumber: 1006
homeDirectory: /home/songxitang
loginShell: /bin/bash
userPassword:: e1NTSEF9SE92bFdPeTBrdkpFdXlHcHEzbHVheHBUNUluR2RaMzA=
在已经存在的 LDAP 组添加用户
假设我们现在在已经存在的 bigdata_ops
组里想添加一个新的用户,我们该怎么做呢?以添加 gwcheng
用户为例,假设我们已经创建了 Unix
账户, uid
为 1002,也是从属于 bidata_ops
组。我们首先还是创建 ldif
文件 create_user_gwcheng.ldif
:
dn: uid=gwcheng,cn=bigdata_ops,ou=bigdata,dc=example,dc=com
objectClass: top
objectClass: inetOrgPerson
objectClass: posixAccount
objectClass: shadowAccount
givenName: cheng
sn: guangwei
cn: gwcheng
mail: gwcheng@domain.com
telephoneNumber: 0101-6666666
mobile: 1316666666
uid: gwcheng
uidNumber: 1002
gidNumber: 1006
homeDirectory: /home/gwcheng
loginShell: /bin/bash
导入gwcheng用户:
ldapadd -x -D "uid=ldapadmin,ou=people,dc=example,dc=com" -W -f create_user_gwcheng.ldif
添加组(bigdata_ops
)和用户(gwcheng
)的映射:
创建 ldif
文件 add_user_gwcheng_to_group_bigdata_ops.ldif
:
dn: cn=bigdata_ops,ou=bigdata,dc=example,dc=com
changetype: modify
add: memberUid
memberUid: gwcheng
修改上面的组和用户的映射:
ldapmodify -x -D "uid=ldapadmin,ou=people,dc=example,dc=com" -W -f add_user_gwcheng_to_group_bigdata_ops.ldif
至此,我们已经添加了两个用户 songxitang gwcheng 至分组 bigdata_ops。
三、添加 Principal (Optional)
如果不添加Principal的话,只能在 Hue WebGUI 界面中操作。不能再Terminal终端进行操作。
# kadmin.local -q "addprinc songxitang"
# kadmin.local -q "addprinc gwcheng"
四、同步 LDAP 组 / 账户至 HUE
请注意,LDAP 中的组对应 HUE 中的组,对应 Sentry 中的一个 Role。所有 LDAP 组下的用户,都具备该组对应 Role 的权限,这样就达到了同组用户同角色的目的。
使用 admin 身份登录 HUE,选择 Manage Users
-> Groups
-> Add/Sync LDAP Group
,输入组名称 bigdata_ops
,勾选Import new members
,点击Add/Sync group
,即完成导入,这个时候可以看到已经导入了 songxitang
和 gwcheng
两个用户。
五、Sentry权限控制
Hue
-> Security
-> Hive Tables
然后,以songxitang用户登录Hue,便可根据赋予的权限操作。
这篇关于Cloudera Manager 配置 LDAP - 通过搜索绑定实现用户和组的映射的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!