给老板减刑系列之hadoop 安全缺陷分析之一:kerberos 的缺陷

2024-06-04 00:48

本文主要是介绍给老板减刑系列之hadoop 安全缺陷分析之一:kerberos 的缺陷,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

近一年来从事金融数据安全架构方面工作,对大数据平台安全重要性有了一些新的思考。最近看了Steve Loughran先生写的本书《Hadoop and Kerberos: The Madness Beyond the Gate》,写作风格幽默风趣,但是国内对大数据平台的安全考虑的文章的确较少,今年6月1号的网络安全法颁布之后,中小型公司不得不开始重视数据安全。顺便吐槽一下,看了他在youtobe上面的视频演讲,真是人不可貌像、海水不可斗量,当然比好多人知道鄙人真名后,对我呵呵两声好多了。本系列文章主要是分析Hadoop安全现状和源码,个人能力有限,麻烦各位大神及时斧正。


  • 很多公司都采用了kerberos作为Hadoop的安全基石,但是keberos本身的缺陷我们需要了解,接下来内容会结合Steve的观点,来分析kerberos的不足。
  • Kerberos 被认为是在安全的分布式系统方面是最好的。设计tickets去限制KDC的负载,当principal需要一个ticket的时候才会与其通信,而不是每次请求都必须验证其合法性。
  • Hadoop 进程间可以使用代理tokens 保证了使用原始principal得以传递认证。Hadoop 核心服务使用代理tokens
    作为认证用户,并准许这个用户发布的服务。如果不了解Hadoop的代理token,建议用户详细阅读:“Hadoop Security Design” Owen O’Malley, Kan Zhang, Sanjay Radia, Ram Marti, and Christopher Harrell。
  • tickets和tokens具有时效性,这意味着即使被盗取,被盗用使用的时间只限制在tokens的寿命之内。kerberos客户端可以部署到Window、Linux,OS/X和java runtime,这意味着kerberos使用比较广泛,安全风险也大。kerberos只是三头狗,不是万能的神,已知的缺陷如下:

1、KDC 有单点风险,除非设置HA系统(Aictive Directory 可以做到这一点,目前apache directoryserver 也可以做到这一点);

2、访问压力可能使KDC过载;分布式服务使用Kerberos 必须做到这一点,KDC无法承受高负载请求;为什么Hadoop 要使用代理tokens的原因也是如此;

3、服务之间的通信通道也需要安全认证,kerberos不保证数据加密;如果通信通道不安全,tickets 可能会被拦截或者通信伪造;

4、机器之前需要保证时间的精确一致性,不然具备时限的tockens不会正常工作;这个在分布式领域是一个典型的问题,Paxos &Raft协议也必须保证时间的一致性;

5、如果机器间的时间没有被安全管理,理论上可能延长被盗token的使用时间;

6、被盗用的token可以拿来直接访问服务,在KDC是没有访问日志的。每一个application需要拥有自己的以用户为单位的审计日志,这样才能保证被盗的ticket可被追踪,比如在Hadoop里面HDFS审计日志;

7、这是一个仅仅认证服务:验证caller的合法性并准许给caller传递认证信息,他不处理任何授权信息;

如果需要关注更多kerberos细节问题,可以参考: Kerberos in the Crosshairs: Golden Tickets,Silver Tickets, MITM, and More

参考文章:

1)https://steveloughran.gitbooks.io/kerberos_and_hadoop/content/sections/what_is_kerberos.html
2)“Hadoop Security Design” Owen O’Malley, Kan Zhang, Sanjay Radia, Ram Marti, and Christopher Harrell。

这篇关于给老板减刑系列之hadoop 安全缺陷分析之一:kerberos 的缺陷的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1028591

相关文章

Redis主从/哨兵机制原理分析

《Redis主从/哨兵机制原理分析》本文介绍了Redis的主从复制和哨兵机制,主从复制实现了数据的热备份和负载均衡,而哨兵机制可以监控Redis集群,实现自动故障转移,哨兵机制通过监控、下线、选举和故... 目录一、主从复制1.1 什么是主从复制1.2 主从复制的作用1.3 主从复制原理1.3.1 全量复制

Redis主从复制的原理分析

《Redis主从复制的原理分析》Redis主从复制通过将数据镜像到多个从节点,实现高可用性和扩展性,主从复制包括初次全量同步和增量同步两个阶段,为优化复制性能,可以采用AOF持久化、调整复制超时时间、... 目录Redis主从复制的原理主从复制概述配置主从复制数据同步过程复制一致性与延迟故障转移机制监控与维

Redis连接失败:客户端IP不在白名单中的问题分析与解决方案

《Redis连接失败:客户端IP不在白名单中的问题分析与解决方案》在现代分布式系统中,Redis作为一种高性能的内存数据库,被广泛应用于缓存、消息队列、会话存储等场景,然而,在实际使用过程中,我们可能... 目录一、问题背景二、错误分析1. 错误信息解读2. 根本原因三、解决方案1. 将客户端IP添加到Re

Redis主从复制实现原理分析

《Redis主从复制实现原理分析》Redis主从复制通过Sync和CommandPropagate阶段实现数据同步,2.8版本后引入Psync指令,根据复制偏移量进行全量或部分同步,优化了数据传输效率... 目录Redis主DodMIK从复制实现原理实现原理Psync: 2.8版本后总结Redis主从复制实

锐捷和腾达哪个好? 两个品牌路由器对比分析

《锐捷和腾达哪个好?两个品牌路由器对比分析》在选择路由器时,Tenda和锐捷都是备受关注的品牌,各自有独特的产品特点和市场定位,选择哪个品牌的路由器更合适,实际上取决于你的具体需求和使用场景,我们从... 在选购路由器时,锐捷和腾达都是市场上备受关注的品牌,但它们的定位和特点却有所不同。锐捷更偏向企业级和专

Spring中Bean有关NullPointerException异常的原因分析

《Spring中Bean有关NullPointerException异常的原因分析》在Spring中使用@Autowired注解注入的bean不能在静态上下文中访问,否则会导致NullPointerE... 目录Spring中Bean有关NullPointerException异常的原因问题描述解决方案总结

python中的与时间相关的模块应用场景分析

《python中的与时间相关的模块应用场景分析》本文介绍了Python中与时间相关的几个重要模块:`time`、`datetime`、`calendar`、`timeit`、`pytz`和`dateu... 目录1. time 模块2. datetime 模块3. calendar 模块4. timeit

python-nmap实现python利用nmap进行扫描分析

《python-nmap实现python利用nmap进行扫描分析》Nmap是一个非常用的网络/端口扫描工具,如果想将nmap集成进你的工具里,可以使用python-nmap这个python库,它提供了... 目录前言python-nmap的基本使用PortScanner扫描PortScannerAsync异

Oracle数据库执行计划的查看与分析技巧

《Oracle数据库执行计划的查看与分析技巧》在Oracle数据库中,执行计划能够帮助我们深入了解SQL语句在数据库内部的执行细节,进而优化查询性能、提升系统效率,执行计划是Oracle数据库优化器为... 目录一、什么是执行计划二、查看执行计划的方法(一)使用 EXPLAIN PLAN 命令(二)通过 S

Spring Security 从入门到进阶系列教程

Spring Security 入门系列 《保护 Web 应用的安全》 《Spring-Security-入门(一):登录与退出》 《Spring-Security-入门(二):基于数据库验证》 《Spring-Security-入门(三):密码加密》 《Spring-Security-入门(四):自定义-Filter》 《Spring-Security-入门(五):在 Sprin