大数据集群安全组件解析(含代码)

作者 : 开心源码 本文共627个字,预计阅读时间需要2分钟 发布时间: 2022-05-12 共147人阅读

大数据集群的基本是数据以及使用于计算的资源,企业将相应的数据和资源开放给对应的使用户用,防止被窃取、破坏等,这些都涉及到大数据安全。基于以上关键点,考虑到美图公司原有的系统较为庞大复杂,在第一阶段内我们采取轻量级的改造方案进行了大数据集群安全的初探究,接下来通过本文与大家交流相关经验。

因为美图的大数据集群安全迫在眉睫,主要需求有以下几个方面:

  • 支持多组件,最好能支持当前公司技术栈的主要组件,HDFS、HBASE、HIVE、YARN、STORM、KAFKA 等;
  • 支持细粒度的权限控制,可以达到 HIVE 列,HDFS 目录,HBASE 列,YARN 队列,STORM 拓扑,KAKFA 的 TOPIC;
  • 开源,社区活跃,按照现有的集群改情况造改动尽可能的小,而且要符合业界的趋势。

选择大数据安全组件

有了集群安全的需求的下一步就是选择合适的大数据安全组件,目前比较常见的安全方案主要有三种:Kerberos(业界比较常使用的方案)、Apache Sentry(Cloudera 选使用的方案,cdh 版本中集成)和Apache Ranger(Hortonworks 选使用的方案,hdp 发行版中集成)。

Kerberos

Kerberos 是一种基于对称密钥的身份认证协议,作为一个独立的第三方的身份认证服务,可以为其它服务提供身份认证功能,且支持 SSO。

*SSO,即 Single Sign On单点登录。用户端身份认证后,可以访问多个服务,如 HBase/HDFS 等。

大数据集群安全组件解析(含代码)

图 1:Kerberos 原理图

说明
1. 本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长!
2. 分享目的仅供大家学习和交流,您必须在下载后24小时内删除!
3. 不得使用于非法商业用途,不得违反国家法律。否则后果自负!
4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
5. 如有链接无法下载、失效或广告,请联系管理员处理!
6. 本站资源售价只是摆设,本站源码仅提供给会员学习使用!
7. 如遇到加密压缩包,请使用360解压,如遇到无法解压的请联系管理员
开心源码网 » 大数据集群安全组件解析(含代码)

发表回复