用户认证——Kerberos集成Hadoop的配置

最新推荐文章于 2024-07-11 00:29:13 发布
最新推荐文章于 2024-07-11 00:29:13 发布
阅读量3.2k 收藏 12
点赞数 2
文章标签： hadoop 大数据 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhangzhagn_/article/details/126190054
版权

1 创建Hadoop系统用户

为Hadoop开启Kerberos，需为不同服务准备不同的用户，启动服务时需要使用相应的用户。须在所有节点创建以下用户和用户组。

创建hadoop组

[root@hadoop102 ~]# groupadd hadoop

 hadoop103和hadoop104做同样的操作。

创建各用户并设置密码

[root@hadoop102 ~]# useradd hdfs -g hadoop

[root@hadoop102 ~]# echo hdfs | passwd --stdin  hdfs

[root@hadoop102 ~]# useradd yarn -g hadoop

[root@hadoop102 ~]# echo yarn | passwd --stdin yarn

[root@hadoop102 ~]# useradd mapred -g hadoop

[root@hadoop102 ~]# echo mapred | passwd --stdin mapred

 hadoop103和hadoop104做同样的操作。

2 Hadoop Kerberos配置

2.1 为Hadoop各服务创建Kerberos主体（Principal）

主体格式如下：ServiceName/HostName@REALM，例如 dn/hadoop102@EXAMPLE.COM

1.各服务所需主体如下

2.创建主体

1）在所有节点创建keytab文件目录

[root@hadoop102 ~]# mkdir /etc/security/keytab/

[root@hadoop102 ~]# chown -R root:hadoop /etc/security/keytab/

[root@hadoop102 ~]# chmod 770 /etc/security/keytab/

  hadoop103和hadoop104做同样的操作。

2）以下命令在hadoop102节点执行

NameNode（hadoop102）

[root@hadoop102 ~]# kadmin -padmin/admin -wadmin -q"addprinc -randkey nn/hadoop102"

[root@hadoop102 ~]# kadmin -padmin/admin -wadmin -q"xst -k /etc/security/keytab/nn.service.keytab nn/hadoop102"

DataNode（hadoop102）

[root@hadoop102 ~]# kadmin -padmin/admin -wadmin -q"addprinc -randkey dn/hadoop102"

[root@hadoop102 ~]# kadmin -padmin/admin -wadmin -q"xst -k /etc/security/keytab/dn.service.keytab dn/hadoop102"

NodeManager（hadoop102）

[root@hadoop102 ~]# kadmin -padmin/admin -wadmin -q"addprinc -randkey nm/hadoop102"

[root@hadoop102 ~]# kadmin -padmin/admin -wadmin -q"xst -k /etc/security/keytab/nm.service.keytab nm/hadoop102"

JobHistory Server（hadoop102）

[root@hadoop102 ~]# kadmin -padmin/admin -wadmin -q"addprinc -randkey jhs/hadoop102"

[root@hadoop102 ~]# kadmin -padmin/admin -wadmin -q"xst -k /etc/security/keytab/jhs.service.keytab jhs/hadoop102"

Web UI（hadoop102）

[root@hadoop102 ~]# kadmin -padmin/admin -wadmin -q"addprinc -randkey HTTP/hadoop102"

[root@hadoop102 ~]# kadmin -padmin/admin -wadmin -q"xst -k /etc/security/keytab/spnego.service.keytab HTTP/hadoop102"

查看[root@hadoop102 ~]# cd /etc/security/keytab/

2）以下命令在hadoop103执行

ResourceManager（hadoop103）

[root@hadoop103 ~]# kadmin -padmin/admin -wadmin -q"addprinc -randkey rm/hadoop103"

[root@hadoop103 ~]# kadmin -padmin/admin -wadmin -q"xst -k /etc/security/keytab/rm.service.keytab rm/hadoop103"

DataNode（hadoop103）

[root@hadoop103 ~]# kadmin -padmin/admin -wadmin -q"addprinc -randkey dn/hadoop103"

[root@hadoop103 ~]# kadmin -padmin/admin -wadmin -q"xst -k /etc/security/keytab/dn.service.keytab dn/hadoop103"

NodeManager（hadoop103）

[root@hadoop103 ~]# kadmin -padmin/admin -wadmin -q"addprinc -randkey nm/hadoop103"

[root@hadoop103 ~]# kadmin -padmin/admin -wadmin -q"xst -k /etc/security/keytab/nm.service.keytab nm/hadoop103"

Web UI（hadoop103）

[root@hadoop103 ~]# kadmin -padmin/admin -wadmin -q"addprinc -randkey HTTP/hadoop103"

[root@hadoop103 ~]# kadmin -padmin/admin -wadmin -q"xst -k /etc/security/keytab/spnego.service.keytab HTTP/hadoop103"

3）以下命令在hadoop104执行

DataNode（hadoop104）

[root@hadoop104 ~]# kadmin -padmin/admin -wadmin -q"addprinc -randkey dn/hadoop104"

[root@hadoop104 ~]# kadmin -padmin/admin -wadmin -q"xst -k /etc/security/keytab/dn.service.keytab dn/hadoop104"

Secondary NameNode（hadoop104）

[root@hadoop104 ~]# kadmin -padmin/admin -wadmin -q"addprinc -randkey sn/hadoop104"

[root@hadoop104 ~]# kadmin -padmin/admin -wadmin -q"xst -k /etc/security/keytab/sn.service.keytab sn/hadoop104"

NodeManager（hadoop104）

[root@hadoop104 ~]# kadmin -padmin/admin -wadmin -q"addprinc -randkey nm/hadoop104"

[root@hadoop104 ~]# kadmin -padmin/admin -wadmin -q"xst -k /etc/security/keytab/nm.service.keytab nm/hadoop104"

Web UI（hadoop104）

[root@hadoop104 ~]# kadmin -padmin/admin -wadmin -q"addprinc -randkey HTTP/hadoop104"

[root@hadoop104 ~]# kadmin -padmin/admin -wadmin -q"xst -k /etc/security/keytab/spnego.service.keytab HTTP/hadoop104"

4.修改所有节点keytab文件的所有者和访问权限

[root@hadoop102 ~]# chown -R root:hadoop /etc/security/keytab/

[root@hadoop102 ~]# chmod 660 /etc/security/keytab/*

  hadoop103和hadoop104做同样的操作。

2.2  修改Hadoop配置文件

1.core-site.xml

[root@hadoop102 ~]# vim /opt/module/hadoop-3.1.3/etc/hadoop/core-site.xml

增加以下内容

<!-- Kerberos主体到系统用户的映射机制 -->
<property>
  <name>hadoop.security.auth_to_local.mechanism</name>
  <value>MIT</value>
</property>

<!-- Kerberos主体到系统用户的具体映射规则 -->
<property>
  <name>hadoop.security.auth_to_local</name>
  <value>
    RULE:[2:$1/$2@$0]([ndj]n\/.*@EXAMPLE\.COM)s/.*/hdfs/
    RULE:[2:$1/$2@$0]([rn]m\/.*@EXAMPLE\.COM)s/.*/yarn/
    RULE:[2:$1/$2@$0](jhs\/.*@EXAMPLE\.COM)s/.*/mapred/
    DEFAULT
  </value>
</property>

<!-- 启用Hadoop集群Kerberos安全认证 -->
<property>
  <name>hadoop.security.authentication</name>
  <value>kerberos</value>
</property>

<!-- 启用Hadoop集群授权管理 -->
<property>
  <name>hadoop.security.authorization</name>
  <value>true</value>
</property>

<!-- Hadoop集群间RPC通讯设为仅认证模式 -->
<property>
  <name>hadoop.rpc.protection</name>
  <value>authentication</value>
</property>

2.hdfs-site.xml

[root@hadoop102 ~]# vim /opt/module/hadoop-3.1.3/etc/hadoop/hdfs-site.xml

增加以下内容

<!-- 访问DataNode数据块时需通过Kerberos认证 -->
<property>
  <name>dfs.block.access.token.enable</name>
  <value>true</value>
</property>

<!-- NameNode服务的Kerberos主体,_HOST会自动解析为服务所在的主机名 -->
<property>
  <name>dfs.namenode.kerberos.principal</name>
  <value>nn/_HOST@EXAMPLE.COM</value>
</property>

<!-- NameNode服务的Kerberos密钥文件路径 -->
<property>
  <name>dfs.namenode.keytab.file</name>
  <value>/etc/security/keytab/nn.service.keytab</value>
</property>

<!-- Secondary NameNode服务的Kerberos主体 -->
<property>
  <name>dfs.secondary.namenode.keytab.file</name>
  <value>/etc/security/keytab/sn.service.keytab</value>
</property>

<!-- Secondary NameNode服务的Kerberos密钥文件路径 -->
<property>
  <name>dfs.secondary.namenode.kerberos.principal</name>
  <value>sn/_HOST@EXAMPLE.COM</value>
</property>

<!-- NameNode Web服务的Kerberos主体 -->
<property>
  <name>dfs.namenode.kerberos.internal.spnego.principal</name>
  <value>HTTP/_HOST@EXAMPLE.COM</value>
</property>

<!-- WebHDFS REST服务的Kerberos主体 -->
<property>
  <name>dfs.web.authentication.kerberos.principal</name>
  <value>HTTP/_HOST@EXAMPLE.COM</value>
</property>

<!-- Secondary NameNode Web UI服务的Kerberos主体 -->
<property>
  <name>dfs.secondary.namenode.kerberos.internal.spnego.principal</name>
  <value>HTTP/_HOST@EXAMPLE.COM</value>
</property>

<!-- Hadoop Web UI的Kerberos密钥文件路径 -->
<property>
  <name>dfs.web.authentication.kerberos.keytab</name>
  <value>/etc/security/keytab/spnego.service.keytab</value>
</property>

<!-- DataNode服务的Kerberos主体 -->
<property>
  <name>dfs.datanode.kerberos.principal</name>
  <value>dn/_HOST@EXAMPLE.COM</value>
</property>

<!-- DataNode服务的Kerberos密钥文件路径 -->
<property>
  <name>dfs.datanode.keytab.file</name>
  <value>/etc/security/keytab/dn.service.keytab</value>
</property>

<!-- 配置NameNode Web UI 使用HTTPS协议 -->
<property>
  <name>dfs.http.policy</name>
  <value>HTTPS_ONLY</value>
</property>

<!-- 配置DataNode数据传输保护策略为仅认证模式 -->
<property>
  <name>dfs.data.transfer.protection</name>
  <value>authentication</value>
</property>

3.yarn-site.xml

[root@hadoop102 ~]# vim /opt/module/hadoop-3.1.3/etc/hadoop/yarn-site.xml

增加以下内容

<!-- Resource Manager 服务的Kerberos主体 -->
<property>
  <name>yarn.resourcemanager.principal</name>
  <value>rm/_HOST@EXAMPLE.COM</value>
</property>

<!-- Resource Manager 服务的Kerberos密钥文件 -->
<property>
  <name>yarn.resourcemanager.keytab</name>
  <value>/etc/security/keytab/rm.service.keytab</value>
</property>

<!-- Node Manager 服务的Kerberos主体 -->
<property>
  <name>yarn.nodemanager.principal</name>
  <value>nm/_HOST@EXAMPLE.COM</value>
</property>

<!-- Node Manager 服务的Kerberos密钥文件 -->
<property>
  <name>yarn.nodemanager.keytab</name>
  <value>/etc/security/keytab/nm.service.keytab</value>
</property>

4.mapred-site.xml

[root@hadoop102 ~]# vim /opt/module/hadoop-3.1.3/etc/hadoop/mapred-site.xml

增加以下内容

<!-- 历史服务器的Kerberos主体 -->
<property>
  <name>mapreduce.jobhistory.keytab</name>
  <value>/etc/security/keytab/jhs.service.keytab</value>
</property>

<!-- 历史服务器的Kerberos密钥文件 -->
<property>
  <name>mapreduce.jobhistory.principal</name>
  <value>jhs/_HOST@EXAMPLE.COM</value>
</property>

 5.分发以上修改的配置文件

[root@hadoop102 ~]# xsync /opt/module/hadoop-3.1.3/etc/hadoop/core-site.xml

[root@hadoop102 ~]# xsync /opt/module/hadoop-3.1.3/etc/hadoop/hdfs-site.xml

[root@hadoop102 ~]# xsync /opt/module/hadoop-3.1.3/etc/hadoop/yarn-site.xml

[root@hadoop102 ~]# xsync /opt/module/hadoop-3.1.3/etc/hadoop/mapred-site.xml

2.3 配置HDFS使用HTTPS安全传输协议

1.生成密钥对

1）生成 keystore的密码及相应信息的密钥库

[root@hadoop102 ~]# keytool -keystore /etc/security/keytab/keystore -alias jetty -genkey -keyalg RSA

 查看密钥库里面的内容

[root@hadoop102 keytab]# keytool -keystore keystore -list

2）修改keystore文件的所有者和访问权限

[root@hadoop102 ~]# chown -R root:hadoop /etc/security/keytab/keystore

[root@hadoop102 ~]# chmod 660 /etc/security/keytab/keystore

3）将该证书分发到集群中的每台节点的相同路径

[root@hadoop102 ~]# xsync /etc/security/keytab/keystore

 4）修改hadoop配置文件ssl-server.xml.example，

 修改文件名为ssl-server.xml

[root@hadoop102 hadoop]# mv ssl-server.xml.example ssl-server.xml
[root@hadoop102 hadoop]# vim ssl-server.xml

修改以下参数

<!-- SSL密钥库路径 -->
<property>
  <name>ssl.server.keystore.location</name>
  <value>/etc/security/keytab/keystore</value>
</property>

<!-- SSL密钥库密码 -->
<property>
  <name>ssl.server.keystore.password</name>
  <value>123456</value>
</property>

<!-- SSL可信任密钥库路径 -->
<property>
  <name>ssl.server.truststore.location</name>
  <value>/etc/security/keytab/keystore</value>
</property>

<!-- SSL密钥库中密钥的密码 -->
<property>
  <name>ssl.server.keystore.keypassword</name>
  <value>123456</value>
</property>

<!-- SSL可信任密钥库密码 -->
<property>
  <name>ssl.server.truststore.password</name>
  <value>123456</value>
</property>

 分发

[root@hadoop102 hadoop]# xsync ssl-server.xml

2.4  配置Yarn使用LinuxContainerExecutor

1）修改所有节点的container-executor所有者和权限，要求其所有者为root，所有组为hadoop（启动NodeManger的yarn用户的所属组），权限为6050。其默认路径为$HADOOP_HOME/bin

[root@hadoop102 hadoop]# cd /opt/module/hadoop-3.1.3/bin/
[root@hadoop102 bin]# ll

[root@hadoop102 ~]# chown root:hadoop /opt/module/hadoop-3.1.3/bin/container-executor

[root@hadoop102 ~]# chmod 6050 /opt/module/hadoop-3.1.3/bin/container-executor

 hadoop103 和hadoop104做相同的操作。

2）修改所有节点的container-executor.cfg文件的所有者和权限，要求该文件及其所有的上级目录的所有者均为root，所有组为hadoop（启动NodeManger的yarn用户的所属组），权限为400。其默认路径为$HADOOP_HOME/etc/hadoop

[root@hadoop102 bin]# cd /opt/module/hadoop-3.1.3/etc/hadoop/

[root@hadoop102 ~]# chown root:hadoop /opt/module/hadoop-3.1.3/etc/hadoop/container-executor.cfg

[root@hadoop102 ~]# chown root:hadoop /opt/module/hadoop-3.1.3/etc/hadoop

[root@hadoop102 ~]# chown root:hadoop /opt/module/hadoop-3.1.3/etc

[root@hadoop102 ~]# chown root:hadoop /opt/module/hadoop-3.1.3

[root@hadoop102 ~]# chown root:hadoop /opt/module

[root@hadoop102 ~]# chmod 400 /opt/module/hadoop-3.1.3/etc/hadoop/container-executor.cfg

  hadoop103 和hadoop104做相同的操作。

在hadoop102上查看一下

3）修改$HADOOP_HOME/etc/hadoop/container-executor.cfg

[root@hadoop102 opt]# cd /opt/module/hadoop-3.1.3/etc/hadoop/
[root@hadoop102 hadoop]# vim container-executor.cfg

4）修改$HADOOP_HOME/etc/hadoop/yarn-site.xml文件

[root@hadoop102 ~]# vim $HADOOP_HOME/etc/hadoop/yarn-site.xml

增加以下内容

<!-- 配置Node Manager使用LinuxContainerExecutor管理Container -->
<property>
  <name>yarn.nodemanager.container-executor.class</name>
  <value>org.apache.hadoop.yarn.server.nodemanager.LinuxContainerExecutor</value>
</property>

<!-- 配置Node Manager的启动用户的所属组 -->
<property>
  <name>yarn.nodemanager.linux-container-executor.group</name>
  <value>hadoop</value>
</property>

<!-- LinuxContainerExecutor脚本路径 -->
<property>
  <name>yarn.nodemanager.linux-container-executor.path</name>
  <value>/opt/module/hadoop-3.1.3/bin/container-executor</value>
</property>

5）分发container-executor.cfg和yarn-site.xml文件

[root@hadoop102 ~]# xsync $HADOOP_HOME/etc/hadoop/container-executor.cfg

[root@hadoop102 ~]# xsync $HADOOP_HOME/etc/hadoop/yarn-site.xml

 

丝丝呀
关注
Hadoop 配置 Kerberos 认证_hadoop kerberos认证
2401_84185182的博客
04-27 524
rw-r–r–. 1 root root 1298 10月 5 17:14 bd_ca_cert。-rw-r–r–. 1 root root 1834 10月 5 17:14 bd_ca_key。
Hadoop平台安全机制Kerberos认证
医疗影像检索
03-06 6061
日前笔者在使用flume采集数据直接入到Hadoop平台HDFS上时，由于Hadoop平台采用了Kerberos认证机制。flume配置上是致辞kerberos认证的，但由于flume要采集的节点并不在集群内，所以需要学习Kerberos在Hadoop上的应用。 1、Kerberos协议 Kerberos协议： Kerberos协议主要用于计算机网络的身份鉴别(Authenticatio
Hadoop 配置 Kerberos 认证
zhy1379的博客
10-15 4538
kinit: Invalid Uid in persistent keyring name while getting default ccache Cannot contact any KDC for realm KrbException: Message stream modified (41) kinit: relocation error: kinit: symbol krb5_get_init_creds_opt_set_pac_request, 提交 spark on yarn
03、Kerberos安全认证之配置和访问Kerberos安全认证的Hadoop集群学习笔记
最新发布
每个人都是独一无二的，把握好自己的节奏，跟着自己的心走。
07-11 1174
03、Kerberos安全认证之配置和访问Kerberos安全认证的Hadoop集群学习笔记
KerberOS Hadoop 认证安装配置
Jerry的博客
01-26 4019
1. 关闭 selinux vim /etc/sysconfig/selinux 2. 安装 yum 源配置参考 https://blog.csdn.net/Jerry_991/article/details/118910505 3. 安装 kerberos 的 server 端（一般找一台单独的机器） yum install -y krb5-ibs krb5-server krb5-workstation (查看 yum list | grep krb 中是否有安装软件) ...
Hadoop部署和配置Kerberos安全认证
05-17
Hadoop部署和配置Kerberos安全认证全套流程。已经过实测并部署与生产环境。
大数据安全-kerberos技术-hadoop安装包，hadoop版本：hadoop-3.3.4.tar.gz
06-06
本资源提供的是Hadoop的大数据安全组件——Kerberos的集成安装包，具体版本为hadoop-3.3.4.tar.gz，这是一款针对Hadoop进行安全配置的重要工具。 Hadoop是一个开源的分布式计算框架，它允许在大规模集群上存储和...
大数据集群集成kerberos
bananaPing的博客
04-04 622
1.背景 2.什么是kerberos 3.kerberos原理浅析 4.kerberos基础操作 5.大数据集成kerberos 1.背景 近几年，在各大网站上总会时不时的看到一些因为数据安全问题被大面积攻击、勒索的事件。 这种数据安全问题尤其是在大数据时代显得更加凸显。； 在Hadoop初期版本之前，Hadoop没有提供一个有效的安全支持，默认集群内所有角色都是可靠的，用户访问服务时，不需要进...
hadoop安全机制Kerberos详细介绍
cqboy1991的专栏
01-26 5130
Kerberos 1、Kerberos是一个基于共享密钥对称加密的安全网络认证系统，它避免了将密码（包括密码hash）在网上传输，而是将密码作为对称加密的密钥，通过能不能解密来验证用户的身份； 2、Kerberos在验证完用户身份后会发给用户Ticket，这个Ticket包含了用户的授权，用户拿着这个Ticket去享受各种服务，所以在Kerberos管理的范围内用户只需要登录一次就可以
hadoop-2.6.0.tar.gz&hadoop-2.6.0-cdh5.16.2.tar.gz
02-17
这里我们将深入探讨两个重要的Hadoop 2.6.0发行版——Apache版和Cloudera的CDH版。 Apache Hadoop 2.6.0是Hadoop生态系统中的一个里程碑，它在2.4.0的基础上进行了一系列优化，提升了系统的稳定性和可扩展性。在这...
Kerberos (二) --------- Hadoop Kerberos 配置
在森林里麋了鹿
11-01 1486
Hadoop Kerberos 配置
hadoop 添加kerberos认证
hua840812的专栏
03-21 4018
参考Cloudera官方文档：Configuring Hadoop Security in CDH3 一、部署无kerberos认证的Hadoop环境 参考另一篇笔记：hadoop集群部署 或者按照Cloudera的官方文档：CDH3 Installation Guide. 二、环境说明 1、主机名 之前部署hadoop集群时，没有使
最新Hadoop 配置 Kerberos 认证_hadoop kerberos认证，2024年最新阿里三面
2401_84184638的博客
05-08 1130
网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！ yarn.log.server.url https://bigdata
Hadoop的安全模式——hadoop2.2.0的Kerberos的配置
may_violin的专栏
11-17 2735
我的环境： Red Hat Enterprise Linux Server release 5.5 （查看系统版本的命令：lsb_release -a）  64位 Java 环境：jdk1.7.0_51 Hadoop环境：最先开始使用的是未编译的hadoop2.3.0，最后使用的是编译过的hadoop2.2.0。二者配置过程差不多，但是64位的系统一定要先编译源码！！！ 1.had
clickhouse连hadoop集群配置(带kerberos认证)
huawuqing的博客
10-12 1787
clickhouse连hadoop集群配置——增加KERBEROS及HDFS支持
hadoop之kerberos权限配置（ranger基础上）（三）
weixin_40496191的博客
01-02 4315
kerberos+ranger+kerberos权限控制
Hadoop（HDP）集群kerberos认证实现方案
蘑菇丁的专栏
03-08 6400
Hadoop（HDP）集群kerberos认证实现方案 ！！出于安全问题，本文隐藏了部分系统名称及服务名称，修改了部分可能造成信息泄露的部分。部分配置为虚拟机配置文件副本，相关主机名称仅供参考。 ！！本文适用于HDP部署了ambari平台的kerberos认证操作。其他环境供参考。 文档中相关图片不上传了。 部署环境：Hadoop2.7.3 HDP2.5.3 本文档参考了
CentOS6.5中Hadoop与Kerberos安全集成配置详解
总结，Hadoop安全验证集成Kerberos是一项复杂的过程，涉及到多个步骤，包括环境准备、用户创建、网络配置、Kerberos服务的安装与配置，以及Hadoop配置的调整。这个过程确保了Hadoop集群在提供高效数据处理能力的同时...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值