Java系列：登陆Kerberos认证的HDFS集群，并查看HDFS特定目录

已于 2022-01-22 13:17:58 修改
阅读量920 收藏
点赞数
分类专栏： 大数据 文章标签： Java系列 Kerberos认证 HDFS集群 查看特定目录下文件
于 2022-01-21 22:15:07 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhengzaifeidelushang/article/details/122629347
版权
大数据 专栏收录该内容
537 篇文章 549 订阅 ¥49.90 ¥99.00
订阅专栏
这篇博客介绍了如何在Java中进行Kerberos认证，以便登录HDFS集群并查看特定目录下的文件。首先在application.properties配置文件中设定HDFS集群和Kerberos相关信息，接着在pom.xml中添加必要的依赖。然后通过UserGroupInformation.loginUserFromKeytabAndReturnUGI方法获取Kerberos票据，设置Hadoop集群信息并利用FileSystem访问HDFS。最后提供详尽的代码注释指导读者实现整个过程。
摘要由CSDN通过智能技术生成

Java系列：登陆Kerberos认证的HDFS集群，并查看特定目录下文件


Hadoop集群采用了Kerberos认证，要使用Java访问HDFS、Hive或其他组件时，需要先进行认证登陆，才可以访问hdfs或者hive。
在这里插入图片描述

一、application.properties中指定登陆Kerberos认证的HDFS集群所需的信息

  • Hadoop集群名称
  • hadoop集群的core-site.xml配置文件
  • hadoop集群的hdfs-site.xml配置文件
  • Kerberos配置文件krb5.conf
  • 指定kerberos认证过的用户
  • 指定用户使用的keytab文件名，用户使用keytab认证登陆HDFS集群
ClusterName: hdfs://optics-cdh
了解本专栏 订阅专栏 解锁全文
快乐骑行^_^
关注
专栏目录
订阅专栏
Java系列：登陆Kerberos认证的HDFS集群，并实现往hdfs指定目录写入文件
zhengzaifeidelushang的博客
01-22 818
Java系列：登陆Kerberos认证的HDFS集群，并实现往hdfs指定目录写入文件一、application.properties中指定登陆Kerberos认证的HDFS集群所需的信息二、配置Hadoop集群配置信息和kerberos用户认证信息1.读取application.properties获取配置文件2.设置Kerberos登陆信息3.设置hadoop集群信息三、写文件到HDFS指定目录四、详细注释登陆Kerberos认证的HDFS集群并写文件到HDFS特定目录的完整代码 Hadoop集群采用了
Java连接kerberos认证hdfs集群
学习笔记
01-11 4335
Java连接kerberos认证hdfs集群代码展示 代码展示 package com.geotmt.ai.core.util; import com.geotmt.ai.core.common.exception.ServiceException; import org.apache.commons.lang3.StringUtils; import org.apache.hadoop.con...
java hdfs kerberos_java应用访问开启了kerberos验证的HDFS集群
weixin_29421565的博客
02-13 426
一般情况下，我们想要使用java客户端访问hdfs集群，只需要客户端指定hdfs namenode地址即可；但是开启了kerberos验证的hdfs集群则不行，需要先通过kerberos验证后方可访问hdfs集群。我创建的是maven项目，pom.xml文件的内容如下：xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"xsi:schemaLo...
03、Kerberos安全认证之配置和访问Kerberos安全认证的Hadoop集群学习笔记
最新发布
每个人都是独一无二的，把握好自己的节奏，跟着自己的心走。
07-11 1136
03、Kerberos安全认证之配置和访问Kerberos安全认证的Hadoop集群学习笔记
【HDFS】java api操作hdfs（kerberos认证）
依旧的博客
08-17 667
https://blog.csdn.net/lhxsir/article/details/80363278
Java api读取kerberos模式HDFS
weixin_42473019的博客
04-16 280
maven依赖 <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-common --> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> &
HDFS的Java客户端操作代码(查看HDFS下所有的文件或目录)
weixin_30871701的博客
01-09 502
1.查看HDFS下所有的文件或目录 1 package Hdfs; 2 3 import java.io.IOException; 4 import java.net.URI; 5 import org.apache.hadoop.conf.Configuration; 6 import org.apache.hadoop.fs.FileStatus; 7 ...
Java系列之：把Hive表数据以parquet格式保存到Kerberos认证的HDFS上
zhengzaifeidelushang的博客
01-22 624
Java系列之：把Hive表数据以parquet格式保存到Kerberos认证的HDFS上一、hive表结构二、pom.xml添加依赖三、登陆Kerberos认证的HDFS集群所需信息四、代码设置Kerberos登陆信息五、设置hadoop集群信息六、设置Kerberos认证和Hadoop集群信息完整代码七、设置Hive表结构八、获取上个小时时间生成hdfs路径九、设置parquet参数十、添加需要存储到hive表数据十一、把Hive表数据以parquet格式保存到Kerberos认证的HDFS上完整详细注
python3.6.5基于kerberos认证的hive和hdfs连接调用方式
09-16
总的来说，使用Kerberos认证的Python连接Hive和HDFS需要安装正确的依赖、配置Kerberos环境，并正确地编写Python代码来利用Kerberos进行身份验证。这个过程虽然复杂，但是一旦设置成功，就能提供安全且可靠的访问控制...
java hdfs kerberos_使用Kerberos安全读取HDFS文件
weixin_36368404的博客
02-13 285
使用指南导入依赖包compilegroup:'org.apache.hadoop',name:'hadoop-hdfs',version:'2.7.6'compilegroup:'org.apache.hadoop',name:'hadoop-common',version:'2.7.6'krb5.conf 文件(从KDC服务器上复制下来)[libdefaults]rene...
通过java api操作hdfs（kerberos认证）
hellozhxy的博客
11-30 1700
参考代码如下 import java.net.URI; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.*; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.io.Text; import org.apache.had...
Java 访问Kerberos认证的HDFS
gmHappy
07-23 593
一、前言 HDFS已完成Kerberos认证，可参照：https://gaoming.blog.csdn.net/article/details/118958406 二、功能实现 2.1 Maven依赖 <properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <project.reporting.outputEncoding>UTF-8</proj
java通过ssh登录linux并执行kerberos命令
syf12354321的博客
05-21 788
pom.xml <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> </dependency> <dependency> <...
java认证Kerberos主动登录
争当鲲鹏飞万里 不做燕雀恋子巢
03-27 6005
一、hive主动登录 // 设置jvm启动时krb5的读取路径参数 System.setProperty("java.security.krb5.conf", propertie.getProperty("kerberos.krb5.path")); if(configuration == null){ configuration = new Con...
java通过kerberos权限认证集成hdfs
qq_37928228的博客
04-25 1739
java通过kerberos权限认证集成hdfs，并操作hdfs实现增删查、赋权、目录配额等功能
Java代码通过Kerberos连接HDFS
qq_32486597的博客
01-15 3482
Java代码通过Kerberos连接hdfs
HDFS
weixin_44722737的博客
05-26 269
安装 请点击下载hadoop-2.6.4 解压到 /home/hdfs/hadoop 1 useradd hdfs // 创建hdfs用户 2 passwd hdfs // 设置hdfs用户的登陆密码 3 su hdfs // 切换到hdfs用户登陆 4 cd ~ // 进入hdfs的家目录 5 rz // 上传windows本地的文件到此家目录 6 tar -zxvf hadoop-2.6.4....
HDFS 集成 Kerberos
mnasd的博客
09-20 2646
本文主要记录 CDH Hadoop 集群上配置 HDFS 集成 Kerberos 的过程，包括 Kerberos 的安装和 Hadoop 相关配置修改说明。注意：下面第一、二部分内容，摘抄自《》，主要是为了对 Hadoop 的认证机制和 Kerberos 认证协议做个简单介绍。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

快乐骑行^_^

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值