Java系列：登陆Kerberos认证的HDFS集群，并实现往hdfs指定目录写入文件

已于 2022-01-22 13:21:42 修改
阅读量851 收藏
点赞数 1
分类专栏： 大数据平台二次开发 文章标签： java系列 Kerberos HDFS集群 写入文件到HDFS
于 2022-01-22 10:30:15 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhengzaifeidelushang/article/details/122630695
版权
大数据平台二次开发 专栏收录该内容
103 篇文章 146 订阅 ¥19.90 ¥99.00
订阅专栏
这篇博客详细介绍了如何使用Java进行Kerberos认证，连接到HDFS集群，并实现将文件写入指定目录的过程。内容包括在`application.properties`配置登陆信息，添加相关依赖，设置Kerberos登陆与Hadoop集群信息，以及完整的实现代码和文件检查。
摘要由CSDN通过智能技术生成

Java系列：登陆Kerberos认证的HDFS集群，并实现往hdfs指定目录写入文件


Hadoop集群采用了Kerberos认证，要使用Java访问HDFS、Hive或其他组件时，需要先进行认证登陆，才可以访问hdfs或者hive，才能实现往hdfs指定目录写入文件。

一、application.properties中指定登陆Kerberos认证的HDFS集群所需的信息

  • Hadoop集群名称
  • hadoop集群的core-site.xml配置文件
  • hadoop集群的hdfs-site.xml配置文件
  • Kerberos配置文件krb5.conf
  • 指定kerberos认证过的用户
  • 指定用户使用的keytab文件名，用户使用keytab认证登陆HDFS集群
ClusterName: hdfs://optics-cdh
corePath: /project/learn/src/mai
了解本专栏 订阅专栏 解锁全文
快乐骑行^_^
关注
专栏目录
订阅专栏
Java系列之：把Hive表数据以parquet格式保存到Kerberos认证的HDFS上
zhengzaifeidelushang的博客
01-22 640
Java系列之：把Hive表数据以parquet格式保存到Kerberos认证的HDFS上一、hive表结构二、pom.xml添加依赖三、登陆Kerberos认证的HDFS集群所需信息四、代码设置Kerberos登陆信息五、设置hadoop集群信息六、设置Kerberos认证和Hadoop集群信息完整代码七、设置Hive表结构八、获取上个小时时间生成hdfs路径九、设置parquet参数十、添加需要存储到hive表数据十一、把Hive表数据以parquet格式保存到Kerberos认证的HDFS上完整详细注
Java 访问Kerberos认证的HDFS
gmHappy
07-23 622
一、前言 HDFS已完成Kerberos认证，可参照：https://gaoming.blog.csdn.net/article/details/118958406 二、功能实现 2.1 Maven依赖 <properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <project.reporting.outputEncoding>UTF-8</proj
Java连接kerberos认证hdfs集群
学习笔记
01-11 4385
Java连接kerberos认证hdfs集群代码展示 代码展示 package com.geotmt.ai.core.util; import com.geotmt.ai.core.common.exception.ServiceException; import org.apache.commons.lang3.StringUtils; import org.apache.hadoop.con...
通过java api操作hdfs（kerberos认证）
hellozhxy的博客
11-30 1716
参考代码如下 import java.net.URI; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.*; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.io.Text; import org.apache.had...
java测试kerberos(kdc)认证的hadoop集群的hdfs的读写
老专家的博客
01-20 2082
使用springboot，加可配置的参数来动态验证 java程序对于kerberos认证的hadoop集群访问，尤其是在初次使用java连接kerberos时，用户名，keytab文件等等问题 //pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4...
java通过ssh登录linux并执行kerberos命令
syf12354321的博客
05-21 804
pom.xml <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> </dependency> <dependency> <...
java认证Kerberos主动登录
争当鲲鹏飞万里 不做燕雀恋子巢
03-27 6032
一、hive主动登录 // 设置jvm启动时krb5的读取路径参数 System.setProperty("java.security.krb5.conf", propertie.getProperty("kerberos.krb5.path")); if(configuration == null){ configuration = new Con...
【总结】Datax 同步数据到有kerberos认证的集群hdfs相关问题简单记录
weixin_42130167的博客
01-18 1867
参考链接： 1、(2条消息) 记一次datax hdfswriter的踩坑记（上传文件到hdfs的坑）_果汁华的博客-CSDN博客_datax hdfswrite 2、HdfsWriter写文件报错 · Issue #54 · alibaba/DataX (github.com) 背景：需要使用Datax把业务数据从MySQL同步到hadoop集群 1、json文件增加Kerberos认证的相关属性： 查看$HADOOP_HOME/etc/hadoop/hdfs-site.xml，找到认证的相关.
flink写入带kerberos认证的kudu connector
03-24
这包括创建Kerberos principal（主体），生成keytabs（密钥文件）并分发给需要认证的客户端。 - **创建principal**：使用`kadmin.local`或`kadmin`命令创建与Flink作业相关的principal。 - **生成keytab**：为...
Java HDFS Kerberos 认证
行人事，知天命
06-19 7999
Kerberos 认证 代码如下： package com.gridsum.datasocket; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.LocatedFileStatus; import org.apac...
java通过kerberos权限认证集成hdfs
最新发布
qq_37928228的博客
04-25 1916
java通过kerberos权限认证集成hdfs，并操作hdfs实现增删查、赋权、目录配额等功能
Java 访问kerberos认证的HDFS文件
热门推荐
tomly_csdn
05-10 1万+
1、创建Maven项目，导入以下依赖，必须： &lt;dependency&gt; &lt;groupId&gt;org.apache.hadoop&lt;/groupId&gt; &lt;artifactId&gt;hadoop-common&lt;/artifactId&gt; &lt;version&gt;2.6.0&lt;/version&gt;
Java系列：登陆Kerberos认证的HDFS集群，并查看HDFS特定目录
zhengzaifeidelushang的博客
01-21 953
Hadoop集群采用了Kerberos认证，要使用Java访问HDFS、Hive或其他组件时，需要先进行认证登陆，才可以访问hdfs或者hive。 一、application.properties中指名登陆Kerberos认证的HDFS集群所需的信息 Hadoop集群名称 hadoop集群的core-site.xml配置文件 hadoop集群的hdfs-site.xml配置文件 Kerberos配置文件krb5.conf 指定kerberos认证过的用户 指定用户使用的keytab文件名，用户使用keyt
Java访问kerberos认证的HDFS文件
IBoyMan
01-15 2332
Kerberos是一种计算机网络授权协议，用来在非安全网络中，对个人通信以安全的手段进行身份认证。 具体HADOOP的访问HDFS使用Kerberos的作用和原理请自己查阅相关文档。 之前做项目时第一次使用Kbs访问HDFS,当时不了解，翻阅资料搞了好久，也入了不少坑，现分享出来，方便大家。 下面代码在项目亲测过，可用 代码如下： package zqmKerberos; impor...
Java代码通过Kerberos连接HDFS
qq_32486597的博客
01-15 3541
Java代码通过Kerberos连接hdfs
JAVA通过kerberos认证登陆调起HDFS-进行HDAOOP文件上传下载成功版
weixin_33924220的博客
05-12 1380
2019独角兽企业重金招聘Python工程师标准>>> ...
java hdfs kerberos_java操作HDFS相关demo（TDH，kerberos认证）
weixin_33258222的博客
02-13 296
public class Test {private static Configuration conf;private static FileSystem fs;//开启kerberos认证static {System.setProperty("java.security.krb5.conf", "D:\\HDFS-test\\krb5.conf");conf=new Configuration...
Flink读取HDFS上分的文本通过Kerberos认证
qq_32486597的博客
01-18 2396
Flink读取HDFS通过Kerberos
Hadoop HDFS文件写入机制深度解析
资源摘要信息: "Hadoop HDFS写入文件原理详解共2页.pdf.zip" 在探讨Hadoop HDFS（Hadoop Distributed File System）的写入文件原理之前，我们需要了解HDFS的设计理念和核心组件。HDFS是Hadoop的一部分，用于存储...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

快乐骑行^_^

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值