namenode HA hadoop client API写数据操作配置

最新推荐文章于 2024-04-27 01:26:35 发布

zhongzehuang

最新推荐文章于 2024-04-27 01:26:35 发布

阅读量298

点赞数

分类专栏： hadoop 文章标签： hadoop hdfs

本文链接：https://blog.csdn.net/zhongzehuang/article/details/88320398

版权

本文介绍了在Hadoop HDFS高可用（HA）环境中，如何配置Hadoop客户端进行数据写入操作，特别是在使用kerberos认证的场景下。在解决过程中，作者遇到了问题并分享了成功配置的代码和注意事项，强调了使用FileSystem.get(config)方法的重要性，避免出现Authentication异常。

摘要由CSDN通过智能技术生成

背景

由于项目需要，需要把数据写入大数据平台的HDFS，大数据平台使用kerberos认证，且做了HA。由于之前没有使用过这种场景，在网上找了一圈，并且踩了几个坑，终于搞定。以下是代码和注释。

代码

public Configuration getConfig() throws Exception {
    // 设置java安全krb5配置，根据实际情况配置
    System.setProperty("java.security.krb5.realm", "HADOOP.COM");
    System.setProperty("java.security.krb5.kdc", "10.218.22.12");
    System.setProperty("java.security.krb5.conf", "/etc/krb5.conf");

    Configuration conf = new Configuration();
    //以下是hadoop相关配置，需要参考hdfs-site.xml配置文件
    conf.set("fs.defaultFS", "hdfs://hdpnm2");
    conf.set("dfs.nameservices", "hdpnm2");
    conf.set("dfs.ha.namenodes.hdpnm2", "nm1,nm2");
    conf.set("dfs.namenode.rpc-address.hdpnm2.nm1", "namenode01");
    conf.set("dfs.namenode.rpc-address.hdpnm2.nm2