Iceberg从入门到精通系列之十四:合并文件和元数据管理

Iceberg从入门到精通系列之十四:合并文件和元数据管理

一、合并文件

  • 合并指定数据库和表目录下的文件
import org.apache.hadoop.conf.Configuration;
import org.apache.iceberg.Table;
import org.apache.iceberg.catalog.TableIdentifier;
import org.apache.iceberg.flink.actions.Actions;
import org.apache.iceberg.hadoop.HadoopCatalog;

public class RewriteDataFileDemo {
    public static void main(String[] args) {

        //1.创建catalog对象
        Configuration conf = new Configuration();
        HadoopCatalog hadoopCatalog = new HadoopCatalog(conf, "hdfs://hadoop1:8020/warehouse/spark-iceberg/");

        //2.通过catalog加载Table对象

        Table table = hadoopCatalog.loadTable(TableIdentifier.of("default", "order"));


        //3.通过Actions来操作合并
        Actions.forTable(table)
                .rewriteDataFiles()
                .targetSizeInBytes(1024L)
                .execute();
    }
}

二、Iceberg表元数据管理

Table 接口提供对表元数据的访问:

  • schema:返回当前表模式
  • spec:返回当前表分区规范
  • properties:返回键值属性的映射
  • currentSnapshot:返回当前表快照
  • snapshots:返回表的所有有效快照
  • snapshot(id):按 ID 返回特定快照
  • location:返回表的基位置

表还提供刷新以将表更新到最新版本,并公开帮助程序:

  • io 返回用于读写表文件的FileIO
  • locationProvider 返回用于创建数据和元数据文件路径的 LocationProvider

三、Iceberg表元数据管理代码实现

        //1.创建catalog对象
        Configuration conf = new Configuration();
        HadoopCatalog hadoopCatalog = new HadoopCatalog(conf, "hdfs://hadoop1:8020/warehouse/spark-iceberg/");

        //2.通过catalog加载Table对象

        Table table = hadoopCatalog.loadTable(TableIdentifier.of("default", "order"));

        //有table对象就可以访问元数据
        System.out.println(table.history());
        System.out.println(table.expireSnapshots().expireOlderThan(12));
  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

最笨的羊羊

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值