kylin cube segment合并

一、segment

        cube的计算是将每天的数据作为一个segment进行存储,一个segment对应hbase中的一张表。有多少个build任务就会有多少个segment,在hbase中就会有多少张表。

二、查询

        在指标平台进行报表查询时,选择了一个时间段,比如20170606-2070629,使用kylin进行查询时会扫描hbase中这段时间每一天segment对应的24张表来获取数据。

三、合并的好处

        将多个segment进行合并,会使多个表中的数据合并到一张表中。比如合并20170606-2070629这段时对应的segment,会将24张表中的数据合并到一张表里。再次查询这个时间段的数据时,只需扫描一张表即可。

四、注意事项

      1、合并的segment必须是连续的,中间不能有空缺。

      2、合并之后,其中某一天的数据,不能再单独重刷。

      3、对于需要往前刷多天数据的任务,多天之内的segment不宜合并。可选择多天之前的合并。

不要使用merge方法合并分区

直接通过提交build任务 进行合并  build完成后会自动删除被覆盖的segment

使用自动合并功能后发现数据有丢失现象,故需慎用。

评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值