大数据
文章平均质量分 80
zxf126126
这个作者很懒,什么都没留下…
展开
-
一、kylin介绍
目录离线OLAP需求多维立方体(Cube)概念Kylin中的数据模型Kylin构建步骤数据在Hbase存储格式查询优化常见问题离线OLAP需求1. 即席查询:指用户在BI系统上通过拖拽现有的查询维度和度量的方式来完成一些临时的数据分析需求。这类需求属于交互式查询,对响应时间有较高的要求(20s)2. 固化查询:对一些固化下来的取数、看数的需求...原创 2019-04-30 16:07:26 · 476 阅读 · 0 评论 -
二、kylin优化
目录1、为什么要优化2、从哪些方面去优化3、根据业务需求减少子Cube数目4、避免高基维度参与太多维度组合5、优化Hbase-RowKey,提高查询效率6、其他优化方法1、为什么要优化(1)kylin主要通过空间换时间的方式来提高查询性能,但是如果cube的所有子cube(2的n次方-1 个)都构建出来,会占用很多计算和存储资源,并且很多子cube的...原创 2019-04-30 16:18:22 · 535 阅读 · 0 评论 -
三、kylin读写分离集群部署
1、部署图注意:1、在kylin服务机器上hbase shell 作为存储Hbase集群的客户端,配置需要存储集群的客户端配置,cdh 的hbase配置路径在/etc/hbase/conf下,hbase-site.xml 中不能包含hdfs的信息,不然计算集群会使用Hbase的hdfs配置,只包含zk的信息即可2、hadoop 的配置包含计算集群的所有配置,需要在hdfs-s...原创 2019-04-30 16:22:36 · 1002 阅读 · 1 评论