LHon（学习笔记篇）——Kylin

最新推荐文章于 2024-03-12 11:03:25 发布
最新推荐文章于 2024-03-12 11:03:25 发布
阅读量215 收藏
点赞数 1
分类专栏： 学习笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zqwhh/article/details/104198805
版权
Apache Kylin是一个开源的分布式分析引擎，提供亚秒级的SQL查询接口和多维分析能力，支持超大规模数据。其特点包括标准SQL接口、支持超大数据集、亚秒级响应、可伸缩性和高吞吐率。Kylin通过预计算Cube和Cuboid，利用MapReduce或Spark进行快速查询。Kylin的核心算法包括逐层构建和快速构建，其中快速构建算法通过Mapper端预聚合减少数据传输和处理时间。
摘要由CSDN通过智能技术生成

文章目录

Kylin概述

Apache Kylin是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL查询接口及多维分析（OLAP）能力以及支持超大规模数据，最初由eBay开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。

Kylin特点

Kylin的主要特点包括支持SQL接口、支持超大规模数据集、亚秒级响应、可伸缩性、高吞吐率、BI工具集成等。

  • 标准SQL接口：Kylin是以标准的SQL作为对外服务的接口；
  • 支持超大数据集：Kylin对于大数据的支撑能力可能是目前所有技术中心最为领先的；
  • 亚秒级响应：Kylin拥有优异的查询响应速度，这点得益于预计算，很多复杂的计算，在离线的预计算过程中就已完成，提高了响应速度；
  • 可伸缩性和高吞吐率：单节点Kylin可实现每秒70个查询，还可以搭建Kylin的集群；
  • BI工具集成：Kylin可与现有的BI工具集成。
Kylin架构

在这里插入图片描述

Kylin工作原理

Apache Kylin的工作原理本质上是MOLAP(Multidimension On-Line Analysis Processing

最低0.47元/天 解锁文章
LHon
关注
专栏目录
理解Kylin中Cube、Cuboid、Cube Segment
杨鑫newlife的专栏
12-05 3664
Cube和Cuboid和Cube Segment Cuboid在kylin中指定在某一种维度组合下所有计算的数据； Cube（Data Cube），即数据立方体，是一种常用于数据分析与索引的基数；它可以对原始数据建立多维度索引。简单来说，一个Cube就是许多按维度聚合的物化视图的集合； Cube Segment是指针对源数据中的某一个片段，计算出...
kylin的Cube构建原理及优化
wenzi880607的专栏
05-21 1331
Kylin的Cube构建原理 cube的构建主要有两种算法：逐层构建算法、快速构建算法，无论是采用哪种算法，首先是从Hive表中拉取数据，根据配置的星型模型，把hive中涉及的表关联起来，并拉取所有的字段形成一个中间层的宽表，如图 然后根据落地中间表的数据生成cube 逐层构建算法： 一个N维的Cube,是由1个N维的立方体、N个（N-1）维子立方体、N*(N-1)/2个（N-2)维子立方体、.....、N个1维子立方体和1个0维子立方体构成，总共由2^N个子立方体组成，逐层算法中，就是按照
Linux学习 尚硅谷版（自备笔记方便查找）
最新发布
weixin_44764294的博客
03-12 1178
Linux内核最初只是芬兰人Linux Torvalds在赫尔辛基大学上学时处于个人爱好而编写的。Linux是一套免费使用和自 由传播的类Unix操作系统，是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的操作系统。Linux能运行主要的UNIX工具软件、应用程序和网络协议。它支持32位和64位硬件。Linux继承 了Unix以网络为核心的设计思想，是一个性能稳定的多用户网络操作系统。
Kylin大数据实战学习教程
11-26
本课程为专题课，通过全面讲解Kylin架构原理、分布式集群搭建以及项目案例，让你快速掌握Kylin实时大数据BI技术，从而解决海量数据多维指标动态计算耗时问题、复杂条件筛选问题以及跨月、季度、年等大时间区间查询问题。
LHon（学习笔记）——分析OOM产生原因
七生
08-12 531
文章目录JVMOOM堆内存的OOMHeap Dumpjmapjstack JVM 在弄清楚OOM产生的原因之前，我们务必要搞清楚Java的内存模型，也就是JVM，这可以参考我之前的一个学习笔记 JVM学习笔记 先来看一下要用到的JVM的一些参数： 参数名称 含义 -Xms 初始堆大小 -Xmx 最大堆大小 -Xmn 年轻代大小 -Xss 每个线程的堆栈大小 -XX:+HeapDumpOnOutOfMemoryError 目录下生成堆的Dump文件 当初始化堆内存容量
LHon（学习笔记篇）——浅谈聚簇索引与非聚簇索引
七生
08-11 336
索引简介 索引是帮助MySQL高效获取数据的数据结构，常见的有HASH、B+ Tree两种数据结构。现在主要讲解B+ Tree这种数据结构，B+ Tree在不同存储引擎中的表现形式是不一样的：在Innodb中，其被称为聚簇索引，在MyISAM中，其被称为非聚簇索引。 索引数据结构的演变 1、二叉查找树 这种树的特点就是左子树值小于根节点的值，右子树值大于根节点的值，当数据以1，2，3，4…的顺序插入时（如下图），将会形成一条链，其查询相当于全表扫描，加了索引毫无意义。 2、平衡二叉树 它解决了二叉查
"深度学习与眼科生物技术：人工智能对视网膜病变的诊断影响
生命科学中的人工智能1（2021）100018审查深度学习能否彻底改变视神经病变的临床理解和诊断Mohana Devi Subramaniama，Abishek Kumar Ba，Ruth Bright Chirayatha，Aswathy P Naira，Mahalaxmi Iyerb，Balachandar ...
国内首个！博雅辑因基因编辑疗法临床申请获CDE受理，最快60天获许可-1
m0_47891641的博客
10-28 801
今日，博雅辑因宣布中国国家药品监督管理局药品审评中心（CDE）已经受理其针对输血依赖型β地中海贫血的基因编辑疗法产品 ET-01 的临床试验申请。博雅辑因是一家以基因组编辑技术为基础，针对多种疾病加速药物研究并开发创新疗法的生物医药企业。 这是中国首个获受理的基因编辑疗法临床试验申请。 仅在过去的一年半中，至少有 11 项基因编辑研发项目在美国、欧盟进入临床开发阶段，其中有 6 项基于 CRISPR 基因编辑系统。在地中海贫血症方面，目前，利用基因编辑疗法治疗 β 地中海贫血症已成...
Kylin cuboid算法修改
Hello World
04-04 4315
缘由    近期由于发现线上cube的构建时间太慢（一个项目的cube构建前一天的数据一般需要170分钟左右），目前我们接入的应用才三个，如果后期接入更多的cube之后会导致更慢的cube构建速度，于是深入了解了一下cuboid是如何确定的，看了代码之后发现和我们预想的不一样，于是经过咨询社区之后也觉得之前的算法是存在一定的问题（2.x版本已经对此做了修改），因此就准备对cuboid的计算进行修改
【Kylin】Kylin中的cube构建
Hello World
12-20 2万+
kylin如何构建cube的，从原始数据（hive）到目标数据（hbase）的过程。
OLAP引擎——Kylin介绍
热门推荐
Hello World
08-30 4万+
最近一直在学习和使用kylin，分享一下学习的收获以及对kylin的理解~
kylin build过程详解
resemble的博客
01-25 3225
目录 1. 计算cuboid文件 1.1 生成原始数据（Create Intermediate Flat Hive Table） 1.2 创建事实表distinct column文件（Extract Fact Table Distinct Columns） １.3 创建维度词典（Build Dimension Dictionary） 1.4 计算生成BaseCuboid文件（Build ...
Apache Kylin（麒麟）
Su_Levi_Wei的博客
04-25 4447
为什么需要Kylin？ Hadoop帮助我们解决了海量数据的存储。 早期使用Hadoop的MapReduce计算模型，太慢了，只能做离线计算，无法做实时计算与迭代式计算。 Spark应运而生，并带动了Scala语言的发展，Spark的MapReduce计算模型比Hadoop的MapReduce计算模型性能提升了数十倍。 在现今的企业发...
Apache Kylin Cube 构建原理
liuwei0376的专栏
07-21 2271
转载于：  http://blog.bcmeng.com/post/kylin-cube.html 谢谢原作者分享 作者: 康凯森 日期: 2016-10-06 分类: OLAP Apache Kylin 是什么OLAP 是什么Kylin如何实现超大数据集的秒级多维分析查询Kylin的预计算是如何实现的Cube 和 Cuboid是什么Cuboid 的维度
如何计算cuboid的数量
美伊小公主的超级奶爸的专栏
12-20 1250
针对用户配置了各种Select Rules, 如何确定最终的cuboid数量呢? 知道了如何评估cuboid数量，也就可以评估出计算量的大小。 设有: A, B, C, D, E, F, G, H, I 这9个维度, 那么cuboid的总数为2^9 = 512个. 是怎么计算出来的呢? 两种方法:     1 C09 + C19 + C29 + C39 + C49 + ..... C99
原来Kylin的增量构建，大有学问（理解Cube、Cuboid与Segment的关系）
积一时之步，臻千里之遥程
12-11 653
转载自：原来Kylin的增量构建，大有学问!（理解Cube、Cuboid与Segment的关系） 作者：大数据梦想家         本篇博客，博主为大家介绍的是关于Kylin的增量构建的步骤过程，以及其与全量构建的差异对比！看完之后，相信你也一定能够感受到这里面的大学问~ 文章目录 Kylin增量构建应用场景理解Cube、Cuboid与Segment的关系全量构建与增量构建全量构建增量构建全量构建和增量构建的对比
Kylin原理解析
huahuaxiaoshao的博客
07-22 2149
1 概述       Apache Kylin是一个开源的分布式分析引擎，提供Hadoop/Spark智商的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据。       注：OLAP（Online Analytical Process），联机分析处理或在线分析。       最初由eBay开发并贡献至开发社区，它能在亚
Kylin - 05 cuboid以及cube优化
BF-Lone Silver Wind 的博客
01-14 495
Cuboid = one combination of dimensions Cube = all combination of dimensions (all cuboids) 按照dimension(维度)大小顺序排序，从Base Cuboid开始，依次基于上一层Cuboid的结果进行再聚合。每一层的计算都是一个单独 的Map Reduce（Spark）任务。 理论上来说，一个N维的Cub...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值