子清的博客

‍。

1 维度建模关键概念1.1 度量和环境1.2 事实和维度在维度建模中，度量称为事实，上下文和环境称为维度。1.3 事实表事实常以数值形式出现，而且一般都被大量文本形式的上下文包围着。这些文本形式的上下文描述了事实的“5个w”（when、where、what、who、why）信息事实表的一行对应一个度量事件。维度建模认为事实表应该包含最底层、最原子性的细节，因为这样会带来最大的灵活性。事实表中最常用的度量一般是数值型和可加类型。但事实表的度量并非都是可加的，有些是半可加性质的，另一些则是非可

0.下载（oozie 安装包较大，下载可能需要较长时间）链接: https://pan.baidu.com/s/1vzKDuPrWSgt7ECaUzE9iXw 提取码: vmtv 复制这段内容后打开百度网盘手机App，操作更方便哦1.解压 Oozietar -zxvf oozie-4.1.0-cdh5.14.2.tar.gz2.在 oozie 根目录下解压 oozie-hadooplibs-4.1.0-cdh5.14.2.tar.gzcd oozie-4.1.0-cdh5.14.2tar -z

0.资源下载链接: https://pan.baidu.com/s/1EJGXy19x70081pl1MkxfDw 提取码: xn63 复制这段内容后打开百度网盘手机App，操作更方便哦1.快速入门将下载好的压缩包解压（注意：上级目录不能有中文）将mysql-connector-java-5.1.38.jar复制到lib文件夹下面进入目录data-integration，双击Spoon.bat启动（第一次记载比较慢）启动成功，点击右上角connect新建配置仓库注意：不能有中文

在编写HQL的过程中，很多逻辑需要反复使用。这时我们可以使用宏对这段逻辑进行提炼，起到优化开发效率、提升程序可读性的效果（尤其是括号嵌套很多层、case-when嵌套很多层的时候）。举个例子：create temporary macro sayhello (x string) concat('hello,',x,'!');select sayhello('程序员'); --输出：hello,程序员!在上面的的代码中，首先我们定义了一个名为sayhello的宏，输入参数为一个字符串x，输出为对x的拼接

我们之前学习的转换算子是无法访问事件的时间戳信息和水位线信息的。而这在一些应用场景下，极为重要。例如MapFunction这样的map转换算子就无法访问时间戳或者当前事件的事件时间。基于此，DataStream API提供了一系列的Low-Level转换算子。可以访问时间戳、watermark以及注册定时事件。还可以输出特定的一些事件，例如超时事件等。Process Function用来构建事件驱动的应用以及实现自定义的业务逻辑(使用之前的window函数和转换算子无法实现)。例如，Flink S

总览Window 是flink处理无限流的核心,Windows将流拆分为有限大小的“桶”，我们可以在其上应用计算。Flink 认为 Batch 是 Streaming 的一个特例，所以 Flink 底层引擎是一个流式引擎，在上面实现了流处理和批处理。而窗口（window）就是从 Streaming 到 Batch 的一个桥梁。Flink 提供了非常完善的窗口机制。在流处理应用中，数据是连续不断的，因此我们不可能等到所有数据都到了才开始处理。当然我们可以每来一个消息就处理一

netty包版本冲突报错代码java.lang.NoSuchMethodError: io.netty.buffer.PooledByteBufAllocator.defaultNumHeapArena()I at org.apache.spark.network.util.NettyUtils.createPooledByteBufAllocator(NettyUtils.java:113) at org.apache.spark.network.client.TransportClientFac

前言Apache Flink（下简称Flink）项目是大数据处理领域最近冉冉升起的一颗新星，其不同于其他大数据项目的诸多特性吸引了越来越多人的关注。本文将深入分析Flink的一些关键技术与特性，希望能够帮助读者对Flink有更加深入的了解，对其他大数据系统开发者也能有所裨益。本文假设读者已对MapReduce、Spark及Storm等大数据处理框架有所了解，同时熟悉流处理与批处理的基本概念。文章转载自：深入理解Flink核心技术一.Flink简介Flink核心是一个流式的数据流执行引擎，其针对数据流

Presto安装链接: https://pan.baidu.com/s/18FnTB_0KiQ-5D9ZyHHc7Kg 提取码: tijp 复制这段内容后打开百度网盘手机App，操作更方便哦1 Presto Server安装0）官网地址https://prestodb.github.io/1）下载地址https://repo1.maven.org/maven2/com/facebook/presto/presto-server/0.196/presto-server-0.196.tar.gz2

kylin安装后进行启动，然后登录kylin的web页面，出现了404问题，查看kylin的日志后发现报错：2021-02-13 08:22:21,791 ERROR [localhost-startStop-1] context.ContextLoader:350 : Context initialization failedorg.springframework.beans.factory.BeanCreationException: Error creating bean with name 'o

文章目录Kylin安装1 Kylin依赖环境2 Kylin搭建3 Kylin兼容性问题4 Kylin启动Kylin安装1 Kylin依赖环境安装Kylin前需先部署好Hadoop、Hive、Zookeeper、HBase，并且需要在/etc/profile中配置以下环境变量HADOOP_HOME，HIVE_HOME，HBASE_HOME，记得source使其生效。2 Kylin搭建1）上传Kylin安装包apache-kylin-3.0.2-bin.tar.gz链接: https://pan.b

datagrip连接Hive客户端1）启动datagrip后的初始页面2）连接hive客户端3）启动hiveserver2hiveserver2出现4个id启动成功4）配置连接hive客户端参数5）显示gmall数据库6）显示控制台7）在控制台上选择操作gmall数据库常用配置1）进入配置页面2）修改字体大小通过鼠标滚动，设置字体大小。...

文章目录datagrip安装1.资源下载2.安装datagrip激活datagrip汉化datagrip安装1.资源下载链接: https://pan.baidu.com/s/13VbH0dKmt4pQG_AYmJNZGQ 提取码: vjyw 复制这段内容后打开百度网盘手机App，操作更方便哦2.安装1）双击datagrip-2019.3.5_2.exe2）进入欢迎页面，点击next3）是否卸载旧的版本4）修改安装路径5）后面所有步骤，一路下一步，直到完成。datagrip激活

有些版本的superset查询中文结果会有乱码，解决办法如下在后面添加?charset=utf8当然要把xxxxxx这个加密的密码重新输入一遍

Superset使用1 对接MySQL数据源1.1 安装依赖(superset) [atguigu@hadoop102 ~]$ conda install mysqlclient说明：对接不同的数据源，需安装不同的依赖，以下地址为官网说明http://superset.apache.org/installation.html#database-dependencies1.2 重启Superset(superset) [atguigu@hadoop102 ~]$ superset.sh res

Superset安装及使用Superset官网地址：http://superset.apache.org/1 安装Python环境Superset是由Python语言编写的Web应用，要求Python3.6的环境。1.1 安装Minicondaconda是一个开源的包、环境管理器，可以用于在同一个机器上安装不同Python版本的软件包及其依赖，并能够在不同的Python环境之间切换，Anaconda包括Conda、Python以及一大堆安装好的工具包，比如：numpy、pandas等，Minico