数据仓库实践之业务数据矩阵的设计

怀疑有如草木之芽,从真理之根萌生... 0x00 概述 数据仓库的设计不能完全依赖于业务的需求,但又必须服务于业务的价值。那么,该如何地从业务的角度出发,设计一套切实可行的数据仓库呢? 本文将分享数据仓库实践中的业务数据矩阵的设计经验,帮助大家在工作中快速理解业务并规划数据仓库体系。 ...

2019-01-01 11:40:52

阅读数 418

评论数 0

漫谈数据仓库和范式

0x00 概述 长期从事数据仓库的你,是否还记得数据库设计中的三大范式?在设计数据仓库的表时,是否考虑过规范化和反规范化之间的区别?是否想过数据仓库和数据库在设计中对范式考虑的侧重点是什么? 本文,将包含如下几个方面: 一起回顾数据库设计中经典的三大范式 聊一聊数据仓库和范式之...

2018-12-27 17:33:29

阅读数 242

评论数 0

一种通用的数据仓库分层方法

0x00 概述 数据分层是数据仓库设计中十分重要的一个环节,优秀的分层设计能够让整个数据体系更易理解和使用。而目前网络中大部分可以被检索到相关文章只是简单地提及数据分层的设计,或缺少明确而详细的说明,或缺少可落地实施的方案,或缺少具体的示例说明。 因此,本文将指出一种通用的数据仓库分层方法,具...

2018-12-27 17:31:21

阅读数 634

评论数 4

数据质量监控:如何让老板相信你的数据?

0x00 概述 随着大数据时代的带来,数据的应用也日趋繁茂,越来越多的应用和服务都基于数据而建立,数据的重要性不言而喻。**而且,数据质量是数据分析和数据挖掘结论有效性和准确性的基础,也是这一切的数据驱动决策的前提!**如何保障数据质量,确保数据可用性是每一位数据人都不可忽略的重要环节。 数据...

2019-04-15 22:00:30

阅读数 125

评论数 0

数据对业务价值帮助的一些思考

0x00 前言 最近在工作中和同行交流中都聊到了一个问题:数据对于业务价值的帮助在哪里? 如果被老板或者面试官问到了这个问题,该怎样去回答。下面就简单聊一下居士的想法。 0x01 思路 关于数据的价值,居士认为可以参考BI(商业智能)的定义。这里不简单地指做几张报表的工作,而是数据辅助决策...

2019-03-10 22:29:14

阅读数 78

评论数 0

闲聊数据库和数据仓库的区别

0x00 前言 最近群里童鞋们在数据库和数据仓库的区别,因此简单做一些整理。 0x01 概念上的区别 数据库,简而言之可视为电子化的文件柜——存储电子文件的处所,用户可以对文件中的数据进行新增、截取、更新、删除等操作。 ————百度百科 数据仓库,英文名称为Data Warehou...

2019-03-10 22:28:36

阅读数 73

评论数 0

毕业一年,我如何从小公司跳到腾讯?

0x00 前言 整理一下两年前自己的在求职一些经验总结,一方面希望能帮助更多的人,另一方面也算是督促自己要继续努力! 纯经验总结,无灌水。 0x01 面试前 首先,一定要确定自己的目标。说起来简单,但是很多人在找工作的时候目标是很不清晰的。我的目标有两个:1.大厂,2.数仓。 一定要进大...

2019-03-10 22:28:01

阅读数 198

评论数 0

数据工程师该如何增加核心竞争力?

0x00 前言 取自知识星球中大家的问题和回答。 0x01 问答 Delia:数据仓库工程师,数据开发工程师等的职业前景和发展方向?如何增加核心竞争力?目前主要写sql远离开发了,不知道会不会废。 木东居士:哪个领域的顶尖人才都是缺的。比如数据仓库,看起来技术含量不高,但是能解决问题的数据...

2019-03-10 22:25:54

阅读数 79

评论数 0

少数人的智慧:基于专家意见的协同过滤

0x00 摘要 基于最近邻算法的协同过滤(nearest-neighbor collaborative filtering)是一种十分成功的推荐方法。然而,这种方法存在一些缺点,比如数据稀疏性、脏数据、冷启动问题以及可扩展性。 本文将介绍一种基于专家意见向用户推荐内容的新方法,该方法是传统协同过滤...

2018-11-10 14:33:31

阅读数 307

评论数 0

一种计算用户留存的方法

0x00 概述 用户留存分析是互联网时代常用的一种数据分析方法。而很多快速发展的公司并没有相应的方法论沉淀,这就导致了在计算用户留存的时候会出现下面的一些问题:1)用户留存的定义不明确,不同的研发有自己的理解;2)没有保留计算过程的中间表,数据可复用程度低;3)不同研发的开发习惯不同,导致计算过程...

2018-11-10 14:31:40

阅读数 1561

评论数 1

【Andrew Ng 机器学习】Week 1(二):代价函数和梯度下降

0x00 前言 本篇是第一周关于线性回归的代价函数和梯度下降算法的笔记。 0x01 模型和代价函数 一、模型表示 x^i:输入特征 y^i:输出结果,或者是想要预测的结果 (x^i , y^i):训练样本 h:代表学习算法的解决方案或函数,也称为假设(hypothesis) ...

2018-05-30 16:04:19

阅读数 195

评论数 0

【Andrew Ng 机器学习】Week 1(一):基本概念和线代基础

0x00 前言 第一周主要讲了四部分内容: 机器学习简介 单变量线性回归的模型和代价函数 单变量线性回归的的梯度下降 线代基础 由于篇幅会比较长,后续的笔记都会按照一些主题将每周的内容分拆成几篇笔记。本篇只有机器学习简介和线性代数两部分。 0x01 机器学习简介 一、什么...

2018-05-15 23:54:29

阅读数 176

评论数 0

你了解你的数据吗(元婴篇)

0x00 前言 本篇是《你了解你的数据吗》的第五篇,在前面的几篇文章中,我们聊到了数据接入量、数据的坑、数据核心维度分布、数据口径和数据质量监控。本篇将引入一个新的概念:数据血缘分析 ,或者叫血统分析。 0x01 血缘分析 那么什么是数据血缘分析呢?在这里我们不给出它的严谨的定义,仅...

2018-01-28 17:31:25

阅读数 581

评论数 0

你了解你的数据吗(结丹篇)

0x00 前言 结丹篇是《你了解你的数据吗》第四篇,本篇主要聊的内容主要和数据质量监控有关,之前在《数据质量监控》专门分享过相关内容,那篇文章主要从一个宏观的整体来看待质量监控,内容包括架构、设计和实现多个方面,但是对于数据质量监控本身的内容并没有一个比较体系化的梳理,本篇就来做这件事。 ...

2018-01-21 14:04:07

阅读数 648

评论数 0

你了解你的数据吗(筑基篇)

0x00 前言 刚入行做数据开发的时候经常听企业导师讲,你要有数据的意识,不能只知道闷着头来一个需求接一个,要从业务的角度来理解数据,这样你的职业线才能更长。 本篇不会分享和业务强相关的数据 Sense,但是会引入一些各种业务都会涉及的最基本内容: 数据核心维度分布:核心业务维度分...

2018-01-21 14:03:42

阅读数 476

评论数 0

No.28 你了解你的数据吗(练气篇)

0x00 前言 数据一道,可深可浅,可大可小。同为数据人,新手和老鸟亦有很大差别。本篇是了解数据的入门篇,包含两部门内容: 数据接入,你的掌控力如何?主要聊一聊数据接入人员对自己接入数据的了解的程度。 数据的坑,你总结了多少规律?在数据接入和基本的数据处理中,会遇到很多数据异常,这些异常你是...

2018-01-13 19:39:18

阅读数 488

评论数 0

《数据仓库实践》

序言 2017 年初,我开始在简书上写关于数据仓库的系列博客,博客主题围绕大数据场景下数据仓库的理论和实践来展开,截止现在已有十篇左右。最初写作的时候主要是抱着学习和总结的态度,导致很多地方略显粗糙和不严谨,加上这一系列的博客也收到了不少读者朋友的反馈,我就有了重新整理一遍该系列的想法。因此,1...

2017-11-27 19:02:49

阅读数 1240

评论数 0

No.20 不深入而浅出 Roaring Bitmaps 的基本原理

0x00 前言位图索引被广泛用于数据库和搜索引擎中,通过利用位级并行,它们可以显著加快查询速度。但是,位图索引会占用大量的内存,因此我们会更喜欢压缩位图索引。 Roaring Bitmaps 就是一种十分优秀的压缩位图索引,后文统称 RBM。压缩位图索引有很多种,比如基于 RLE(Run-Leng...

2017-11-04 20:52:52

阅读数 3262

评论数 1

No.19 Counting Bloom Filter 的原理和实现

0x00 前言标准的 Bloom Filter 是一种比较简单的数据结构,只支持插入和查找两种操作。在所要表达的集合是静态集合的时候,标准 Bloom Filter 可以很好地工作,但是如果要表达的集合经常变动,标准Bloom Filter的弊端就显现出来了,因为它不支持删除操作。这就引出来了本文...

2017-11-04 20:50:38

阅读数 507

评论数 0

No.17【大数据算法】Bloom Filter 的数学背景

0x00 前言 程序员应该无所畏惧,所以,一起来推导数学公式吧! 上文我们分享了 Bloom Filter 的基本原理和代码实现,在文章的结尾提到了 BF 的误判率以及几个重要参数的选取,我们只给出了最后的公式,而没有具体的推导过程。 这是会被狠狠地挑战的,本着追根刨底的精神,我们推导一下 B...

2017-11-04 20:48:46

阅读数 338

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭