你了解你的数据吗（元婴篇）

0x00 前言

本篇是《你了解你的数据吗》的第五篇，在前面的几篇文章中，我们聊到了数据接入量、数据的坑、数据核心维度分布、数据口径和数据质量监控。本篇将引入一个新的概念：数据血缘分析 ，或者叫血统分析。

0x01 血缘分析

那么什么是数据血缘分析呢？在这里我们不给出它的严谨的定义，仅从感觉上来解释一下这个东西。

数据血缘，我们可以大致理解为是一个表的生成过程。它依赖了哪些表，怎么生成的。同时加上它依赖的表又是怎么生成的。

觉个栗子

下面举个栗子来解释一下。

现在假设你是一只数据开发工程师，为了满足一次业务需求，，然后为了生成这张表，可能是处于程序逻辑清晰或者性能优化的考虑，你会使用很多份数据表，也会通过 MR、Spark 或者 Hive 来生产很多中间表。

如下图，是你将花费时间来实现的整个数据流。

• 其中 Table X 是最终给到业务侧的表。
• 蓝色的 Table A-E，是原始数据。
• 黄色的 Table F-I 是你计算出来的中间表。这些表都是你自己写程序要处理的表。
• 然后你为了懒省事，嗯，应该说本着不重复开发的原则，你还要用到同事小伙伴处理的表，Table J 就是别人处理过的结果表。

过了一段时间后，业务侧的感觉你提供的数据中有个字段总是不太对劲，其实就是怀疑你的数据出问题！