戴着枷锁跳舞：漫谈重构数据仓库的辛酸

0x00 前言

如果，让我回想一下有哪些幸福快乐的工作经历，怕是很难想到。

但是，如果让我回想，有哪些痛苦不堪的工作经历，我第一个能想到的就是数据仓库的重构。

所以，本文算是一个回忆文，记录一些居士在经历过的几个数据仓库重构项目遇到的痛苦记忆。

友情提示，最后会附上一些数仓建设的tips，避坑。

0x01 世界上最恐怖的事情，莫过于读懂队友的脚本！

和一些庞大后台系统的代码量相比，数仓的那些脚本可能只算是小儿科，论代码的复杂度和代码量都远远不及。

但是，这些脚本也有它们独特的让人讨厌的地方。

大部分数仓项目都会以Sql为主力编程语言，在非互联网行业，多是运行在 Oracel、PG 和Mysql 上，在互联网行业，多是运行在Hive上。

那么，问题来了，一千行的 Sql 你有没有见过？！！！

这一千行的 Sql 还没有注释！！！

随便调试一下几个小时过去了，有木有？

几十个一千行以上的 Sql 脚本放在你面前的时候，请问，你是什么感觉？

有朋友给居士吐槽，队友给留下了超过 1w 行的Sql脚本。

？？？

只能说，居士的队友都比较仁慈，多谢队友不杀之恩。

0x02 神一般的任务依赖逻辑

一个 Sql 有一千多行