实时数仓：咸鱼的实时数仓经验分享

---

简介

闲鱼作为一款闲置交易 APP，在二手交易市场中是当之无愧的佼佼者。闲鱼从 2014 年诞生到现在七整年间持续增长，在这高速增长的背后带来的是每天近百亿的曝光点击浏览等数据，在这些数据规模如此庞大的背后也会带来诸多关于实时性的问题：

• 用户反馈商品曝光异常，如何快速定位？
• 产品同学圈了一批商品，如何查看该样本的实时报表？
• 发现问题总是晚一步，如何在第一时间获取自定义的预警信息？

为了解决上述的这些问题，我们开始了打造闲鱼实时数仓的探索之路。

数仓调研

在开始设计闲鱼的实时数据仓库之前，我们也调研了集团内外的各种数据仓库的设计与架构，一些是比较老的架构设计，另外一些是由于技术突破后进而带来的创新性的解决方案。本文不妨将这些实时数据仓库的新老设计做一下分类：

• 第一类：从无到有
  当 Apache Storm(开源的分布式实时计算系统)问世后，大数据不在依靠 MapReduce 这种单一的计算方式，拥有了当日数据当日处理的能力。
• 第二类：从有到全
  以 Lambda 和 Kappa 为代表的架构，能够将实时与离线架构结合在一起，一套产品可以实现多种数据更新策略。