大数据的一生一世——谈数据冷热分离技术

前言

对于一个软件系统，无论其业务逻辑复杂到何种程度，最终都将体现到一条（批）数据的CRUD操作上，即创建、查询、更新与删除。正如人类面临生死的轮回，数据亦是如此。一条数据从被创建出来开始，随着时间的逝去，其价值逐渐变小，最终被删除。尽管在有些场景下，我们对客户承诺其数据会被永久保存，但这也是相对而言的。

数据的存在价值，在于其被使用的程度，即被查询或更新的频率。在不同的业务系统中，人们对处于不同时期的数据有着不同的使用需求。比如，在网络流量行为分析系统中，客户会对最近一个月公司发生的安全事件和网络访问情况感兴趣，而很少关注几个月前的数据；在电商订单系统中，用户会经常访问最近三个月的订单，而更久远的数据则几乎不会去看。针对这样一些业务场景，我们将数据按照时间划分为三个阶段：Hot、Warm、Cold。Hot和Cold的特性分别如下所示，而Warm处于二者之间，通常会被合并到Hot或Cold中，从而减少系统的复杂度，本文也不准备将其单独拿出来讨论。

• Hot（热数据）
  • 被频繁查询或更新
  • 对访问的响应时间要求很高，通常在10毫秒以内
• Cold（冷数据）
  • 不允许更新，偶尔被查询
  • 对访问的响应时间要求不高，通常在1~10秒内都可以接受