ssd-cache 不错的kv系统总结

Table of Contents

• 1   需求
  • 1.1   why
  • 1.2   具体需求
• 2   index
• 3   ssd 特性
  • 3.1   成本
  • 3.2   接口
  • 3.3   比较典型的ssd参数
  • 3.4   小结
• 4   现有系统调研
  • 4.1   基于redis修改
    • 4.1.1   redis-vm
    • 4.1.2   redis-storage
    • 4.1.3   小结
  • 4.2   单机存储引擎
    • 4.2.1   LevelDB
    • 4.2.2   RocksDB(facebook)
    • 4.2.3   Berkley DB
    • 4.2.4   nessDB(国人开发)
    • 4.2.5   小结
  • 4.3   备选项目
    • 4.3.1   ssdb
    • 4.3.2   fatcache
    • 4.3.3   ardb
    • 4.3.4   ledisdb
    • 4.3.5   其它
    • 4.3.6   小结
  • 4.4   成熟分布式存储系统
    • 4.4.1   淘宝tair
    • 4.4.2   aerospike
    • 4.4.3   #facebook Apollo
    • 4.4.4   #facebook-McDipper
    • 4.4.5   #腾讯CKV海量分布式存储系统
    • 4.4.6   小结
  • 4.5   其它思路
• 5   小结
  • 5.1   关于目前的很多系统

1   需求

1.1   why

用redis内存实在太贵了, 假设要存1T数据双副本:

• 内存: 1000*2 / 64 = 32台机器.
• 2T盘机器: 2-4台

1.2   具体需求

1. 数据存放在ssd.
2. 性能要求: 6台机器的集群10w/s, (单机2w/s)
3. 有expire功能.
4. 使用redis协议 (twemproxy, client-lib可以复用)
5. 数据类型仅支持kv, 以后可以考虑支持hash.

其它:

• 事务或script支持.
• 主从, failover
• 集群.
• redis-mgr 部署支持

2   index

主要涉及下面几个方面:

1. ssd特性.
2. 存储引擎, 如LevelDB, RocksDB, BDB等.
3. 现有系统的调研和benchmark, 主要关注SSDB和fatcache.

本文是这个调研系列的目录和结论, 相关调研:

• coding-for-ssd笔记
• LevelDB 调研 TODO
• SSDB代码阅读
• SSDB benchmark
• fatcache 代码阅读

3   ssd 特性

3.1   成本

--	国外	国内	2T成本
ssd	$0.6/GB	京东价格(400元/128G=3.1元/GB)	6000
hdd:	$0.12/GB