分库分表基础:
1.数据库切分概述:海量数据的存储与访问成为系统设计与使用的瓶颈问题,对于海量数据处理,按照使用场景,主要分为两种类型,联机事务处理(OLTP)和联机分析处理(OLAP);
联机事务处理(OLTP):主要就是需要原始数据到达计算机中心并且在很短的世界内给出处理结果;
联机分析处理(OLAP):通过多个维度和各项指标对数据进行分析统计和报表等,最终给出合理的结果用于业务处理。
2.分库分表基础场景划分:
OLTP:实时性读写要求高需要进行读写分离,不同数据源要进行切换;
OLAP:实时读写要求低,一般采用离线存储,例如hadoop方式或ES(进行数据双写、同步)
3.细粒度关系型数据库与非关系型数据库区别:
现阶段的主流应用都是两种类型结合使用,即时数据(订单)使用sql数据库来存储操作,历史数据同步到NoSql数据库,常用ES和Hbase,主流选择ES,因为其搜索功能强大,通过日志收集工具(框架),收集后进行统计分析,日志查询,ES提供丰富的查询API,拥有强大的聚合能力,监控报警等等;mongodb也可以作为日志存储,但是其搜索聚合能力不强大。