大数据量的处理思路

一、分字诀

1.用和不用的分开，即常用和不常用的分开

2.对数据库存放的数据： 分区、分库、分表

3.对文件存放的数据：拆文件

4.考虑分批处理

原则：尽量每次操作的数据基础减少

二、合理利用缓存

如对一些统计业务，通过定时任务提前统计好数据，放入缓存中

三、数据库优化

1.合理设计数据库结构

2.合理设计表索引

3.数据库集群

四、优化算法

1.优化操作数据的算法

2.优化sql

3.考虑使用临时表、中间表（如对一些计算结果啥的，提前统计好存入这些表）

五、合理利用NOSQL

1.如MongoDB、redis、HBase等

六、使用分布式大数据处理方案

1.如Hadoop、spark、storm等