怎样处理系统中每日大量数据上传问题及报表统计分析缓慢问题

这边系统大致情况:
外业人员每人一个手持终端,大约在线同时有200多号人,然后每一个终端隔一段时间就给服务端发送当前位置数据。每日数据量大概有30w条数据。
现在做法数据全部插入到了一张表中,造成这个表数据量很大,目前这边做法这个表只保留一个季度的数据,别的备份到备份表中。但是还是不能解决问题,当这个表有几千万条数据时,做统计分析功能很慢,因为还要关联别的表,group这种常用。
我的一点思路,服务端首先过滤下终端提交上来的数据,当提交的数据在一个容差范围内,过滤这种无用的数据,还有就是在服务端做一点缓冲,当够n条时再请求数据库向数据库提交,目前做法是来一条就数据库提交一条。
关于存这个大量点的表如何来拆分,处理很让人头疼。而客户需要的报表统计分析功能又复杂。大家帮忙出出主意。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值