实时数据
文章平均质量分 84
Deegue
这个作者很懒,什么都没留下…
展开
-
实时数据Storm,Spark和Samza介绍和比较
本文转自:http://www.jdon.com/bigdata/streaming-big-data-storm-spark.html 当前有许多分布式计算系统能够实时处理大数据,这篇文章是对Apache的三个框架进行比较,试图提供一个快速的高屋建瓴地异同性总结。Apache Storm 在Storm中,你设计的实时计算图称为toplogy,将其以集群方式运行,原创 2018-01-30 20:19:27 · 651 阅读 · 0 评论 -
PostgreSQL ADHoc(任意字段组合)查询 与 字典化 (rum索引加速) - 实践与方案1
背景业务背景某系统数据量:20亿行左右,64个字段,原始数据多为字符串类型。(大多数字段的唯一值有限)需求:1. 查询,任意字段组合查询,求聚合值。2. 查询并发,1000左右查询并发,每次查询响应时间要求100ms以内。3. 写入、更新,要求延迟1秒内。高峰时写入、更新可达20万行/s。业务上允许批量写入。4. 要求加字段方便。5. 要求实时计算(无需建模),或者说要求加统计维度方便,不需要等建...转载 2018-05-07 17:21:21 · 1068 阅读 · 0 评论 -
位图索引:原理(BitMap index)
位图(BitMap)索引 前段时间听同事分享,偶尔讲起Oracle数据库的位图索引,顿时大感兴趣。说来惭愧,在这之前对位图索引一无所知,因此趁此机会写篇博文介绍下位图索引。1. 案例 有张表名为table的表,由三列组成,分别是姓名、性别和婚姻状况,其中性别只有男和女两项,婚姻状况由已婚、未婚、离婚这三项,该表共有100w个记录。现在有这样的查询: select * from tabl...原创 2018-05-15 11:09:12 · 14402 阅读 · 0 评论