![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
BigData
今天学习了嘛
这个作者很懒,什么都没留下…
展开
-
数据服务技术栈
1. 大数据数据库2. 实时计算3.spring-boot + pandora-boot + 消息队列 metaq + 定时调度 shedulerx + 分布式请求 HSF + 缓存 Tair + 消息通知 Goc4.React + typescript + antd...原创 2020-01-14 16:30:53 · 165 阅读 · 0 评论 -
【转载】bigdata 框架、架构学习
导读:第一章:初识Hadoop第二章:更高效的WordCount第三章:把别处的数据搞到Hadoop上第四章:把Hadoop上的数据搞到别处去第五章:快一点吧,我的SQL第六章:一夫多妻制第七章:越来越多的分析任务第八章:我的数据要实时第九章:我的数据要对外第十章:牛逼高大上的机器学习经常有初学者在博客和QQ问我,自己想往大数据方向发展,该学哪些技术,学习路线是什么样的,觉得大数据很火,就业很...转载 2019-12-16 13:49:43 · 299 阅读 · 0 评论 -
SQL 分组取最新的一条数据的方法
SELECT biz_id AS leads_id ,gmt_create AS leads_complete_time FROM kbods.ods_kbleadscenter_biz_log AS b WHERE dt='${bizdate}' AND action='completeLeads' AND NOT EXISTS ( ...原创 2019-12-16 13:34:05 · 2042 阅读 · 0 评论 -
【数据研发】sql - grouping的用法
本文介绍的方法是为配合cube一起使用cube的使用方法如果我们想统计各种颜色的买了多少,并且最后合计一共买了多少,用比较笨的方法可以这样实现:Select Color,SUM(Quantity) AS Quantity from #T GROUP BY ColorUNIONSELECT '合计',SUM(Quantity) FROM #T 结果:...转载 2019-11-26 12:15:20 · 607 阅读 · 0 评论 -
【转载】开源OLAP引擎测评报告(SparkSql、Presto、Impala、HAWQ、ClickHouse、GreenPlum)
开源OLAP引擎测评报告(SparkSql、Presto、Impala、HAWQ、ClickHouse、GreenPlum)易观CTO 郭炜 序现在大数据组件非常多,众说不一,在每个企业不同的使用场景里究竟应该使用哪个引擎呢?这是易观Spark实战营出品的开源Olap引擎测评报告,团队选取了Hive、Sparksql、Presto、Impala、Hawq、Clickhouse、Greenplu...转载 2019-10-29 14:24:16 · 361 阅读 · 0 评论 -
HBase读写流程——链路清晰版
HBase作为一种高可靠、高性能、面向列、可伸缩的分布式存储系统,读操作写操作是该系统中使用最频繁的两种操作。1 WAL机制WAL(Write-Ahead Logging)是一种高效的日志算法,几乎是所有非内存数据库提升写性能的不二法门,基本原理是在数据写入之前首先顺序写入日志,然后再写入缓存,等到缓存写满之后统一落盘。之所以能够提升写性能,是因为WAL将一次随机写转化为了一次顺...转载 2019-09-19 11:52:53 · 268 阅读 · 0 评论