![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
我发烧了
这个作者很懒,什么都没留下…
展开
-
kafka不为人知的一面-Kafka streams
kafka不为人知的一面-Kafka streams 1、为什么要有kafka stream 当前已经有非常多的流式处理系统,最知名且应用最多的开源流式处理系统有Spark Streaming和Apache Storm。Apache Storm发展多年,应用广泛,提供记录级别的处理能力,当前也支持SQL on Stream。而Spark Streaming基于Apache Spark,可...原创 2020-02-11 19:33:51 · 407 阅读 · 0 评论 -
hive数据仓库详解(推荐)
【公开课】Hive数据仓库详解(百数云课)【精选】 交流qq群:1022901775,获取课件、代码,技术交流,问题反馈; 为方便学习,请关注"百数云课"官方公众号。 ...原创 2020-02-11 19:10:34 · 304 阅读 · 0 评论 -
多样 | spark数据源特点
1、背景引入:spark SQL的数据源 Spark SQL是Spark的一个模块,用于结构化数据的处理。 使用Spark SQL的方式有2种,可以通过SQL或者Dataset API,这两种使用方式在本文都会涉及。 其中,通过SQL接口使用的方法具体又可分为3种: 在程序中执行 使用命令行 Jdbc/ODBC Spark关于分布式数据集的抽象原本是RDD,Dataset是其升级版本。Dat...原创 2020-02-11 19:01:09 · 628 阅读 · 0 评论