![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
笔记摘录
久七年
这个作者很懒,什么都没留下…
展开
-
Spark Streaming
Spark Streaming Quick Start概念介绍初始化 StreamingContextAdvance Source KafkaSpark Streaming是核心Spark API的扩展,可实现实时数据流的可扩展,高吞吐量,容错流处理。数据可以从许多来源(如Kafka,Flume,Kinesis或TCP套接字)中获取,并且可以使用以高级函数(如map,reduce,join和wi...转载 2019-07-03 17:25:15 · 190 阅读 · 1 评论 -
Kafka Stream 微服务领域流处理
流计算定义一般流计算会与批量计算相比较。在流式计算模型中,输入是持续的,可以认为在时间上是无界的,也就意味着,永远拿不到全量数据去计算。同时,计算结果是持续输出的,也即计算结果在时间上也是无界的。流式计算一般对实时性要求较高,同时一般是先定义目标计算,然后数据到来之后将计算逻辑应用于数据。同时为了提高计算效率,往往尽可能采用增量计算代替全量计算。批量处理模型中,一般先有全量数据集,然后定义计算逻...原创 2019-07-03 20:24:26 · 3232 阅读 · 0 评论 -
ElasticSearch 全文检索
ElasticSearch简称ES,基于Lucene全文检索引擎服务,支持分布式集群(数据横向扩展,分布式计算)什么是全文检索:全文检索是计算机程序通过扫描文章中的每一个词,对每一个词建立一个索引,指明该词在文章中出现的次数和位置。当用户查询时根据建立的索引查找,类似于通过字典的检索字表查字的过程。全文检索(Full-Text Retrieval(检索))以文本作为检索对象,找出含有指...原创 2019-07-29 15:00:13 · 634 阅读 · 0 评论 -
ELK 栈
ELK 栈:原创 2019-07-29 17:51:01 · 280 阅读 · 0 评论 -
Spring Cloud Hystrix:断路器
Hystrix是一个延迟和容错库,旨在隔离对远程系统,服务和第三方库的访问点,停止级联故障,并在复杂的分布式系统中实现弹性,在这些系统中,故障是不可避免的。引入以下依赖<dependency> <groupId>org.springframework.cloud</groupId> <artifactId>spring-cloud-star...原创 2019-07-23 14:02:36 · 105 阅读 · 0 评论 -
Kafka面试总结
Kafka面试现在,消息中间件种类繁多,而且各种大厂的也逐渐开源了,每个企业都开始二次加工自己的消息中间件以满足自己的内部需求。其实,无论什么系统,框架,最值钱的就是为了保存和应用数据,保存各种数据以应付后期的调优,统计使用等。现在由于都是出于高并发环境下,由于来不及同步处理,请求往往会发生堵塞,比如说,大量的insert,update之类的请求同时到达Mysql,直接导致无数的行锁表锁,甚至最...原创 2019-07-23 14:06:40 · 166 阅读 · 0 评论