Skyline

SpringBoot 版本：2.0.0.BUILD-SNAPSHOT 类 KafkaAutoConfiguration 主要功能：自动创建各种bean: KafkaTemplate, messageConverter,producerFactory,consumerFactory等。 @Configuration @ConditionalOn

Kafka Stream背景 Kafka Stream是什么 Kafka Stream是Apache Kafka从0.10版本引入的一个新Feature。它是提供了对存储于Kafka内的数据进行流式处理和分析的功能。 Kafka Stream的特点如下： Kafka Stream提供了一个非常简单而轻量的Library，它可以非常方便地嵌入任意Java应用中，也可以任意

宏观架构层面 利用Partition实现并行处理 Partition提供并行处理的能力 Kafka是一个Pub-Sub的消息系统，无论是发布还是订阅，都须指定Topic。如《Kafka设计解析（一）- Kafka背景及架构介绍》一文所述，Topic只是一个逻辑的概念。每个Topic都包含一个或多个Partition，不同Partition可位于不同节点。同时Partition在物

Kafka设计解析（五）- Kafka性能测试方法及Benchmark报告 摘要 　　本文主要介绍了如何利用Kafka自带的性能测试脚本及Kafka Manager测试Kafka的性能，以及如何使用Kafka Manager监控Kafka的工作状态，最后给出了Kafka的性能测试报告。 性能测试及集群监控工具 　　Kafka提供了非常多有用的工具，如Kafka设计解析（三）-

Kafka设计解析（四）- Kafka Consumer设计解析 摘要 　　本文主要介绍了Kafka High Level Consumer，Consumer Group，Consumer Rebalance，Low Level Consumer实现的语义，以及适用场景。以及未来版本中对High Level Consumer的重新设计–使用Consumer Coordinator解决S

Kafka设计解析（三）- Kafka High Availability （下） 摘要 　　本文在上篇文章基础上，更加深入讲解了Kafka的HA机制，主要阐述了HA相关各种场景，如Broker failover，Controller failover，Topic创建/删除，Broker启动，Follower从Leader fetch数据等详细处理过程。同时介绍了Kafka提供的与Re

Kafka设计解析（二）- Kafka High Availability （上） 摘要 　　Kafka在0.8以前的版本中，并不提供High Availablity机制，一旦一个或多个Broker宕机，则宕机期间其上所有Partition都无法继续提供服务。若该Broker永远不能再恢复，亦或磁盘故障，则其上数据将丢失。而Kafka的设计目标之一即是提供数据持久化，同时对

Kafka设计解析（一）- Kafka背景及架构介绍 摘要 　　Kafka是由LinkedIn开发并开源的分布式消息系统，因其分布式及高吞吐率而被广泛使用，现已与Cloudera Hadoop，Apache Storm，Apache Spark集成。本文介绍了Kafka的创建背景，设计目标，使用消息系统的优势以及目前流行的消息系统对比。并介绍了Kafka的架构，Producer消息

Kafka的Log存储解析 标签（空格分隔）： kafka 引言 Kafka中的Message是以topic为基本单位组织的，不同的topic之间是相互独立的。每个topic又可以分成几个不同的partition(每个topic有几个partition是在创建topic时指定的)，每个partition存储一部分Message。借用官方的一张图，可以直观地看到topic和pa

一。安装zookeeper 伪集群 此处不采用kafka安装包自带的zookeeper，而是自己独立安装zookeeper。 zookeeper 版本：zookeeper-3.4.11.tar.gz。 1.将zookeeper-3.4.11.tar.gz解压缩到目录 D:\Program Files\zookeeper-3.4.11\zookeeper-1 2.进入