2017年12月_天蓝Skyline

转载 TCP的三次握手四次撒手详解

TCP(Transmission Control Protocol)　传输控制协议三次握手TCP是主机对主机层的传输控制协议，提供可靠的连接服务，采用三次握手确认建立一个连接:位码即tcp标志位,有6种标示:SYN(synchronous建立联机) ACK(acknowledgement 确认) PSH(push传送) FIN(finish结束) RST(reset重置)

2017-12-27 12:21:06 342

转载 TCP/IP、Http的区别

TCP/IP、Http的区别　　TPC/IP协议是传输层协议，主要解决数据如何在网络中传输，而HTTP是应用层协议，主要解决如何包装数据。关于TCP/IP和HTTP协议的关系，网络有一段比较容易理解的介绍：“我们在传输数据时，可以只使用（传输层）TCP/IP协议，但是那样的话，如果没有应用层，便无法识别数据内容，如果想要使传输的数据有意义，则必须使用到应用层协议，应用层协议

2017-12-27 11:56:52 232

转载 Kafka设计解析（七）- 流式计算的新贵 Kafka Stream

Kafka Stream背景Kafka Stream是什么Kafka Stream是Apache Kafka从0.10版本引入的一个新Feature。它是提供了对存储于Kafka内的数据进行流式处理和分析的功能。Kafka Stream的特点如下：Kafka Stream提供了一个非常简单而轻量的Library，它可以非常方便地嵌入任意Java应用中，也可以任意

2017-12-14 09:50:51 4344

转载 Kafka设计解析（六）- Kafka高性能关键技术解析

宏观架构层面利用Partition实现并行处理Partition提供并行处理的能力Kafka是一个Pub-Sub的消息系统，无论是发布还是订阅，都须指定Topic。如《Kafka设计解析（一）- Kafka背景及架构介绍》一文所述，Topic只是一个逻辑的概念。每个Topic都包含一个或多个Partition，不同Partition可位于不同节点。同时Partition在物

2017-12-14 09:50:21 480

转载 Kafka设计解析（五）- Kafka性能测试方法及Benchmark报告

Kafka设计解析（五）- Kafka性能测试方法及Benchmark报告摘要　　本文主要介绍了如何利用Kafka自带的性能测试脚本及Kafka Manager测试Kafka的性能，以及如何使用Kafka Manager监控Kafka的工作状态，最后给出了Kafka的性能测试报告。性能测试及集群监控工具　　Kafka提供了非常多有用的工具，如Kafka设计解析（三）-

2017-12-14 09:47:50 784

转载 Kafka设计解析（四）- Kafka Consumer设计解析

Kafka设计解析（四）- Kafka Consumer设计解析摘要　　本文主要介绍了Kafka High Level Consumer，Consumer Group，Consumer Rebalance，Low Level Consumer实现的语义，以及适用场景。以及未来版本中对High Level Consumer的重新设计–使用Consumer Coordinator解决S

2017-12-14 09:46:38 342

转载 Kafka设计解析（三）- Kafka High Availability （下）

Kafka设计解析（三）- Kafka High Availability （下）摘要　　本文在上篇文章基础上，更加深入讲解了Kafka的HA机制，主要阐述了HA相关各种场景，如Broker failover，Controller failover，Topic创建/删除，Broker启动，Follower从Leader fetch数据等详细处理过程。同时介绍了Kafka提供的与Re

2017-12-14 09:45:43 166

转载 Kafka设计解析（二）- Kafka High Availability （上）

Kafka设计解析（二）- Kafka High Availability （上）摘要　　Kafka在0.8以前的版本中，并不提供High Availablity机制，一旦一个或多个Broker宕机，则宕机期间其上所有Partition都无法继续提供服务。若该Broker永远不能再恢复，亦或磁盘故障，则其上数据将丢失。而Kafka的设计目标之一即是提供数据持久化，同时对

2017-12-14 09:44:42 185

转载 Kafka设计解析（一）- Kafka背景及架构介绍

Kafka设计解析（一）- Kafka背景及架构介绍摘要　　Kafka是由LinkedIn开发并开源的分布式消息系统，因其分布式及高吞吐率而被广泛使用，现已与Cloudera Hadoop，Apache Storm，Apache Spark集成。本文介绍了Kafka的创建背景，设计目标，使用消息系统的优势以及目前流行的消息系统对比。并介绍了Kafka的架构，Producer消息

2017-12-14 09:42:54 321

转载 Kafka的Log存储解析

Kafka的Log存储解析标签（空格分隔）： kafka引言Kafka中的Message是以topic为基本单位组织的，不同的topic之间是相互独立的。每个topic又可以分成几个不同的partition(每个topic有几个partition是在创建topic时指定的)，每个partition存储一部分Message。借用官方的一张图，可以直观地看到topic和pa

2017-12-12 18:07:34 264

原创 Spring-boot 集成 kakfa 源码分析

SpringBoot 版本：2.0.0.BUILD-SNAPSHOT类 KafkaAutoConfiguration主要功能：自动创建各种bean: KafkaTemplate, messageConverter,producerFactory,consumerFactory等。@Configuration@ConditionalOn

2017-12-12 16:20:02 1360

Skyline