Kafka概述

kafaka简介

        Apache Kafka是一个快速、可扩展的、高吞吐的、可容错的分布式“发布-订阅”消息系统，使用Scala与Java语言编写，能够将消息从一个端点传递到另一个端点，较之传统的消息中间件（例如ActiveMQ、RabbitMQ），Kafka具有高吞吐量、内置分区、支持消息副本和高容错的特性，非常适合大规模消息处理应用程序。
       Kafka官网： http://kafka.apache.org/

Kafa系统架构

应用场景

        Kafka的应用场景很多，举几个最常见的场景。

1 用户的活动追踪

        用户在网站的不同活动消息发布到不同的主题中心，然后可以对这些消息进行实时监测实时处理。当然，也可加载到Hadoop或离线处理数据仓库，对用户进行画像。像淘宝、京东这些大型的电商平台，用户的所有活动都是要进行追踪的。

2 日志聚合

3 限流削峰

4 kafka高吞吐率实现

        Kafka与其它MQ相比，其最大的特点就是高吞吐率。为了增加存储能力，Kafka将所有的消息都写入到了低速大容的硬盘。按理说，这将导致性能损失，但实际上，kafka仍可保持超高的吞吐率，性能并未受到影响。其主要采用了如下的方式实现了高吞吐率。

• 顺序读写：Kafka将消息写入到了分区partition中，而分区中消息是顺序读写的。顺序读写要远快于随机读写。
• 零拷贝：生产者、消费者对于kafka中消息的操作是采用零拷贝实现的。
• 批量发送：Kafka允许使用批量消息发送模式。
• 消息压缩：Kafka支持对消息集合进行压缩。