kafka
zh_huang
这个作者很懒,什么都没留下…
展开
-
Kafka的四个核心API
· 使用 Producer API 发布消息到kafka集群中一个或多个topic。· 使用 Consumer API 来订阅一个或多个topic,并处理产生的消息。· 使用 Streams API 充当一个流处理器,从1个或多个topic消费输入流,并生产输出流到1个或多个输出topic,有效地将输入流转换到输出流。· 使用Connector API可以构建和运行可重复使用的生产者或消费者,将t...翻译 2018-04-01 10:26:49 · 2617 阅读 · 0 评论 -
Topic 和 Log
对每个Topic,kafka集群维护如下图所示的partiton的log 一个topic可以分成多个partition,每个partition都是有序的,可以持续追加记录的不可变的序列,其中每个记录都被分配一个序列号,称为偏移量(offset),在每个partition中此偏移量都是唯一的。 发布到Kafka集群的消息,无论是否被消费,都会保留一段时间,保留的时间是可配置的...翻译 2018-04-01 10:26:37 · 564 阅读 · 0 评论 -
Kafka拓扑结构
上图中kafka相关术语Producer :消息生产者,负责发布消息到kafka broker。Broker :代理,kafka集群包含的服务端(每个服务端称之为代理),负责处理消息读写请求及存储消息。Consumer :消息消费者,向kafka broker读取消息的客户端。Topic :消息分类。Partition :partition 是物理上的概念,每个 topic 包含一个或多个 pa...原创 2018-04-01 10:27:00 · 2180 阅读 · 0 评论