![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
#_
这个作者很懒,什么都没留下…
展开
-
1消息队列
1功能 消息队列主要有两点好处: (1)通过异步处理提高系统性能(削峰、减少响应所需时间) 因为用户请求数据写入消息队列之后就立即返回给用户了,但是请求数据在后续的业务校验、写数据库等操作中可能失败。因此使用消息队列进行异步处理之后,需要适当修改业务流程进行配合,比如用户在提交订单之后,订单数据写入消息队列,不能立即返回用户订单提交成功,需要在消息队列的订单消费者进程真正处理完该订单之后,甚...原创 2019-07-09 18:57:31 · 114 阅读 · 0 评论 -
2介绍
1Kafka的特性 高吞吐量、低延迟:kafka每秒可以处理几十万条消息,它的延迟最低只有几毫秒,每个topic可以分多个partition, consumer group 对partition进行consume操作。 可扩展性:kafka集群支持热扩展 持久性、可靠性:消息被持久化到本地磁盘,并且支持数据备份防止数据丢失 容错性:允许集群中节点失败(若副本数量为n,则允许n-1个节点失败...原创 2019-07-11 08:52:58 · 138 阅读 · 0 评论 -
3实现
目录 1Consumer group 1.1Delivery Mode 2Topic & Partition 2.1Partition Replica 2.2ACK 3高可靠性存储分析 3.1 Kafka文件存储机制 3.2复制原理和同步方式 3.3ISR 3.4数据可靠性和持久性保证 3.4.1HW截断机制 3.4.2生产者可靠性级别 3.6 Leader选举...转载 2019-07-11 18:55:54 · 143 阅读 · 0 评论 -
3-实现(精简版)
转载自kafka的存储机制转载 2019-07-11 19:14:11 · 109 阅读 · 0 评论 -
5消费者确认机制
转载 2019-08-04 15:53:14 · 142 阅读 · 0 评论 -
kafka面试题
1Kafka如何解决数据堆积 如何用kafka保证消息的有序性 Apache Kafka官方保证了partition内部的数据有效性(追加写、offset读);为了提高Topic的并发吞吐能力,可以提高Topic的partition数,并通过设置partition的replica来保证数据高可靠; 但是在多个Partition时,不能保证Topic级别的数据有序性。 但是对数据有序性有严格...原创 2019-07-28 16:38:11 · 585 阅读 · 0 评论 -
4zookeeper在kafka中的作用
https://www.jianshu.com/p/a036405f989c原创 2019-07-28 19:54:10 · 141 阅读 · 0 评论