消息队列-Kafka
文章平均质量分 64
IT布道者
这个作者很懒,什么都没留下…
展开
-
Kafka文件存储机制
Kafka是什么 Kafka是最初由Linkedin公司开发,是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统),常见可以用于web/nginx日志、访问日志,消息服务等等,Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。1.前言 一个商业化消息队列的性能好坏,其文件存储机制设计是衡量一个消息队列服务技术水平和最关原创 2015-07-26 11:22:15 · 507 阅读 · 0 评论 -
Kafka和Spring集成实践
目录 安装Zookeeper 安装Kafka 创建一个Spring项目 使用Producer API发送消息到Kafka 使用Kafka High Level API接收消息 使用spring-integration-kafka发送消息 使用spring-integration-kafka接收消息本文以单机的环境演示如何将Kafka和Spring集成。原创 2015-07-26 16:56:58 · 10538 阅读 · 0 评论 -
Kafka:分布式消息系统
简介Apache Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发,之后成为Apache项目的一部分。Kafka是一种快速、可扩展的、设计内在就是分布式的,分区的和可复制的提交日志服务。Apache Kafka与传统消息系统相比,有以下不同:它被设计为一个分布式系统,易于向外扩展; 它同时为发布和订阅提供高吞吐量; 它支持多订阅者,当失败时能自动平衡消费者; 它将消息持久原创 2015-07-26 00:02:01 · 1307 阅读 · 0 评论 -
Kafka集群partition replication自动分配分析
1. Kafka集群partition replication默认自动分配分析 下面以一个Kafka集群中4个Broker举例,创建1个topic包含4个Partition,2 Replication;数据Producer流动如图所示: (1) (2)当集群中新增2节点,Partition增加到6个时分布情况如下: 副本分配逻辑规则如下:在Kafka集群中,每个Broker都有均等分配Par原创 2015-07-26 11:51:53 · 1386 阅读 · 0 评论