Kafka
Java开发面试辅导-海龟老师
毕业于浙江大学软件工程硕士,在BAT一线大厂担任架构师工作,作为面试官有丰富的面试经验,以及项目架构经验
展开
-
Kafka学习(二):Kafka的基本结构和概念
一.Kafka的逻辑架构 注: 当一个Topic中消息过多时,会对Topic进行分区处理,把消息分到不同的Partition中。 为什么要分区: 是为了对大量的数据进行分而治之,把数据分区,不同的Consumer可以消费不同分区的数据,不同Consumer对数据的消费可以做成并行的,这样可以加快数据处理的速原创 2016-03-15 18:14:43 · 12441 阅读 · 0 评论 -
Kafka学习(三):Kafka的内部机制深入(持久化,分布式,通讯协议)
一.Kafka的持久化1.数据持久化: 发现线性的访问磁盘(即:按顺序的访问磁盘),很多时候比随机的内存访问快得多,而且有利于持久化; 传统的使用内存做为磁盘的缓存 Kafka直接将数据写入到日志文件中,以追加的形式写入2.日志数据持久化特性: 写操作:通过将数据追加到文件中实现 读操作:读的时候从文件中读就好了原创 2016-03-16 15:58:41 · 9193 阅读 · 1 评论 -
Kafka学习(一):Kafka背景及架构介绍
一.Kafka简介 Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发,之后成为Apache项目的一部分。Kafka是一个分布式的,可划分的,冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。 在大数据系统中,常常会碰到一个问题,整个大数据是由各个子系统组成,数据需要在各个子系统中高性能,低延迟的不停流转。传统的企业消息系统原创 2016-03-14 19:51:54 · 3169 阅读 · 0 评论 -
Kafka学习(四):Kafka的安装
1.下载 http://kafka.apache.org/downloads.html2.解压 tar -zxvf kafka_2.10-0.8.1.1.tgz原创 2016-03-17 14:57:35 · 1169 阅读 · 0 评论 -
Kafka学习(五):Kafka的消费编程模型
Kafka的消费模型分为两种:1.分区消费模型2.分组消费模型一.分区消费模型二、分组消费模型发送package cn.outofmemory.kafka;import java.util.Properties;import kafka.javaapi.producer.Producer;import k原创 2016-04-27 17:25:58 · 4781 阅读 · 0 评论