Zookeeper&Kafka
二师兄1986
这个作者很懒,什么都没留下…
展开
-
zookeeper集群搭建
1、准备工作1)、三台机器(在/etc/hosts中配置):192.168.30.97 vm1192.168.30.98 vm2192.168.30.99 vm32)、免密ssh登录(略)3)、安装jdk(略)3)、下载zookeeper安装包:wget http://apache.fayea.com/zookeeper/zookeeper-3.4.9/zo原创 2017-02-07 16:36:16 · 1319 阅读 · 0 评论 -
rabbitMQ、activeMQ、zeroMQ、Kafka、Redis 比较
Kafka作为时下最流行的开源消息系统,被广泛地应用在数据缓冲、异步通信、汇集日志、系统解耦等方面。相比较于RocketMQ等其他常见消息系统,Kafka在保障了大部分功能特性的同时,还提供了超一流的读写性能。针对Kafka性能方面进行简单分析,相关数据请参考:https://segmentfault.com/a/1190000003985468,下面介绍一下Kafka的架构和涉及到的名词转载 2017-06-02 09:11:08 · 1440 阅读 · 0 评论 -
kafka direct 跟receiver 方式接收数据的区别
Receiver是使用Kafka的高层次Consumer API来实现的。receiver从Kafka中获取的数据都是存储在Spark Executor的内存中的,然后Spark Streaming启动的job会去处理那些数据。然而,在默认的配置下,这种方式可能会因为底层的失败而丢失数据。如果要启用高可靠机制,让数据零丢失,就必须启用Spark Streaming的预写日志机制(Write Ahe转载 2017-12-29 15:35:16 · 2445 阅读 · 0 评论