大数据/kafka
莫言静好、
这个作者很懒,什么都没留下…
展开
-
SubscriptionState分析
KafkaConsumer从Kafka拉取消息的时候发送的请求时FetchRequest,在其中需要指定消费者希望拉取的起始消息的offset。为了消费者快速获取这个值,KafkaConsumer使用SubscriptionState来追踪TopicPartition与offset的关系: 一 SubscriptionType NONE: 没有状态 AUTO_TOPICS:按照指原创 2017-06-01 17:35:03 · 1681 阅读 · 0 评论 -
kafka基础之核心概念
一 Broker(代理) 一台kafka服务器就可以称之为broker.一个集群由多个broker组成,一个broker可以有多个topic 二 Topic(主题) 每一条发送到kafka集群的消息都可以有一个类别,这个类别叫做topic,不同的消息会进行分开存储,如果topic很大,可以分布到多个broker上 也可以这样理解:topic被认为是一个队列,每一条消息都必须指定它的t原创 2017-06-02 16:42:35 · 3468 阅读 · 0 评论 -
kafka基础之介绍和分布式集群搭建
一 kafka介绍 现在各个电商平台,社交平台等诸多系统可以不断生产出各种细信息,那么我们应该如何收集它,如何分析它,以及输入实时的做到以上需求。Kafka应运而生。 Kafka是一个分布式的的流式系统或者平台,他可以发布和订阅消息,这个和一般的消息中间件类似,他可以让你以容错的方式存储数据或者消息,并且你还可以处理他们,他一般多用于构建实时应用。 首先,这儿有几个概念: # kafka是转载 2017-06-02 16:37:15 · 579 阅读 · 0 评论 -
kafka假死 & Direct buffer memory
发生java.lang.OutOfMemoryError: Direct buffer memory原创 2017-11-18 10:18:14 · 7140 阅读 · 0 评论