![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据/kafka
莫言静好、
这个作者很懒,什么都没留下…
展开
-
SubscriptionState分析
KafkaConsumer从Kafka拉取消息的时候发送的请求时FetchRequest,在其中需要指定消费者希望拉取的起始消息的offset。为了消费者快速获取这个值,KafkaConsumer使用SubscriptionState来追踪TopicPartition与offset的关系:一 SubscriptionTypeNONE: 没有状态AUTO_TOPICS:按照指原创 2017-06-01 17:35:03 · 1668 阅读 · 0 评论 -
kafka基础之核心概念
一 Broker(代理)一台kafka服务器就可以称之为broker.一个集群由多个broker组成,一个broker可以有多个topic 二 Topic(主题)每一条发送到kafka集群的消息都可以有一个类别,这个类别叫做topic,不同的消息会进行分开存储,如果topic很大,可以分布到多个broker上也可以这样理解:topic被认为是一个队列,每一条消息都必须指定它的t原创 2017-06-02 16:42:35 · 3462 阅读 · 0 评论 -
kafka基础之介绍和分布式集群搭建
一 kafka介绍现在各个电商平台,社交平台等诸多系统可以不断生产出各种细信息,那么我们应该如何收集它,如何分析它,以及输入实时的做到以上需求。Kafka应运而生。Kafka是一个分布式的的流式系统或者平台,他可以发布和订阅消息,这个和一般的消息中间件类似,他可以让你以容错的方式存储数据或者消息,并且你还可以处理他们,他一般多用于构建实时应用。首先,这儿有几个概念:# kafka是转载 2017-06-02 16:37:15 · 574 阅读 · 0 评论 -
kafka假死 & Direct buffer memory
发生java.lang.OutOfMemoryError: Direct buffer memory原创 2017-11-18 10:18:14 · 7111 阅读 · 0 评论