zhangxiongcolin的专栏

本篇我们将介绍kafka的一些概念及简单的使用案例。关注微信公众号，获取更多内容一. 简介在kafka0.10之前，kafka仅仅是一个消息系统，负责消息的发送与接收，解决应用解耦、异步消息、高流量问题。但在0.10之后kafka提供了流处理和连接器的功能，它也从分布消息系统逐渐转变为流式处理平台。一个流处理平台应该包含以下单个主要的特性：(1). 发布订阅消息事件流的记录，类似于消...

通过上一篇我们基本了解了Kafka的相关概念，本篇我们将介绍Kafka的Producer。 最新版本的生产者程序使用KafkaProducer对象代表一个生产者的客户端进程。生产者要发送消息，并不是直接发送给服务端，而是先在客户端把消息放入队列中，然后由一个消息发送线程从队列中拉取消息，以批量的方式发送消息给服务器。在Kafka中，RecordAccumulator负责缓存生产者客户端的...

我们在前面提到过，kafka的topic是个逻辑概念，实际处理消息处理的是topic的partition。本篇我们将介绍kafka消息发送时是如何分区的以及如何自定义分区。关注微信公众号，获取更多内容一. 默认分区kafka在发送消息时，有两个参数，一个是key,一个是value，key是跟分区相关的，表示该消息应该发送到哪个分区上。当我们在发送消息时，如果不指定key,则kafka内部默...

Producer拦截器(Interceptor)是在kafka0.10版本被引入的，主要用于实现clients端（包括生产和消费）的定制化控制逻辑。对Producer来说，interceptor使得用户在消息发送前以及Producer回调逻辑前有机会对消息做一些定制化需求，比如修改消息。同时，Porducer允许用户指定多个interceptor按序作用于同一条消息上，从而形成一个拦截链。 ...