![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据-Kafka
rong_code
这个作者很懒,什么都没留下…
展开
-
大数据24-Kafka集群部署与shell命令行操作
1、kafka简介 在流式计算中,Kafka一般用来缓存数据,Storm通过消费Kafka的数据进行计算。 KAFKA + STORM +REDIS 1、Apache Kafka是一个开源消息系统,由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。 2、Kafka最初是由LinkedIn开发,并于2011年初开源。2012年10月从Apache Incubator毕业。该...原创 2019-02-20 10:49:50 · 107 阅读 · 0 评论 -
大数据24-Kafka生产者:写消息到Kafka
本章我们将会讨论Kafka生产者是如何发送消息到Kafka的。Kafka项目有一个生产者客户端,我们可以通过这个客户端的API来发送消息。 概要 当我们发送消息之前,先问几个问题:每条消息都是很关键且不能容忍丢失么?偶尔重复消息可以么?我们关注的是消息延迟还是写入消息的吞吐量? 举个例子,有一个信用卡交易处理系统,当交易发生时会发送一条消息到Kafka,另一个服务来读取消息并根据规则引擎来检...原创 2019-02-20 10:56:51 · 378 阅读 · 0 评论 -
大数据25-Kafka消费者:读消息从Kafka
前言 读完本文,你将了解到如下知识点: kafka 的消费者 和 消费者组 如何正确使用kafka consumer 常用的 kafka consumer 配置 消费者 和 消费者组 什么是消费者? 顾名思义,消费者就是从kafka集群消费数据的客户端,如下图,展示了一个消费者从一个topic中消费数据的模型 image 单个消费者模型存在的问题? 如果这个时...原创 2019-02-20 11:00:14 · 285 阅读 · 0 评论