![](https://img-blog.csdnimg.cn/2019091916183562.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Kafka
張萠飛
这个作者很懒,什么都没留下…
展开
-
Kafka迭代升级,轮询升级
升级步骤从0.8.x, 0.9.x, 0.10.0.x, 0.10.1.x, 0.10.2.x, 0.11.0.x, 1.0.x, 1.1.x, 2.0.x or 2.1.x or 2.2.x, 2.3.x, 2.4.x 升级到2.5.0如果您正在从2.1.x之前的版本升级。请参阅下面关于用于存储消费者偏移量的模式更改的注释。一旦您更改了 inter.broker.protocol.version 到最新版本时,将不可能降级到2.1之前的版本。滚动升级:1、更新 server.proper.翻译 2020-12-03 10:46:37 · 1941 阅读 · 0 评论 -
Kafka安全 之 Authentication using SASL/PLAIN
Table of Contents配置 kafka broker配置 kafka 客户端在生产中使用SASL/PLAIN完整样例SASL/PLAIN是一种简单的用户名/密码身份验证机制,通常与 TLS 一起用于加密以实现安全身份验证。Kafka支持SASL/PLAIN的默认实现用户名被用作配置acl等的认证主体。配置 kafka broker将一个适当修改过的 J...翻译 2019-12-31 15:07:23 · 1062 阅读 · 0 评论 -
Structured Streaming + Kafka 构建指南
版本依赖<scala.version>2.11.12</scala.version><spark.version>2.1.1</spark.version><!-- Spark - Kafka 依赖 --><dependency> <groupId>org.apache.spark</gr...翻译 2019-11-19 22:17:41 · 414 阅读 · 0 评论 -
消息队列点到点模式和发布订阅模式
Table of Contents概念简述两者区别流行消息队列的消息模型比较RabbitMQKafkaPulsar概念简述JMS 规范支持两种消息模型:点到点、发布订阅。点到点模式:生产者将消息发送到队列中,然后消费者去队列中消费信息。消息被消费之后,队列会移除已经被消费的消息。队列支持多个消费者,但是一个消息只能被一个消费者消费。发布订阅模式:生产这将消息...原创 2019-10-30 15:42:26 · 1293 阅读 · 0 评论 -
5.3、Flink流处理(Stream API)- Connector(连接器) 之 Apache Kafka Connector
目录安装KafkaKafka 1.0.0+ Connector兼容性从0.11迁移到通用的 Kafka Connector上用法Kafka Consumer反序列化类DeserializationSchema消费者开始消费位置配置Kafka 消费和容错Kafka消费者主题及Partition DiscoveryPartition discovery...翻译 2019-09-08 21:54:55 · 2444 阅读 · 0 评论 -
5.5、Flink Table API & SQL - 连接外部系统 之 Kafka Connector(Kafka连接器)
Kafka连接器允许从Apache Kafka主题读写内容。它可以定义为:JAVA / SCALA.connect( new Kafka() .version("0.11") // required: valid connector versions are // "0.8", "0.9", "0.10", "0...翻译 2019-09-10 21:37:20 · 1903 阅读 · 0 评论 -
Apache Pulsar之与Apache Kafka的异同——标准队列和流
消息模型是用户在选择流消息系统时应该考虑的第一件事。消息传递模型应该涵盖以下3个领域:消息消费:如何分发和消费消息 消息确认:如何确认消息 消息存储:消息保留多长时间,消息删除的触发机制,如何删除消息消费方式在现代实时流架构中,消息传递案例可以分为两类:队列和流。队列队列是无须的或共享的消息。使用队列消息传递,可以创建多个消费者来从点对点消息传递通道接收消息。当通道传递消息时,...翻译 2019-07-21 18:50:29 · 2530 阅读 · 0 评论 -
Apache Pulsar之什么是Apache Pulsar?
Table of ContentsPulsar的概念和术语数据分区数据完整性保证(简述)在生产环境的应用总结Apahce Pulasr是一个企业级的发布-订阅消息系统,最初是由雅虎开发,主要应用于雅虎邮件、金融、体育、Flickr、Gemin广告平台,以及雅虎的分布式key-value存储。Pulsar的概念和术语将数据输入Plusar的应用程序称为生产者,而使用P...翻译 2019-07-09 14:31:42 · 11654 阅读 · 0 评论 -
Kafka源码解读——kafka配置文件_Configs
Kafka源码解读——配置文件_Configs(间断持续更新......)目录Kafka源码解读——配置文件_Configs(间断持续更新......) Producer Configs配置 Consumer Configs配置 Broker Configs配置 Kafka Connect Configs配置以下配置中没有的请查看官网原文:http://kafka.apache....翻译 2019-05-31 13:07:52 · 3382 阅读 · 0 评论 -
Kafka源码解读——生产者_KafkaProducer
Kafka源码解读——生产者_KafkaProducer(间断持续更......)KafkaProducer类的注释里有以下几段:producer是线程安全的,因此多线程使用一个单例模式的对象比多个对象更快些。 producer有一个缓冲池用来保存还没有发送到服务器的消息数据,以及一个后台I/O线程负责将这些消息数据转换成一个request请求发送到Kafka集群上,注意发送完成之后一定...原创 2019-05-30 12:42:30 · 443 阅读 · 0 评论