kafka
散_步
但行好事,莫问前程
展开
-
消费者数据丢失-数据重复
说明:1.已经消费的数据对于kafka来说,会将消费组里面的offset值进行修改,那什么时候进行修改?是在数据消费完成之后,比如在控制台打印完成后自动提交;2.提交过程: 是通过kafka将offset 进行移动到下个message所处的offset的位置3.拿到数据后,存储到hbase中或者mysql 中,如果hbase 或者mysql 在这个时候连接不上,就会抛异常,如果在处理数据的时候已经进行提交,那么Kafka上的offset值已经进行了,修改了,但是hbase或者mysql 中.原创 2021-01-03 16:20:58 · 131 阅读 · 0 评论 -
KafKa生产者分区策略运行实例
package com.kafka.partitions;import org.apache.kafka.clients.producer.KafkaProducer;import org.apache.kafka.clients.producer.ProducerRecord;import java.util.Properties;public class KafkaProducerMypartition { public static void main(String[] .原创 2020-12-03 21:18:36 · 217 阅读 · 0 评论 -
kafka的原理
生产-消费流程:数据从生产-消费-提交offset过程,分以下几个阶段来进行。生产者:生产者是一个向kafkaCluster 发布记录的客户端,生产者是线程安全的,跨线程共享单个生产者实践通常比具有多个实例更快。必要条件:生产者要进行生产数据到kafkaCluster中,必要条件有以下三个:1.地址bootstrap.servers=node01:90922.序列化key.serializer=org.apache.kafka.common.serialization...原创 2020-11-26 16:45:25 · 126 阅读 · 1 评论 -
KafKa集群的命令行操作以及JavaAPI
kafka集群操作-控制台操作创建一个Topic创建了一个名字为test的主题, 有三个分区,有两个副本node01执行以下命令来创建topiccd /export/servers/kafka_2.11-0.10.0.0bin/kafka-topics.sh --create --partitions 3 --replication-factor 2 --topic test --zookeeper node01:2181,node02:2181,node03:2181查看T.原创 2020-11-26 14:47:24 · 233 阅读 · 0 评论 -
kafka集群的搭建
准备三台机器192.168.100.100 node01192.168.100.110 node02192.168.100.120 node03初始化环境安装jdk、安装zookeeper安装包存放的目录:/export/softwares 安装程序存放的目录:/export/servers 三台机器执行以下命令创建统一文件目录mkdir -p /export/servers mkdir -p /export/softwares 验证环...原创 2020-11-20 21:29:34 · 158 阅读 · 0 评论