kafka
zhangyingchengqi
学无止境。
展开
-
spark streaming从kafka 2.11中拉取数据的错误
spark streaming从kafka 2.11中拉取数据的错误:java.util.ConcurrentModificationException: KafkaConsumer is not safe for multi-threaded accessjava.util.ConcurrentModificationException: KafkaConsumer is not safe for multi-threaded access at org.apache.kafka.client原创 2020-06-04 23:15:31 · 731 阅读 · 0 评论 -
java.io.NotSerializableException: org.apache.kafka.clients.consumer.ConsumerRecord
spark streaming 2.0 从kafka2.11中读取数据,出现以下错误java.io.NotSerializableException: org.apache.kafka.clients.consumer.ConsumerRecordSerialization stack: - object not serializable (class: org.apache.kafka.clients.consumer.ConsumerRecord, value: ConsumerRecord(原创 2020-06-04 22:41:41 · 1256 阅读 · 0 评论 -
kafka 的connect
kafka的connect 官方只提供了一个针对文本文件的 Sourceconnector和 Sink connector, 如要更多的应用场景的话,须要自已开发或是到github上面找由个人维护的connector. 下面记录一下由 维护的一些常用的connector,也可以参考来开发.https://github.com/confluentinc/kafka-connect-...原创 2020-03-19 14:56:48 · 196 阅读 · 0 评论 -
kafka调优记录
原创 2020-03-17 14:54:44 · 172 阅读 · 0 评论 -
kafka 的consumer配置参数
bootstrap.serversbroker集群地址,格式:ip1:port,ip2:port...,不需要设定全部的集群地址,设置两个或者两个以上即可。group.id消费者隶属的消费者组名称,如果为空会报异常,一般而言,这个参数要有一定的业务意义。fetch.min.bytes该参数用来配置 Consumer 在一次拉取请求(调用 poll() 方法)中能从 Kafka ...转载 2020-03-12 10:46:43 · 2609 阅读 · 0 评论 -
kafka producer主要参数详解
acks(默认值为1)在消息被认为是“已提交”之前,producer需要leader确认请求的应答数。该参数用于控制消息的持久性,目前提供了3个取值:acks = 0: 表示producer请求立即返回,不需要等待leader的任何确认。这种方案有最高的吞吐率,但是不保证消息是否真的发送成功。acks = -1:表示分区leader必须等...转载 2020-03-11 15:21:07 · 3733 阅读 · 0 评论 -
kafka生产者无消息丢失配置
Kafka到底会不会丢数据(data loss)? 网上各种说法都有,在回答这个问题之前, 我们要明确“责任边界”。所谓责任边界就是要确定消息在生产和消费的完整流程中是由谁来负责,确保它不会丢失。这样即使真的出现了消息丢失,也能明确是责任主体,有针对性地进行改进和调整。关于责任的划定,官方其实已经给出了很明确的答案:Once a published message is committe...原创 2020-03-11 15:12:24 · 713 阅读 · 1 评论 -
kafka producer工作流程
①、首先要构造一个 ProducerRecord 对象,该对象可以声明主题Topic、分区Partition、键 Key以及值 Value,主题和值是必须要声明的,分区和键可以不用指定。 ②、调用send() 方法进行消息发送。 ③、因为消息要到网络上进行传输,所以必须进行序列化,序列化器的作用就是把消息的 key 和 value对象序列化成字节数组。 ④、接下来...原创 2020-03-11 07:37:56 · 537 阅读 · 0 评论 -
broker端的主要参数
broker端的配置中有一些参数是所有Kafka环境都需要考虑和配置的,不论是单机环境(standalone)还是集群环境(cluster)。这些参数都是Kafka broker的基础配置,一定要明确它们的含义。 Broker端的参数需要在/config/server.properties文件中进行设置,另外若需要修改配置,则必须重启对应的Kafka broker。bro...原创 2020-03-11 07:23:36 · 675 阅读 · 0 评论 -
kafka的advertised.host.name参数 外网访问配置
kafka的server.properties文件```host.name```开始只绑定在了内部IP上,对外网卡无法访问。把值设置为空的话会kafka监听端口在所有的网卡上绑定。但是在外网访问时,客户端又遇到了```java.nio.channels.ClosedChannelException```异常信息,server端用tcpdump分析的时候发现客户端有传递kafka所在机器的机...转载 2020-02-25 10:59:43 · 7818 阅读 · 0 评论