zhengzaifeidelushang的博客

当设置errors.deadletterqueue.context.headers.enable参数为true时，记录头将被添加到DLQ中——默认值为false。然后，可以使用kcat（以前称为kafkacat）实用程序，用于Confluent Platform查看记录头并确定记录失败的原因。要确定记录是否失败，必须使用内部度量标准，或计算源中的记录数并将其与处理的记录数进行比较。当errors.tolerance设置为none时，错误或无效记录会导致连接器任务立即失败，并将连接器置于失败状态。

在Apache Kafka中，数据底层文件主要包括以下几种类型：这几个文件是Apache Kafka在存储和管理消息时使用的，以下是对每个文件的解释：

Kafka Connect 能够为接收器连接器（从版本 0.11.0 开始）和源连接器（从版本 3.3.0 开始）提供一次性语义。请注意，对一次语义的支持高度依赖于您运行的连接器类型。即使您在集群中每个节点的配置中设置了所有正确的工作线程属性，如果连接器未设计为或无法利用 Kafka Connect 框架的功能，则可能无法实现精确一次。

默认情况下，转换期间或转换中遇到的任何错误都会导致连接器失败。要将连接器的转换器、转换或接收器连接器本身内的错误报告到日志，请在连接器配置中设置errors.log.enable=true 以记录每个错误和问题记录的主题、分区和偏移量的详细信息。要将连接器的转换器、转换或接收器连接器本身内的错误报告给死信队列主题，请设置errors.deadletterqueue.topic.name，并可选设置errors.deadletterqueue.context.headers.enable=true。

如果给定主机可访问的 URI 与其侦听的 URI 不同，则可以使用配置选项rest.advertished.host.name、rest.advertished.port 和rest.advertished.listener 来更改要访问的 URI。当使用HTTPS在节点之间进行通信时，将使用相同的ssl.*或listeners.https选项来配置HTTPS客户端。admin.Listeners配置可用于在Kafka Connect的REST API服务器上配置Admin REST API。

Kafka系列之：Kafka集群同时设置基于时间和日志大小两种方式保存Topic的数据

Kafka系列之：kafka.errors.UnsupportedCodecError: UnsupportedCodecError: Libraries for snappy compression

Kafka系列之：统计kafka集群Topic的分区数和副本数，批量增加topic副本数

Kafka系列之：记录一次Kafka Topic分区扩容，但是下游flink消费者没有自动消费新的分区的解决方法

Kafka系列之：安装Know Streaming详细步骤

Kafka系列之：基于Apache Kafka Connect实现端到端topic数据字段级加密的详细方法

Kafka系列之：Apache Kafka端到端安全性，实现数据加密

Kafka系列之：Unexpected handshake request with client mechanism PLAIN, enabled mechanisms are []

Kafka系列之：深入理解Kafka集群调优

Kafka系列之：Kafka生产者和消费者

Kafka系列之：Kraft模式

Kafka系列之：详细总结认证方式PLAINTEXT、GSSAPI、Scram的实现方式，通过Ranger、Kerberos实现kafka账号的Topic权限管理

Kafka系列之：基于SCRAM和Ranger机制完成动态新增kafka读写账号、赋予账号对指定Topic的读写权限

Kafka系列之：使用kafka manager增加topic分区和副本

Kafka系列之：实现kafka topic优先副本的选举

Kafka系列之：使用Kafka Manager实现leader分区平衡和broker节点上分区平衡

Kafka系列之：kafka集群管理工具Know Streaming安装详细步骤

Kafka系列之：实现Kafka Connect集群访问认证

Kafka系列之：详细介绍部署Kafka Connect分布式集群

Kafka系列之：增加Kafka节点扩展Kafka集群

Kafka系列之：Kafka消费组中消费者再均衡的原理

Kafka系列之：详细记录一次Kafka集群添加两个broker节点，重新分配Topic分区实现各个节点分区数平衡

Kafka系列之：实现对Kafka集群的监控

若待删除的日志分段的总数等于该日志文件中所有的日志分段的数量，那么说明所有的日志分段都已过期，但该日志文件中还要有一个日志分段用于接收消息的写入，即必须要保证有一个活跃的日志分段activeSegment，在这种情况下，会先切出一个新的日志分段作为activeSegment，然后执行删除操作。假设logStartOffset等于25，日志分段1的起始偏移量为0，日志分段2的起始偏移量为11，日志分段3的起始偏移量为23，通过如下动作收集可删除的日志分段的文件集合deletableSegments。

Kafka系列之：kafka集群broker节点变化重新分配分区

Kafka系列之：深入理解Kafka 主题、分区、副本、LEO、ISR、HW、Kafka的主写主读和分区leader选举

Kafka系列之：深入理解Kafka的消息代理

Kafka系列之：深入理解过期时间TTL

Kafka系列之：kafka命令详细总结

Kafka系列之：Broker配置

Kafka系列之：APIS

Kafka系列之：连接器开发指南

kafka系列之：深入理解Transformations

深入浅出理解kafka原理系列之：kafka延迟检测kafka_consumergroup_lag_sumkafka的jmx指标kafka_consumergroup_lag_sumkafka_consumergroup_lag_sum：查看kafka的topic消费积压的值kafka_consumergroup_lag_sum{consumergroup=“optics-stg”,topic=“debezium-stg-optics”} 0默认值500，消费者消费kafka topic产生消费

深入理解kafka原理系列之：Controller、rebalance、HW和LEO一、Controller二、rebalance机制三、HW和LEO一、Controllerkafka每个broker启动时会向zk创建一个临时序号节点，获得的序号最小的那个broker将会作为集群中的controller，负责以下事情：当集群中有一个副本的leader挂掉，需要在集群中选举出一个新的leader，选举的规则是从isr集合中最左边获得。当集群中有broker新增或减少，controller会同步信息给