Debezium系列之：基于file和Redis的存储模块

一、基于File和Redis存储模块

Debezium 最近将其代码库的一部分围绕持久偏移量和模式历史模块化为一组支持基于 File 和 Kafka 的实现的模块。在 Debezium 2.1 中，引入了一个新模块来支持持久化到 Redis 数据存储。

以下完全限定的类名可用于将偏移量或模式历史记录保存到 Redis 数据存储：

• io.debezium.storage.redis.offset.RedisOffsetBackingStore
• io.debezium.storage.redis.history.RedisSchemaHistory

如果您已手动安装 Debezium，请务必将debezium-storage-redis工件包含在您的类路径中（如果它不存在）以便访问这些新实现。

有关此新实现可以配置哪些选项的信息，请参阅Debezium 服务器文档的源配置部分并查找前缀为：

• debezium.source.offset.storage.redis.*
• debezium.source.schema.history.internal.redis.*

二、源配置

源配置使用在特定连接器文档页面上描述的相同配置属性（仅带有debezium.source前缀），以及在 Kafka Connect 之外运行所必需的一些更具体的配置属性：

属性	默认值	描述
debezium.source.connector.class		实现源连接器的 Java 类的名称。
debezium.source.offset.storage	org.apache.kafka.connect.storage.FileOffsetBackingStore	用于存储和检索非 Kafka 部署的偏移量的类。要使用 Redis 存储偏移量，请使用io.debezium.storage.redis.offset.RedisOffsetBackingStore
debezium.source.offset.storage.file.filename		如果使用文件偏移存储（默认），则为非 Kafka 部署存储连接器偏移的文件。
debezium.source.offset.flush.interval.ms		定义将偏移量刷新到文件中的频率。
debezium.source.offset.storage.redis.address		可选）如果使用 Redis 存储偏移量，则host:port提供 Redis 目标流的地址。如果未提供，将尝试读取debezium.sink.redis.address
debezium.source.offset.storage.redis.user		如果使用 Redis 存储偏移量，则为用于与 Redis 通信的用户名。如果redis.address未提供配置，并且redis.address从 Redis 接收器获取，将尝试从中加载值debezium.sink.redis.user
debezium.source.offset.storage.redis.password		（可选）如果使用 Redis 存储偏移量，则用于与 Redis 通信的（各自用户的）密码。如果设置了用户，则必须设置密码。如果redis.address未提供配置，并且redis.address从 Redis 接收器获取，将尝试从中加载值debezium.sink.redis.password
debezium.source.offset.storage.redis.ssl.enabled		（可选）如果使用 Redis 存储偏移量，是否使用 SSL 与 Redis 通信。如果redis.address未提供配置，并且redis.address是从 Redis 接收器获取的，将尝试从 加载值debezium.sink.redis.ssl.enabled。默认为“假”
debezium.source.offset.storage.redis.key		（可选）如果使用 Redis 存储偏移量，请在 redis 中定义哈希键。如果redis.key未提供配置，则默认值为metadata:debezium:offsets
debezium.source.offset.storage.redis.wait.enabled	false	如果使用 Redis 存储偏移量，则启用等待副本。如果 Redis 配置了副本分片，这允许验证数据是否已写入副本。
debezium.source.offset.storage.redis.wait.timeout.ms	1000	如果使用 Redis 存储偏移量，则定义等待副本时的超时时间（以毫秒为单位）。必须有正值。
debezium.source.offset.storage.redis.wait.retry.enabled	false	如果使用 Redis 存储偏移量，则在等待副本失败时启用重试。
debezium.source.offset.storage.redis.wait.retry.delay.ms	1000	如果使用 Redis 存储偏移量，则定义等待副本失败时的重试延迟。
debezium.source.schema.history.internal	io.debezium.storage.kafka.history.KafkaSchemaHistory	一些连接器（例如 MySQL、SQL Server、Db2、Oracle）跟踪数据库模式随时间的演变并将此数据存储在数据库模式历史中。这是默认基于 Kafka 的。还有其他选项可用io.debezium.storage.file.history.FileSchemaHistory对于非 Kafka 部署 io.debezium.relational.history.MemorySchemaHistory测试环境的易失性存储io.debezium.storage.redis.history.RedisSchemaHistory对于 Redis 部署
debezium.source.schema.history.internal.file.filename		保存其数据的文件的名称和位置FileSchemaHistory。
debezium.source.schema.history.internal.redis.address		Redis 主机：如果使用 则要连接到的端口RedisSchemaHistory。
debezium.source.schema.history.internal.redis.user		如果使用 ，则要使用的 Redis 用户RedisSchemaHistory。
debezium.source.schema.history.internal.redis.password		如果使用 ，则要使用的 Redis 密码RedisSchemaHistory。
debezium.source.schema.history.internal.redis.ssl.enabled		如果使用RedisSchemaHistory.
debezium.source.schema.history.internal.redis.key		如果使用 ，则用于存储的 Redis 密钥RedisSchemaHistory。默认值：元数据：debezium：schema_history
debezium.source.schema.history.internal.redis.retry.initial.delay.ms		如果使用 .redis，则重试连接到 Redis 时的初始延迟RedisSchemaHistory。默认值：300（毫秒）
debezium.source.schema.history.internal.redis.retry.max.delay.ms		如果使用 .redis 重试连接到 Redis 的最大延迟RedisSchemaHistory。默认值：10000（毫秒）
debezium.source.schema.history.internal.redis.connection.timeout.ms		如果使用 .redis 客户端连接超时RedisSchemaHistory。默认值：2000（毫秒）
debezium.source.schema.history.internal.redis.socket.timeout.ms		Redis 客户端的套接字超时（如果使用RedisSchemaHistory. 默认值：2000（毫秒）
debezium.source.schema.history.internal.redis.wait.enabled	false	如果使用 Redis 存储模式历史，请启用等待副本。如果 Redis 配置了副本分片，这允许验证数据是否已写入副本。有关详细信息，请参阅 Redis WAIT命令。
debezium.source.schema.history.internal.redis.wait.timeout.ms	1000	如果使用 Redis 存储模式历史记录，则定义等待副本时的超时时间（以毫秒为单位）。必须有正值。
debezium.source.schema.history.internal.redis.wait.retry.enabled	false	如果使用 Redis 存储架构历史记录，则启用等待副本失败时的重试。
debezium.source.schema.history.internal.redis.wait.retry.delay.ms	1000	如果使用 Redis 存储模式历史，定义等待副本失败时的重试延迟。