zhengzaifeidelushang的博客

执行 obd demo 命令后，会自动部署 OceanBase 数据库、OBProxy、OBAgent、Prometheus 和 Grafana，默认版本为镜像库中最新版本。使用 obd 命令管理和 OBClient 客户端连接实例，也可使用宿主机本地 OBClient 或 MySQL 客户端连接到 OceanBase 数据库实例。obd 自带仓库信息，当机器可以连接网络时，无须配置，执行 obd mirror list 命令即可查看 obd 仓库中的软件。查看 obd 仓库信息。查看 obd 仓库信息。

IService 是 MyBatis-Plus 提供的一个通用 Service 层接口，它封装了常见的 CRUD 操作，包括插入、删除、查询和分页等。通过继承 IService 接口，可以快速实现对数据库的基本操作，同时保持代码的简洁性和可维护性。IService 接口中的方法命名遵循了一定的规范，如 get 用于查询单行，remove 用于删除，list 用于查询集合，page 用于分页查询，这样可以避免与 Mapper 层的方法混淆。

如果您在Debezium JDBC sink连接器的部署中实现了自定义的TableNamingStrategy，请确保调整您的代码以使用新的CollectionNamingStrategy，以便在更新到Debezium 3.1+时您的流水线能够继续安全运行。在早期版本的Debezium for Vitess连接器中，连接器使用基于正则表达式的过滤系统，根据不同后缀的前缀匹配所有表，并根据配置应用后续的排除。改变的是那些具有微秒或纳秒为基础值的列的情况，在这些列以前为零的情况下，现在它们将具有非零值。

Debezium JDBC连接器是一个Kafka Connect接收器连接器实现，可以从多个源主题消费事件，然后通过使用JDBC驱动程序将这些事件写入关系型数据库。该连接器支持各种数据库方言，包括Db2、MySQL、Oracle、PostgreSQL和SQL Server。

数据库系列之：查看mysql数据库表的索引、表的结构、表的数据量

Debezium连接器通常通过部署到Kafka Connect服务来运行，并配置一个或多个连接器来监视上游数据库，并为上游数据库中的所有更改生成数据变更事件。这些数据变更事件被写入Kafka，可以由许多不同的应用程序独立消费。Kafka Connect提供了出色的容错性和可伸缩性，因为它作为分布式服务运行，并确保所有注册和配置的连接器始终运行。

信箱模式是在不同微服务之间传播数据的好方法。通过仅修改单个资源 - 源服务自己的数据库 - 它避免了同时修改多个不共享一个常规事务上下文（数据库和Apache Kafka）的资源可能存在的任何不一致性。通过首先写入数据库，源服务具有即时的“读取自己的写入”语义，这对于一致的用户体验非常重要，允许在写入后立即调用的查询方法反映任何数据变化。同时，该模式还实现了对其他微服务的异步事件传播。Apache Kafka作为服务之间消息传递的高度可伸缩和可靠的基础设施。

Debezium日常分享系列之：debezium3模块

答：每个WriteRowsEventData/UpdateRowsEventData/DeleteRowsEventData事件都是由TableMapEventData事件（包含模式和表名）引导的。client.connect() 是阻塞的（意味着客户端将在当前线程中侦听事件）。问：插入/更新/删除行的EventData中没有关于表的信息（除了一些奇怪的id）。最初，该项目是作为的分支开始的，但最终却成为了一次完全的重写。这段代码用于读取二进制日志文件（binlogFile）中的事件，并对事件进行处理。

Debezium日常分享系列之：异步 Debezium 嵌入式引擎

Debezium MySQL连接器以与行存在的表结构相似的事件形式表示行的更改。该事件包含每个列值的字段。该列的MySQL数据类型决定了Debezium在事件中表示该值的方式。在MySQL中，存储字符串的列是使用字符集和排序规则定义的。当读取binlog事件中的列值的二进制表示时，MySQL连接器使用列的字符集。连接器可以将MySQL数据类型映射到字面和语义类型。如果默认的数据类型转换不符合需求，可以为连接器指定自定义类型映射。

在fdisk命令提示符下，按下n创建新分区。选择分区类型（主分区或逻辑分区），然后选择分区编号，设置分区大小和位置。完成后，按下w保存并退出。请注意，在执行这些命令之前，请谨慎操作，并确保您了解自己正在做什么，以避免数据丢失或其他问题。（可选）将新分区添加到/etc/fstab文件中，以在系统启动时自动挂载。这样，在下次系统启动时，新分区将自动挂载到指定的挂载点目录。现在，新分区就已经成功创建并挂载到指定的挂载点目录了。可以根据实际需要选择挂载点目录的名称和位置。

3.0.1.Final维护版本引入了几个新功能，包括对 Cassandra 5、PostgreSQL 17 和 MySQL 9.1 的支持。此外，Debezium Server 支持 YAML，配置也有一些改进。

由 Flink 管理的 keyed state 是一种分片的键/值存储，每个 keyed state 的工作副本都保存在负责该键的 taskmanager 本地中。Checkpoint n 将包含每个 operator 的 state，这些 state 是对应的 operator 消费了严格在 checkpoint barrier n 之前的所有事件，并且不包含在此（checkpoint barrier n）后的任何事件后而生成的状态。相反，这意味着 每一个事件都会影响 Flink 管理的状态精确一次。

Kubernetes 是一种流行的容器编排系统，用于自动化计算机应用程序的部署、扩展和管理。Flink 的原生 Kubernetes 集成允许您直接在正在运行的 Kubernetes 集群上部署 Flink。此外，由于 Flink 可以直接与 Kubernetes 通信，因此它能够根据所需资源动态分配和取消分配 TaskManager。Apache Flink 还提供了一个 Kubernetes 运算符，用于管理 Kubernetes 上的 Flink 集群。

Apache Hadoop YARN 是许多数据处理框架中流行的资源提供者。Flink 服务提交给 YARN 的 ResourceManager，后者在由 YARN NodeManagers 管理的机器上生成容器。Flink 将其 JobManager 和 TaskManager 实例部署到此类容器中。Flink 可以根据在 JobManager 上运行的作业所需的处理槽数量动态分配和取消分配 TaskManager 资源。

独立模式是 Flink 最简单的部署模式。本简短指南将向您展示如何下载、安装和运行 Flink 的最新稳定版本。您还将运行一个示例 Flink CDC 作业并在 Web UI 中查看它。

Route 指定匹配一串 source-table 到 sink-table 的规则，最典型的场景是分库分表合并，将多个上游 source 表路由到同一张 sink 表。由于 Flink CDC 中的事件以管道方式从上游流向下游，因此整个 ETL 任务被称为数据管道。在连接外部系统时，需要与外部系统的存储对象建立映射关系，这就是 Table Id 所指的。Transform模块帮助用户根据表中的数据列进行数据列的删除和扩展。数据源用于访问元数据并从外部系统读取更改的数据。数据接收器可以同时写入多个表。

用户定义函数 (UDF) 可用于转换规则。实现 org.apache.flink.cdc.common.udf.UserDefinedFunction 接口具有无参数的公共构造函数至少有一个名为 eval 的公共方法覆盖 getReturnType 方法以指示其返回 CDC 类型覆盖 open 和 close 方法以执行一些初始化和清理工作@Override@Override// ...@Override// ...

Route 指定匹配一串 source-table 到 sink-table 的规则，最典型的场景是分库分表合并，将多个上游 source 表路由到同一张 sink 表。然后，所有表（包括 source_db.XXX）都将被轻松路由到 sink_db.XXX。

数据接收器用于应用架构更改并将更改数据写入外部系统。数据接收器可以同时写入多个表。

数据源用于访问元数据并从外部系统读取更改的数据。数据源可以同时从多个表读取数据。

本教程将展示如何使用 Flink CDC 快速构建从 MySQL 到 StarRocks 的 Streaming ELT 作业，包括同步一个数据库的所有表、模式变更演变和将分片表同步到一张表的功能。本教程中的所有练习都在 Flink CDC CLI 中执行，整个过程使用标准 SQL 语法，无需一行 Java/Scala 代码或 IDE 安装。

本教程将展示如何使用 Flink CDC 快速构建从 MySQL 到 Doris 的 Streaming ELT 作业，包括同步一个数据库的所有表、模式变更演变和将分片表同步到一张表的功能。本教程中的所有练习都在 Flink CDC CLI 中执行，整个过程使用标准 SQL 语法，无需一行 Java/Scala 代码或 IDE 安装。

在当今动态的数据环境中，检测和理解数据对于系统的可靠性至关重要。在本博文中，我们将探讨如何在微服务架构中使用Debezium进行全面的数据库活动记录和分析。我们将深入探讨Debezium如何捕获行级别的变化并实时流式传输，从而实现对数据库操作的即时可见性。通过与分析工具集成，我们将了解如何构建详细的活动仪表板，揭示每个表的操作数量和性质。这些洞察力对于识别意外模式非常宝贵，例如由于带有错误的新微服务部署而导致插入操作突然减少。

每张表还带有 location 和 groupId 两个标签，其中，groupId 设置为 1 到 10，而 location 则设置为 California.Campbell、California.Cupertino 等城市信息。该工具能够模拟大量设备产生的数据，并允许用户灵活控制数据库、超级表、标签列的数量和类型、数据列的数量和类型、子表数量、每张子表的数据量、写入数据的时间间隔、工作线程数量以及是否写入乱序数据等策略。在上面的查询中，使用系统提供的伪列_wstart 来给出每个窗口的开始时间。

Kafka Connect 是 Apache Kafka 的一个组件，用于使其它系统，比如数据库、云服务、文件系统等能方便地连接到 Kafka。数据既可以通过 Kafka Connect 从其它系统流向 Kafka, 也可以通过 Kafka Connect 从 Kafka 流向其它系统。从其它系统读数据的插件称为 Source Connector, 写数据到其它系统的插件称为 Sink Connector。

【代码】Python系列之：批量把列表中多个元组数据写入到mysql数据库。

InfluxDB和InfluxDB数据采集Connector

Debezium日常分享系列之：Debezium 3.0.0.Final发布

自2015年底成立以来，Debezium一直努力成为领先的开源Change Data Capture平台。这个项目最初专注于两个连接器，现在已经发展成为一个支持近十个不同数据库供应商的连接器组合。在过去几年里，我们在多个领域取得了快速增长。我们将Sink连接器引入我们的产品组合，以改善用户体验，并提供完整的端到端Change Data Capture流水线的解决方案。

重试功能默认启用，尝试最多重试5次，每次重试之间延迟1秒。如果您希望禁用重试，将flush.failure.max.retries设置为0将禁用此功能。

Debezium日常分享系列之：Debezium 2.7.3.Final发布

请确保在使用已弃用的配置选项时更新您的Oracle连接器配置以保留旧的行为。在对Oracle RAC节点刷新进行改进时，我们发现当数据库管理员将Oracle RAC节点脱机时，会强制引入三秒的延迟。然而，在节点处于脱机状态时，Oracle RAC节点无法执行任何对重做日志的写入操作，因此这三秒的延迟在节点脱机期间会导致不必要的延迟。除了支持MySQL 9.0之外，Debezium 3还引入了对新的VECTOR(n)数据类型的支持，该类型支持可以表示为二进制或列表格式字符串的浮点值列表。

在Debezium 3.0.0.Final发布之后，我们将不再向docker.io发布容器镜像更新。旧版本的Debezium 2.x和1.x镜像将继续保留在docker.io上；然而，所有未来的Debezium 2.7.x和3.x或更高版本的镜像将只能在quay.io上获得。

Debezium 2.7 版本流的第二个维护版本 2.7.2.Final。此维护版本侧重于解决稳定性和回归问题，并进行了一些改进，例如使用 Informix 支持 DECIMAL§ 数据类型以及修复使用 JsonConverter 和 TruncateColumn 处理程序的回归。

Java报错处理系列之：Internal error : Unable to make protected void java.util.ResourceBundle.setParent accessible: module java.base does not "opens java.util" to unnamed module @7f1302d6

Operators 代表Kubernetes管理集群和非集群资源。这个Java Operator SDK (JOSDK) 旨在通过使用一个对Java开发人员来说应该感觉自然的API，使编写Kubernetes操作员变得尽可能容易，并且不必担心许多低级细节，因为SDK会自动处理。

简单来说，控制器循环是控制器操作的基础。想象一下，有一个不终止的过程（在Kubernetes中称为调谐循环）一遍又一遍地进行，如下图所示：该过程观察至少一个Kubernetes对象，该对象包含有关期望状态的信息。诸如部署服务密钥入口配置映射等对象由JSON或YAML格式的配置文件定义。然后，控制器通过Kubernetes API进行持续调整，以模拟期望状态，直到当前状态变为期望状态，根据内置的逻辑进行操作。

Operator 是 CRD 配合 可选的 webhook 和 controller，在 Kubernetes 体系下扩展用户业务逻辑的一套机制；kubebuilder 是社区认可度很高的一种官方、标准化 Operator 框架；按照上文实战步骤，填充用户自定义代码，就可以很方便的实现一个 Operator。