Debezium日常分享系列之：向 Debezium 连接器发送信号

最新推荐文章于 2024-08-11 08:34:11 发布
最新推荐文章于 2024-08-11 08:34:11 发布
阅读量1.2k 收藏 17
点赞数 25
分类专栏： 日常分享专栏 文章标签： Debezium日常分享系列 向Debezium连接器 发送信号
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhengzaifeidelushang/article/details/135323026
版权

Debezium日常分享系列之：向 Debezium 连接器发送信号

一、概述

Debezium 信号机制提供了一种修改连接器行为或触发一次性操作（例如启动表的临时快照）的方法。要使用信号触发连接器执行指定操作，可以将连接器配置为使用以下一个或多个通道：

  • 源信号通道：可以发出 SQL 命令将信号消息添加到专门的信令数据集合中。在源数据库上创建的信令数据集合专门用于与 Debezium 进行通信。
  • Kafka信号通道；将信号消息提交到可配置的 Kafka 主题。
  • Jmx信号通道：通过 JMX 信号操作提交信号。
  • 文件信号通道：可以使用文件来发送信号。
  • Custom：将信号提交到实施的自定义通道。当 Debezium 检测到新的日志记录或临时快照记录添加到通道时，它会读取信号并启动请求的操作。

信号传输可与以下 Debezium 连接器一起使用：

  • Db2
  • MongoDB
  • MySQL
  • Oracle
  • PostgreSQL
  • SQL Server

可以通过设置 signal.enabled.channels 配置属性来指定启用哪个通道。该属性列出了已启用的通道的名称。默认情况下，Debezium 提供以下渠道：source 和 kafka。源通道默认启用，因为增量快照信号需要它。

二、激活源信号通道

默认情况下，Debezium 源信令通道已启用。

必须为要使用它的每个连接器显式配置信令。

程序：

  • 在源数据库上，创建信令数据收集表，用于向连接器发送信号。
  • 对于实现本机变更数据捕获 (CDC) 机制的源数据库（例如 Db2 或 SQL Server），为信令表启用 CDC。
  • 将信令数据集合的名称添加到 Debezium 连接器配置中。在连接器配置中，添加属性 signal.data.collection，并将其值设置为您在步骤 1 中创建的信令数据集合的完全限定名称。

例如，signal.data.collection = inventory.debezium_signals。

信令集合的完全限定名称的格式取决于连接器。

以下示例显示了每个连接器使用的命名格式：

  • Db2：.
  • MongoDB：.
  • MySQL：.
  • Oracle：..
  • PostgreSQL：.
  • SQL Server：..

三、信令数据集合的结构

信令数据集合或信令表存储您发送到连接器以触发指定操作的信号。信令表的结构必须符合以下标准格式。

  • 包含三个字段（列）。
  • 字段按特定顺序排列，如表 1 所示。

表 1. 信令数据集合所需的结构

字段类型描述
id(required)string标识信号实例的任意唯一字符串。为提交到信令表的每个信号分配一个 ID。通常，ID 是 UUID 字符串。可以使用信号实例进行日志记录、调试或重复数据删除。当信号触发 Debezium 执行增量快照时，它会生成带有任意 id 字符串的信号消息。生成的消息包含的 id 字符串与提交信号中的 id 字符串无关。
type(required)string指定要发送的信号类型。可以将某些信号类型与任何可提供信号传输的连接器一起使用，而其他信号类型仅可用于特定的连接器。
data(optional)string指定要传递给信号操作的 JSON 格式的参数。每种信号类型都需要一组特定的数据。

数据集合中的字段名称是任意的。上表提供了建议的名称。如果使用不同的命名约定，请确保每个字段中的值与预期内容一致。

四、创建信令数据集合

可以通过向源数据库提交标准 SQL DDL 查询来创建信令表。

先决条件：

  • 有足够的访问权限在源数据库上创建表。

程序：

  • 向源数据库提交SQL查询，创建符合所需结构的表，如下例所示：
CREATE TABLE <tableName> (id VARCHAR(<varcharValue>) PRIMARY KEY, type VARCHAR(<varcharValue>) NOT NULL, data VARCHAR(<varcharValue>) NULL);

注意：

分配给 id 变量的 VARCHAR 参数的空间量必须足以容纳发送到信令表的信号 ID 字符串的大小。如果 ID 的大小超出可用空间，连接器将无法处理信号。

以下示例显示了创建三列 debezium_signal 表的 CREATE TABLE 命令：

CREATE TABLE debezium_signal (id VARCHAR(42) PRIMARY KEY, type VARCHAR(32) NOT NULL, data VARCHAR(2048) NULL);

五、激活kafka信号通道

可以通过将 Kafka 信令通道添加到 signal.enabled.channels 配置属性，然后将接收信号的主题名称添加到 signal.kafka.topic 属性来启用 Kafka 信令通道。启用信令通道后，将创建 Kafka 消费者来消费发送到配置的信号主题的信号。

可供消费者使用的附加配置：

  • Db2 connector Kafka signal configuration properties
  • MongoDB connector Kafka signal configuration properties
  • MySQL connector Kafka signal configuration properties
  • Oracle connector Kafka signal configuration properties
  • PostgreSQL connector Kafka signal configuration properties
  • SQL Server connector Kafka signal configuration properties

注意：

  • 要使用 Kafka 信令触发大多数连接器的临时增量快照，必须首先在连接器配置中启用源信令通道。
  • 源通道实现了水印机制，以对可能由增量快照捕获并在流恢复后再次捕获的事件进行重复数据删除。
  • 使用信令通道触发启用GTID的只读MySQL数据库的增量快照时，不需要启用源通道。

六、数据格式

Kafka 消息的键必须与 topic.prefix 连接器配置选项的值匹配。

该值是具有类型和数据字段的 JSON 对象。

当信号类型设置为执行快照时，数据字段必须包括下表中列出的字段：

表 2. 执行快照数据字段

字段默认值值
typeincremental要运行的快照的类型。目前 Debezium 支持增量和阻塞类型。
data-collectionsN/A一组以逗号分隔的正则表达式，与要包含在快照中的数据集合的完全限定名称相匹配。使用与 signal.data.collection 配置选项所需的格式相同的格式指定名称。
additional-conditionN/A一个可选字符串，指定连接器评估的条件，以指定要包含在快照中的记录子集。注意：此属性已弃用，应由附加条件属性替换。
additional-conditionsN/A一个可选数组，指定连接器评估的一组附加条件，以确定要包含在快照中的记录子集。每个附加条件都是一个对象，指定过滤临时快照捕获的数据的条件。您可以为每个附加条件设置以下属性：数据采集：过滤器应用到的 {data-collection} 的完全限定名称。您可以对每个{data-collection}应用不同的过滤器。过滤：指定数据库记录中必须存在的列值，快照才能包含该列值，例如“color=‘blue’”。快照进程根据过滤器值评估 {data-collection} 中的记录，并仅捕获包含匹配值的记录。分配给过滤器属性的具体值取决于临时快照的类型：对于增量快照，可以指定一个搜索条件片段，例如“color=‘blue’”，快照会将其附加到查询的条件子句中。对于阻塞快照，可以指定完整的 SELECT 语句，例如您可以在 snapshot.select.statement.overrides 属性中设置的语句。

以下示例显示了典型的执行快照 Kafka 消息：

Key = `test_connector`

Value = `{"type":"execute-snapshot","data": {"data-collections": ["schema1.table1", "schema1.table2"], "type": "INCREMENTAL"}}`

七、激活JMX信号通道

可以通过将 jmx 添加到连接器配置中的 signal.enabled.channels 属性来启用 JMX 信号，然后启用 JMX MBean 服务器来公开信号 Bean。

程序

  • 使用首选的 JMX 客户端（例如 JConsole 或 JDK Mission Control）连接到 MBean 服务器。

  • 搜索 Mbean debezium.<连接器类型>.management.signals.<服务器>。 Mbean 公开接受以下输入参数的信号操作：

    • p0：信号的 ID。
    • p1：信号的类型，例如执行快照。
    • p2：包含有关指定信号类型的附加信息的 JSON 数据字段。

  • 通过提供输入参数的值来发送执行快照信号。

在 JSON 数据字段中，包含下表中列出的信息：

表 2. 执行快照数据字段

字段默认值值
typeincremental要运行的快照的类型。目前 Debezium 支持增量和阻塞类型。
data-collectionsN/A一组以逗号分隔的正则表达式，与要包含在快照中的数据集合的完全限定名称相匹配。使用与 signal.data.collection 配置选项所需的格式相同的格式指定名称。
additional-conditionN/A一个可选字符串，指定连接器评估的条件，以指定要包含在快照中的记录子集。注意：此属性已弃用，应由附加条件属性替换。
additional-conditionsN/A一个可选数组，指定连接器评估的一组附加条件，以确定要包含在快照中的记录子集。每个附加条件都是一个对象，指定过滤临时快照捕获的数据的条件。您可以为每个附加条件设置以下属性：数据采集：过滤器应用到的 {data-collection} 的完全限定名称。您可以对每个{data-collection}应用不同的过滤器。过滤：指定数据库记录中必须存在的列值，快照才能包含该列值，例如“color=‘blue’”。快照进程根据过滤器值评估 {data-collection} 中的记录，并仅捕获包含匹配值的记录。分配给过滤器属性的具体值取决于临时快照的类型：对于增量快照，可以指定一个搜索条件片段，例如“color=‘blue’”，快照会将其附加到查询的条件子句中。对于阻塞快照，可以指定完整的 SELECT 语句，例如可以在 snapshot.select.statement.overrides 属性中设置的语句。

下图显示了如何使用 JConsole 发送信号的示例：

在这里插入图片描述

八、自定义信令通道

信令机制被设计为可扩展的。可以根据需要实施通道，以最适合您环境的方式向 Debezium 发送信号。

添加信令通道涉及几个步骤：

  • 为通道创建一个Java项目来实现通道，并添加Debezium Core作为依赖项。
  • 部署自定义信令通道。
  • 通过修改连接器配置，使连接器能够使用自定义信令通道。

提供自定义信令通道

自定义信号通道是实现 io.debezium.pipeline.signal.channels.SignalChannelReader 服务提供者接口 (SPI) 的 Java 类。例如：

public interface SignalChannelReader {

    String name(); 

    void init(CommonConnectorConfig connectorConfig); 

    List<SignalRecord> read(); 

    void close(); 
}
  • 读者姓名。要使 Debezium 能够使用通道，请在连接器的 signal.enabled.channels 属性中指定此名称。
  • 初始化通道所需的特定配置、变量或连接。
  • 从通道读取信号。 SignalProcessor 类调用此方法来检索要处理的信号。
  • 关闭所有分配的资源。 Debezium 在连接器停止时调用此方法。

九、Debezium 核心模块依赖项

自定义信令通道 Java 项目具有对 Debezium 核心模块的编译依赖项。必须将这些编译依赖项包含在项目的 pom.xml 文件中，如以下示例所示：

<dependency>
    <groupId>io.debezium</groupId>
    <artifactId>debezium-core</artifactId>
    <version>${version.debezium}</version> 
</dependency>
  • ${version.debezium} 表示 Debezium 连接器的版本。
  • 在 META-INF/services/io.debezium.pipeline.signal.channels.SignalChannelReader 中声明实现

十、部署自定义信令通道

先决条件

  • 有一个自定义信令通道 Java 程序。

程序

  • 要将自定义信号通道与 Debezium 连接器结合使用，请将 Java 项目导出到 JAR 文件，然后将该文件复制到包含要与其一起使用的每个 Debezium 连接器的 JAR 文件的目录。
  • 例如，在典型部署中，Debezium 连接器文件存储在 Kafka Connect 目录 (/kafka/connect) 的子目录中，每个连接器 JAR 位于其自己的子目录中 (/kafka/connect/debezium-connector-db2、/kafka /connect/debezium-connector-mysql 等）。

注意：

  • 要将自定义信号通道与多个连接器一起使用，必须将自定义信号通道 JAR 文件的副本放置在每个连接器的子目录中。

配置连接器以使用自定义信号通道

  • 将自定义信令通道的名称添加到 signal.enabled.channels 配置属性中。

十一、信号动作

可以使用信令来发起以下操作：

  • 将消息添加到日志中。
  • 触发临时增量快照。
  • 停止执行临时快照。
  • 暂停增量快照。
  • 恢复增量快照。
  • 触发临时阻塞快照。
  • 自定义动作。

有些信号并不与所有连接器兼容。

十二、记录信号

可以通过创建具有日志信号类型的信令表条目来请求连接器将条目添加到日志中。处理信号后，连接器将指定的消息打印到日志中。或者，可以配置信号，以便生成的消息包含流坐标。

表 4. 用于添加日志消息的信令记录示例

字段值描述
id924e3ff8-2245-43ca-ba77-2af9af02fa07
typelog信号的动作类型。
data{“message”: “Signal message at offset {}”}message 参数指定要打印到日志的字符串。
如果您向消息添加占位符 ({})，它将被替换为流坐标。

十三、即席快照信号

可以通过创建具有执行快照信号类型的信号来请求连接器启动临时快照。处理信号后，连接器运行请求的快照操作。

与连接器首次启动后运行的初始快照不同，临时快照是在连接器已经开始从数据库传输更改事件之后在运行时期间发生的。可以随时启动临时快照。

临时快照可用于以下 Debezium 连接器：

  • Db2
  • MongoDB
  • MySQL
  • Oracle
  • PostgreSQL
  • SQL Server

表 5. 临时快照信号记录示例

字段值
idd139b9b7-7777-4547-917d-e1775ea61d41
typeexecute-snapshot
data{“data-collections”: [“public.MyFirstTable”, “public.MySecondTable”]}

表 6. 即席快照信号消息示例

键值
test_connector{“type”:“execute-snapshot”,“data”: {“data-collections”: [“public.MyFirstTable”], “type”: “INCREMENTAL”, “additional-conditions”:[{“data-collection”: “public.MyFirstTable”, “filter”:“color=‘blue’ AND brand=‘MyBrand’”]}}

其他资源

  • Db2 连接器增量快照
  • MongoDB 连接器增量快照
  • MySQL 连接器增量快照
  • Oracle 连接器增量快照
  • PostgreSQL 连接器增量快照
  • SQL Server 连接器增量快照

十四、特别快照停止信号

可以通过创建具有停止快照信号类型的信号表条目来请求连接器停止正在进行的临时快照。处理完信号后，连接器将停止当前正在进行的快照操作。

表 7. 停止临时快照信号记录示例

字段值
idd139b9b7-7777-4547-917d-e1775ea61d41
typestop-snapshot
data{“type”:“INCREMENTAL”, “data-collections”: [“public.MyFirstTable”]}

必须指定信号的类型。数据收集字段是可选的。将数据收集字段留空以请求连接器停止当前快照中的所有活动。如果希望继续执行增量快照，但希望从快照中排除特定集合，请提供要排除的集合或正则表达式的名称的逗号分隔列表。连接器处理信号后，增量快照将继续，但它会排除指定的集合中的数据。

十五、增量快照

增量快照是一种特定类型的临时快照。在增量快照中，连接器捕获您指定的表的基线状态，类似于初始快照。但是，与初始快照不同，增量快照以块的形式捕获表，而不是一次捕获所有表。连接器使用水印方法来跟踪快照的进度。

通过以块的形式而不是在单个整体操作中捕获指定表的初始状态，增量快照比初始快照过程具有以下优势：

  • 当连接器捕获指定表的基线状态时，来自事务日志的近实时事件流将继续不间断。
  • 如果增量快照过程中断，可以从停止点恢复。
  • 可以随时启动增量快照。

十六、增量快照暂停信号

可以通过创建具有暂停快照信号类型的信号表条目来请求连接器暂停正在进行的增量快照。处理完信号后，连接器将停止暂停当前正在进行的快照操作。因此，无法指定数据收集，因为快照处理将暂停在处理信号时的位置。

表 8. 暂停增量快照信号记录示例

字段值
idd139b9b7-7777-4547-917d-e1775ea61d41
typepause-snapshot

必须指定信号的类型。数据字段被忽略。

十七、增量快照恢复信号

可以通过创建具有恢复快照信号类型的信号表条目来请求连接器恢复暂停的增量快照。处理信号后，连接器将恢复之前暂停的快照操作。

表 9. 恢复增量快照信号记录示例

字段值
idd139b9b7-7777-4547-917d-e1775ea61d41
typeresume-snapshot

十八、阻止快照信号

可以通过创建具有执行快照信号类型和具有值阻塞的 data.type 的信号来请求连接器启动临时阻塞快照。处理信号后，连接器运行请求的快照操作。

与连接器首次启动后运行的初始快照不同，临时阻塞快照在连接器停止从数据库传输更改事件后在运行时发生。您可以随时启动临时阻止快照。

表 10. 阻塞快照信号记录示例

字段值
idd139b9b7-7777-4547-917d-e1775ea61d41
typeexecute-snapshot
data{“type”: “blocking”, “data-collections”: [“schema1.table1”, “schema1.table2”], “additional-conditions”: [{“data-collection”: “schema1.table1”, “filter”: “SELECT * FROM [schema1].[table1] WHERE column1 = 0 ORDER BY column2 DESC”}, {“data-collection”: “schema1.table2”, “filter”: “SELECT * FROM [schema1].[table2] WHERE column2 > 0”}]}

表 11. 阻塞快照信号消息示例

键值
test_connector{“type”:“execute-snapshot”,“data”: {“type”: “blocking”}

十九、应用案例

更多Debezium实战应用可以参考博主Debezium专栏：

快乐骑行^_^
关注
  • 25
    点赞
  • 踩
  • 17
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Debezium日常分享系列之：Debezium2.5稳定版本之Mysql连接器
zhengzaifeidelushang的博客
03-24 437
Debezium日常分析系列之：Debezium2.5稳定版本之Mysql连接器
Debezium日常分享系列之：ConvertCloudEventToSaveableForm
zhengzaifeidelushang的博客
07-30 63
Debezium日常分享系列之：ConvertCloudEventToSaveableForm
给Debezium connector 发送信号
xuejianxinokok的专栏
12-26 831
Debezium 信号机制提供了一种方法来修改连接器的行为，或触发一次性操作，例如启动表的 临时快照。要触发连接器执行指定操作，可以发出特殊的SQL 命令以将信号消息添加到专门的信号表，也称为信号数据集合。在源数据库上创建的信令表专门用于与 Debezium 通信。当 Debezium 检测到新的 日志记录 或 临时快照记录 添加到信号表时，它会读取信号并启动请求的操作。
Debezium系列之：快速了解Debezium 2.0.0.Final新的特性
zhengzaifeidelushang的博客
12-07 990
Debezium系列之：快速了解Debezium 2.0.0.Final新的特性
Oracle-OracleConnectorTask
SlothLu的博客
08-06 926
debezium-connector-oracle，数据迁移，数据变更
Debezium系列之：Debezium 通知
zhengzaifeidelushang的博客
06-26 339
Debezium 通知提供了一种获取有关连接器状态信息的机制。接收器通知通道：通过 Connect API 将通知发送到配置的主题。日志通知通道：通知会附加到日志中。JmxNotificationChannel：通知作为 JMX bean 中的属性公开。Custom：通知将发送到您实施的自定义渠道。通知机制被设计为可扩展的。您可以根据需要实施渠道，以最适合您的环境的方式传递通知。为通道创建一个Java项目来实现通道，并添加Debezium Core作为依赖项。部署通知通道。
Debezium日常分享系列之：定制Debezium 信号发送和通知
zhengzaifeidelushang的博客
07-28 988
Debezium日常分享系列之：定制Debezium 信号发送和通知
Debezium日常分享系列之：Debezium 2.7.0.Final发布
zhengzaifeidelushang的博客
07-05 97
虽然 Oracle 建议用户避免使用基于 RAW 的列，但由于格式兼容的原因，这些列仍然广泛用于标准 Oracle 表中。但在某些业务示例中，继续使用 RAW 列而不是其他数据类型是有意义的。Debezium 2.7 引入了一个专门针对 Oracle 的新自定义转换器，称为 RawToStringConverter (DBZ-7753)。此自定义转换器旨在允许您使用 STRING 架构类型快速将 RAW 列的字节数组内容转换为基于字符串的字段。
Debezium日常分享系列之：Debezium2.7版本PostgreSQL数据库连接器
zhengzaifeidelushang的博客
07-18 681
PostgreSQL 的逻辑解码功能是在 9.4 版本中引入的。它是一种机制，允许提取提交到事务日志的更改，并借助输出插件以用户友好的方式处理这些更改。输出插件使客户端能够使用更改。逻辑解码输出插件。您可能需要安装您选择使用的输出插件。在运行 PostgreSQL 服务器之前，您必须配置使用所选输出插件的复制槽。该插件可以是以下之一：Decoderbufs 基于 Protobuf，由 Debezium 社区维护。pgoutput 是 PostgreSQL 10+ 中的标准逻辑解码输出插件。
Debezium日常分享系列之：导出 CloudEvents
zhengzaifeidelushang的博客
07-30 65
CloudEvents是一种描述事件数据的规范，旨在提供跨服务、平台和系统的互操作性。Debezium使您能够配置一个Db2、Informix、MongoDB、MySQL、Oracle、PostgreSQL或SQL Server连接器，以发出符合CloudEvents规范的更改事件记录。
MySql-MySqlConnectorTask
SlothLu的博客
08-11 1200
mysql，数据迁移，数据变更，debezium，debezium-connector-mysql
Debezium日常分享系列之：Debezium 通知
zhengzaifeidelushang的博客
01-01 1192
通知机制被设计为可扩展的。可以根据需要实施渠道，以最适合的环境的方式传递通知。为通道创建一个Java项目来实现通道，并添加Debezium Core作为依赖项。部署通知通道。通过修改连接器配置，使连接器能够使用自定义通知通道。配置自定义通知渠道自定义通知通道是实现 io.debezium.pipeline.notification.channels.NotificationChannel 服务提供者接口 (SPI) 的 Java 类。1234频道的名称。
MySQL 的 Debezium 连接器-中文版
三毛码代码
07-16 2534
MySQL 有一个二进制日志（binlog），它按照提交到数据库的顺序记录所有操作。这包括对表模式的更改以及对表中数据的更改。MySQL 使用 binlog 进行复制和恢复。Debezium MySQL 连接器读取 binlog，为行级、、和操作生成更改事件，并将更改事件发送到 Kafka 主题。客户端应用程序读取这些 Kafka 主题。由于 MySQL 通常设置为在指定时间段后清除 binlog，因此 MySQL 连接器会对您的每个数据库执行初始一致快照。MySQL 连接器从创建快照的位置读取 binlo
Debezium迁移和同步Oracle数据
fayeestone的博客
10-19 5103
Debezium迁移和同步Oracle数据概览特点部署先决条件部署流程快照connector默认流程--创建初始快照即席快照增量快照算法实现kafka topic对事务的支持数据变化事件keyvalue 概览 Debezium是RedHat开源的一个将多种数据源实时变更数据捕获，形成数据流输出的开源工具。当前支持MySQL、PostgreSQL、SQL Server、Oracle、Db2等常用数据库。Debezium Oracle connector是基于kafka conect的一种实现，用于捕获并记录O
用于 MongoDB 的 Debezium 连接器
三毛码代码
07-16 1214
MongoDB的复制机制提供了冗余和高可用性，是在生产环境中运行MongoDB的首选方式。MongoDB连接器捕获副本集或分片集群中的更改。MongoDB副本集由一组服务器组成，这些服务器都具有相同数据的副本，并且复制可确保客户端对副本集主节点上的文档所做的所有更改都正确应用于另一个副本集的服务器，称为辅助节点。MongoDB复制的工作原理是让主节点在其oplog（或操作日志）中记录更改，然后每个辅助节点读取主节点的oplog并按顺序将所有操作应用于自己的文档。快照。...
Debezium引擎
cnhome的专栏
06-20 2546
Debezium引擎 通常，通过将Debezium连接器部署到Kafka Connect服务并配置一个或多个连接器来监视上游数据库并为它们在上游数据库中看到的所有更改生成数据更改事件来进行操作。这些数据更改事件被写入Kafka，在那里它们可以被许多不同的应用程序独立使用。Kafka Connect具有出色的容错性和可扩展性，因为它作为分布式服务运行，并确保所有已注册和配置的连接器始终处于运行状态。例如，即使集群中的一个Kafka Connect端点发生故障，其余的Kafka Connect端点也将重新启动以
（全新整理）上市公司数字经济与实体经济融合发展程度测算数据（2008-2022年）
09-06
1、资源内容地址：https://blog.csdn.net/2301_79696294/article/details/141966339 2、代码特点：今年全新，手工精心整理，放心引用，数据来自权威，相对于其他人的控制变量数据准确很多,适合写论文做实证用 ，不会出现数据造假问题 3、适用对象：大学生，本科生，研究生小白可用，容易上手！！！ 3、课程引用: 经济学，地理学，城市规划与城市研究，公共政策与管理，社会学，商业与管理
目标检测相关，yolo系列.zip
最新发布
09-06
1 目标检测的定义 目标检测（Object Detection）的任务是找出图像中所有感兴趣的目标（物体），确定它们的类别和位置，是计算机视觉领域的核心问题之一。由于各类物体有不同的外观、形状和姿态，加上成像时光照、遮挡等因素的干扰，目标检测一直是计算机视觉领域最具有挑战性的问题。 目标检测任务可分为两个关键的子任务，目标定位和目标分类。首先检测图像中目标的位置（目标定位），然后给出每个目标的具体类别（目标分类）。输出结果是一个边界框（称为Bounding-box，一般形式为(x1,y1,x2,y2)，表示框的左上角坐标和右下角坐标），一个置信度分数（Confidence Score），表示边界框中是否包含检测对象的概率和各个类别的概率（首先得到类别概率，经过Softmax可得到类别标签）。 1.1 Two stage方法 目前主流的基于深度学习的目标检测算法主要分为两类：Two stage和One stage。Two stage方法将目标检测过程分为两个阶段。第一个阶段是 Region Proposal 生成阶段，主要用于生成潜在的目标候选框（Bounding-box proposals）。这个阶段通常使用卷积神经网络（CNN）从输入图像中提取特征，然后通过一些技巧（如选择性搜索）来生成候选框。第二个阶段是分类和位置精修阶段，将第一个阶段生成的候选框输入到另一个 CNN 中进行分类，并根据分类结果对候选框的位置进行微调。Two stage 方法的优点是准确度较高，缺点是速度相对较慢。 常见Tow stage目标检测算法有：R-CNN系列、SPPNet等。 1.2 One stage方法 One stage方法直接利用模型提取特征值，并利用这些特征值进行目标的分类和定位，不需要生成Region Proposal。这种方法的优点是速度快，因为省略了Region Proposal生成的过程。One stage方法的缺点是准确度相对较低，因为它没有对潜在的目标进行预先筛选。 常见的One stage目标检测算法有：YOLO系列、SSD系列和RetinaNet等。 2 常见名词解释 2.1 NMS(Non-Maximum Suppression) 目标检测模型一般会给出目标的多个预测边界框，对成百上千的预测边界框都进行调整肯定是不可行的,需要对这些结果先进行一个大体的挑选。NMS称为非极大值抑制，作用是从众多预测边界框中挑选出最具代表性的结果，这样可以加快算法效率，其主要流程如下： 设定一个置信度分数阈值，将置信度分数小于阈值的直接过滤掉 将剩下框的置信度分数从大到小排序，选中值最大的框 遍历其余的框，如果和当前框的重叠面积(IOU)大于设定的阈值（一般为0.7），就将框删除（超过设定阈值，认为两个框的里面的物体属于同一个类别） 从未处理的框中继续选一个置信度分数最大的，重复上述过程，直至所有框处理完毕 2.2 IoU(Intersection over Union) 定义了两个边界框的重叠度，当预测边界框和真实边界框差异很小时，或重叠度很大时，表示模型产生的预测边界框很准确。边界框A、B的IOU计算公式为: 2.3 mAP(mean Average Precision) mAP即均值平均精度，是评估目标检测模型效果的最重要指标，这个值介于0到1之间，且越大越好。mAP是AP(Average Precision)的平均值，那么首先需要了解AP的概念。想要了解AP的概念，还要首先了解目标检测中Precision和Recall的概念。 首先我们设置置信度阈值（Confidence Threshold）和IoU阈值（一般设置为0.5，也会衡量0.75以及0.9的mAP值）： 当一个预测边界框被认为是True Positive（TP）时，需要同时满足下面三个条件： Confidence Score > Confidence Threshold 预测类别匹配真实值(Ground truth)的类别 预测边界框的IoU大于设定的IoU阈值 不满足条件2或条件3，则认为是False Positive（FP）。当对应同一个真值有多个预测结果时，只有最高置信度分数的预测结果被认为是True Positive，其余被认为是False Positive。 Precision和Recall的概念如下图所示： Precision表示TP与预测边界框数量的比值 Recall表示TP与真实边界框数量的比值 改变不同的置信度阈值，可以获得多组Precision和Recall，Recall放X轴，Precision放Y轴，可以画出一个Precision-Recall曲线，简称P-R
Debezium日常分享系列
05-29
Debezium是一个开源的分布式平台，用于从数据库中捕获变更并将其转换为可扩展的、可靠的、实时的流式事件。Debezium日常分享系列是针对Debezium技术的系列分享活动，旨在帮助开发者更好地了解和掌握Debezium相关技术。 在Debezium日常分享系列中，会涉及到Debezium的基础概念、架构、使用方法以及实际案例等方面的内容，旨在帮助开发者深入了解Debezium并掌握相关技能。 除此之外，参与者还可以在分享中交流和讨论，共同解决问题，提升技术能力。如果你对Debezium感兴趣，可以关注Debezium日常分享系列，了解最新的技术动态和分享内容。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

快乐骑行^_^

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值