- 博客(2156)
- 资源 (42)
- 收藏
- 关注
RSS订阅
原创 深入浅出理解kafka原理相关技术博客汇总
深入浅出理解kafka原理相关技术博客汇总文章内容链接CentOS7搭建Kafka2.7分布式集群CentOS7搭建Kafka2.7分布式集群Kafka操作命令Kafka操作命令分布式消息队列Kafka原理分布式消息队列Kafka原理新版Kafka Manager CMAK安装的详细文档新版Kafka Manager CMAK安装的详细文档CentOS7安装kafka-managerCentOS7安装kafka-manager通信原理和认识kaf
2021-12-17 18:51:34
1332
原创 Pandas和Spark知识汇总
Spark开发汇总文章内容链接pyspark之DataFrame操作大全pyspark之DataFrame操作大全pandas数据处理—Series、DataFrame对象pandas数据处理—Series、DataFrame对象Pandas数据处理—Series、DataFrame对象索引Pandas数据处理—Series、DataFrame对象索引Pandas数据处理—清理、转换、合并、重塑Pandas数据处理—清理、转换、合并、重塑pyspark读
2021-01-03 23:16:00
986
1
原创 Linux常用命令详解和服务器知识汇总
Linux常用命令详解和服务器知识汇总文章内容链接linux常用命令详解(持续更新) linux常用命令详解(持续更新)ShellShellShell编程Shell编程linux知识点linux知识点redhat7配置本地yum源和阿里源redhat7配置本地yum源和阿里源...
2021-01-01 21:08:38
657
原创 Docker容器原理详解和实战应用
Docker容器原理详解和实战应用文章内容链接Docker核心原理，Docker在线安装和离线安装Docker核心原理，Docker在线安装和离线安装Docker 安装mysql5.7Docker 安装mysql5.7Docker 使用Dockerfile创建镜像Docker 使用Dockerfile创建镜像Docker 镜像和容器Docker 镜像和容器Docker修改国内镜像源，同时搭建本地私有镜像仓库，配置其他docker服务器从私有镜像仓库拉取镜
2021-01-01 20:54:29
563
原创 Spark、HDFS、YARN、Zookeeper、Kafka、Hive、HBase等原理详解
Spark、HDFS、YARN、Zookeeper、Kafka、Hive、HBase等原理详解文章内容链接分布式文件系统HDFS基本原理分布式文件系统HDFS基本原理计算引擎Spark基本原理计算引擎Spark基本原理分布式协调服务ZooKeeper原理分布式协调服务ZooKeeper原理分布式消息队列Kafka原理分布式消息队列Kafka原理Hive与Spark SQL原理详解Hive与Spark SQL原理详解分布式列簇式存储系统HBase原
2021-01-01 20:10:10
1330
原创 Python基础知识汇总和应用示例
Python基础知识汇总和应用示例文章内容链接python库下载网站python库下载网站python读取csv文件python读取csv文件Python3基础知识:三元表达式、元祖、sort函数、sorted函数、enumerate函数、zip函数、del函数、pop函数、update函数、字典Python3基础知识:三元表达式、元祖、sort函数、sorted函数、enumerate函数、zip函数、del函数、pop函数、update函数、字典python
2021-01-01 14:12:51
2575
1
原创 Kettle详细使用教程
Kettle详细使用教程文章内容链接Kettle 插入更新、自定义常量数据与删除、增加常量、增加序列Kettle 插入更新、自定义常量数据与删除、增加常量、增加序列Kettle字段选择、剪切字符串、字符串替换、Concat fields、字符串操作Kettle字段选择、剪切字符串、字符串替换、Concat fields、字符串操作Kettle 排序记录、去除重复记录、拆分字段、值映射、替换NULL值Kettle 排序记录、去除重复记录、拆分字段、值映射、替换NULL值
2021-01-01 13:19:24
1123
原创 Scala基础知识汇总和应用示例
Scala基础知识汇总和应用示例文章内容链接Scala连接Mysql数据库和Sqlserver数据库，增量抽取数据存储到Hive数据库Scala连接Mysql数据库和Sqlserver数据库，增量抽取数据存储到Hive数据库Scala语法之变量和数据类型Scala语法之变量和数据类型Scala语法之if…else、for循环、while循环、Break和ContinueScala语法之if…else、for循环、while循环、Break和ContinueSca
2021-01-01 13:10:51
356
原创 Java基础知识汇总
Java基础知识汇总文章内容链接Java从入门到精通 第一章 初识JavaJava从入门到精通 第一章 初识JavaJava从入门到精通 第二章 开发工具IDEA使用教程Java从入门到精通 第二章 开发工具IDEA使用教程Java从入门到精通 第三章 Java语言基础Java从入门到精通 第三章 Java语言基础Java从入门到精通 第四章流程控制Java从入门到精通 第四章流程控制Java从入门到精通 第五章字符串Java从入门到精通 第五章字符串
2021-01-01 12:47:58
409
原创 SQL Server语法大全和函数使用方法汇总
SQL Server函数大全和使用方法汇总文章内容链接SQL Server 2019 Linux安装教程SQL Server 2019 Linux安装教程SQL Server 2019 Windows安装教程SQL Server 2019 Windows安装教程SQLServer变量、流程控制、嵌套查询SQLServer变量、流程控制、嵌套查询SQLServer日期相关函数SQLServer日期相关函数 GETDATE、DATEADD、DATEDIFF、DAT
2021-01-01 12:13:22
809
原创 ELK集群搭建和使用详解：filebeat、Logstash、Kibana、Elasticsearch
ELK集群搭建和使用详解：filebeat、Logstash、Kibana、Elasticsearch文章分类链接服务器环境服务器环境搭建filebeatCentOS7下安装filebeat-7.3filebeatwindows下安装filebeat-7.3.2LogstashCentOS7下安装Logstash-7.3.2Logstashwindows下安装Logstash-7.3.2LogstashLogstash配置文件语法Logs
2020-12-18 11:32:52
391
原创 大数据集群搭建：安装部署MySQL、SQL Server、Zookeeper、Hadoop、Spark、Flink、Kafka、Kettle、Airflow、Flume、Zeppelin集群
大数据集群搭建：安装部署mysql、sqlserver、Zookeeper、Hadoop、Spark、Flink、Kafka、kettle、airflow集群文章分类链接大数据集群环境搭建大数据集群环境搭建：Hadoop、Spark、Flink分布式集群环境mysql5.7mysql5.7数据库主从同步、双机热备、读写分离高可用集群的实现mysql5.7CentOS7离线安装mysql5.7.32mysql8CentOS7离线安装mysql-8.0.19
2020-12-18 11:08:38
1480
原创 大数据集群环境搭建：Hadoop、Spark、Flink分布式集群环境
Centos7上搭建hadoop3.2.1分布式集群一、安装虚拟机VMware Workstation安装CentOS7.4服务器：https://blog.csdn.net/zhengzaifeidelushang/article/details/102557805准备三台CentOS7服务器,三台服务器主机名和IP地址如下：主机名IP地址bigdata1192.168.239.131bigdata2192.168.239.132bigdata3192.16
2020-04-08 16:00:59
1453
1
原创 Debezium日常分享系列之：Debezium 3.1.1.Final发布
然而，尽管使用了缓存，批量操作中缓存查找的成本开销仍然显著较高。例如，在处理删除记录时，转换会因 NullPointerException 而失败，而在其他情况下，当源字段名称是嵌入名称的子字符串时，转换会崩溃。为了降低成本并提高对未知表进行批量操作的吞吐量性能，我们重新设计了查找方式，显著提高了吞吐量，使得批量操作能够更高效地处理，并且总体CPU利用率更低。现在，Debezium 3.1.1.Final 对这些配置进行了更好的验证，并将报告一个有效的错误，指出后处理配置无效或缺少必要的值。
2025-05-06 12:39:51
871
原创 Debezium报错处理系列之第128篇：增量快照报错java.lang.OutOfMemoryError: Java heap space
Debezium报错处理系列之第128篇：增量快照报错java.lang.OutOfMemoryError: Java heap space
2025-04-11 19:11:09
135
原创 大数据系列之：Kerberos
Kerberos 是一种强大而复杂的认证协议，能够有效保护网络资源不受未授权访问。通过使用对称密钥加密和时间同步机制，Kerberos 提供了高效且安全的身份验证服务。
2025-04-06 10:26:17
1135
原创 SeaTunnel系列之：部署SeaTunnel的Spark和Flink引擎
配置 SeaTunnel: 修改 ${SEATUNNEL_HOME}/config/seatunnel-env.sh 中的设置，并将 FLINK_HOME 设置为 Flink 的部署目录。配置 SeaTunnel：更改 ${SEATUNNEL_HOME}/config/seatunnel-env.sh 中的设置，并将 SPARK_HOME 设置为 Spark 的部署目录。如果您使用内置的 SeaTunnel 引擎（Zeta）来运行任务，则需要先部署 SeaTunnel 引擎服务。
2025-04-05 08:05:38
837
原创 SeaTunnel系列之：Apache SeaTunnel编译和安装
在本节中，我们将向您展示如何为 SeaTunnel 设置开发环境，然后在 JetBrains IntelliJ IDEA 中运行一个简单的示例。您可以在任何您喜欢的开发环境中开发或测试 SeaTunnel 代码，但这里我们使用 JetBrains IDEA 作为示例，逐步教您。
2025-04-05 07:50:30
797
原创 Debezium日常分享系列之：Debezium 3.1.0.Final发布
Debezium日常分享系列之：Debezium 3.1.0.Final发布
2025-04-04 16:34:52
993
原创 Debezium报错处理系列之第127篇：com.mysql.cj.exceptions.UnableToConnectException: Public Key Retrieval is not
Caused by: com.mysql.cj.exceptions.UnableToConnectException: Public Key Retrieval is not allowed at java.base/jdk.internal.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method) at
2025-04-04 15:07:35
241
原创 Debezium日常分享系列之：Debezium3.1版本之增量快照
在快照窗口期间，缓冲区中的 READ 事件的主键会被与传入的流式事件的主键进行比较。也就是说，流处理过程可能会在一个包含该行的 READ 事件的快照捕获之前，先发出一个修改表行的事件。但从该特定分块的快照开启时刻起，直到它关闭为止，Debezium 会执行一个去重步骤，以解决具有相同主键的事件之间的冲突。你可以指定希望快照捕获的表以及每块的大小。停止快照的信号指定了快照操作的类型为增量，并且可以选择性地指定你想从当前正在运行的快照中排除的表。你可以通过发起所谓的按需快照，重新运行之前已捕获快照的表的快照。
2025-04-03 18:04:02
1129
原创 Debezium系列之：使用Debezium和Apache Iceberg构建数据湖
Debezium系列之：使用Debezium和Apache Iceberg构建数据湖
2025-03-28 14:33:05
282
原创 Debezium日常分享系列之：Debezium 3.1.0.CR1发布
这个新版本包括对JDBC接收器和MySQL连接器的多项改进，支持ISO字符串时间值和使用Vitess的键空间心跳，基于键的RabbitMQ路由等。让我们深入了解这些新功能和改进。
2025-03-26 10:50:39
747
原创 数据库系列之：认识mongodb数据库的恢复令牌和mongodb数据库的oplog，基于oplog获取debezium使用的恢复令牌
数据库系列之：认识mongodb数据库的恢复令牌和mongodb数据库的oplog，基于oplog获取debezium使用的恢复令牌
2025-03-22 14:19:42
69
原创 Debezium系列之：认识mongodb数据库的恢复令牌和mongodb数据库的oplog，基于oplog获取debezium使用的恢复令牌
Debezium系列之：认识mongodb数据库的恢复令牌和mongodb数据库的oplog，基于oplog获取debezium使用的恢复令牌
2025-03-22 14:17:24
76
原创 Debezium报错处理系列之第126篇：resume of change stream was not possible, as the resume token was not found.
Debezium报错处理系列之第126篇：resume of change stream was not possible, as the resume token was not found.
2025-03-22 12:07:24
48
原创 数据库系列之：Sqlserver 表开启cdc后，对应的ct表数据保存时间
关于CT表中数据的保存时间，SQL Server并没有一个默认的固定时间，而是通过配置保留期（retention period）来控制。在SQL Server中，启用变更数据捕获（CDC）功能后，系统会自动创建一个与源表对应的变更表（CT表），用于存储源表的所有更改记录。需要注意的是，更改保留期后，SQL Server将在下一个清理周期自动删除超过保留期的数据。总之，通过合理设置CDC数据的保留期，可以有效地管理CT表中的数据量，避免因数据量过大而影响性能。存储过程来修改CDC数据的保留期。
2025-03-22 11:38:42
107
原创 Debezium报错处理系列之第125篇：Caused by: com.mongodb.MongoCommandException: Command failed with error 13
Debezium报错处理系列之第125篇：Caused by: com.mongodb.MongoCommandException: Command failed with error 13 Unauthorized: 'not authorized on admin to execute command
2025-03-22 11:22:53
104
原创 Debezium日常分享系列之：Debezium Charts
从现在开始，我们的图表包（Debezium operator and Debezium platform）将作为 GitHub 发布工件在其各自的仓库中发布，并且如前所述，Helm 图表索引将包含两个图表版本。到目前为止，我们仅为我们的Debezium Server Operator 发布了 Helm 图表，对于那些已经开始使用它的人应该知道，我们在charts.debezium.io上发布了它。这是因为，随着图表从 1 个增加到 2 个，我们决定统一我们的图表，以便您可以在一个地方轻松找到它们。
2025-03-22 11:05:15
355
原创 Java系列之：面向对象和集合框架知识汇总
实例方法中可以出现this关键字，类方法中不可以出现this关键字。工具类没有创建对象的需求，建议将工具类的构造器进行私有。类方法中可以直接访问类成员，不可以直接访问实例成员。实例方法中既可以访问类成员，也可以直接访问实例成员。类方法最常见的应用场景是做工具类。
2025-03-16 14:12:43
252
原创 Debezium日常分享系列之：Debezium 3.1.0.Beta1发布
此版本包含了许多特性和改进，包括但不限于 Debezium Server UI 的首个官方发布、CloudEvent traceparent 支持、Debezium 的 PubSub 和 RabbitMQ 源的新功能、WASM 转换中的模式访问，以及许多其他特性。让我们深入了解这些新特性和改进。
2025-03-14 20:07:05
786
原创 Debezium日常分享系列之：Debezium 3.0.8.Final发布
Debezium日常分享系列之：Debezium 3.0.8.Final发布
2025-03-04 19:40:25
740
原创 Debezium报错处理系列之第124篇：Decimal value has mismatching scale for given Decimal schema. Schema has scale
Debezium报错处理系列之第124篇：Caused by: org.apache.kafka.connect.errors.DataException: Decimal value has mismatching scale for given Decimal schema. Schema has scale 2, value has scale 3.
2025-02-26 21:36:23
73
原创 Debezium日常分享系列之：Debezium 3.1.0.Alpha2发布
Debezium日常分享系列之：Debezium 3.1.0.Alpha2发布
2025-02-24 16:07:18
976
原创 flink系列之：使用flink cdc3从mysql数据库同步数据到doris和starrocks
当上游数据库新增表时，CDC YAML 能够自动识别并同步这些表的数据，而无需重新配置作业。下载Pipeline Connectors Jars和Source Connector Jars到lib目录。如上所示，成功在starrocks表中创建了表，并完成了历史数据和增量数据的同步。查看flink web ui，{ip}:{port}修改flink配置文件config.yaml。flink web ui查看任务。设置flink 环境变零。启动flink cdc。starrocks表。
2025-02-22 14:11:37
1579
原创 Kafka系列之：记录一次源头数据库刷数据，造成数据丢失的原因
偏移量超出范围：在Kafka中，每个分区都有一个从0开始的连续的偏移量序列。当消费者尝试获取的偏移量不在当前分区的有效范围内时，Kafka会返回一个“偏移量超出范围”（offset out of range）的错误。这条日志记录了一个Kafka消费者在尝试从特定分区获取消息时发现偏移量超出范围，并自动重置偏移量的情况。：这是日志的主要内容，说明了一个特定的日志段（Log Segment）将被删除。源头数据库在很短的时间内刷了大量的数据，部分数据在hdfs丢失了。
2025-02-22 10:52:21
233
原创 Debezium日常分享系列之：解码逻辑解码消息内容
在SMT应用这些更改后，记录可以更容易地被下游消费者或其他SMT处理，比如Debezium Outbox Event Router。以下表格列出了您可以在DecodeLogicalDecodingMessageContent SMT中使用的配置选项。示例1. 应用DecodeLogicalDecodingMessageContent SMT的效果。以下示例显示了在应用转换之前和之后事件记录的键和值。SMT处理记录前的事件键。SMT处理记录前的事件值。SMT处理记录后的事件键。SMT处理记录后的事件值。
2025-02-12 22:15:13
394
1
原创 Debezium系列之：时区转换器，时间戳字段转换到指定时区
SMT还允许将源信息块中的事件元数据字段（例如ts_ms）转换为目标时区。为了转换元数据字段，必须在include.list或exclude.list配置选项的字段名中包含源前缀。
2025-02-12 21:52:53
361
1
Debezium Server offset编辑器
2023-10-19
labview数据采集系统
2022-10-09
ansible-flume-auto-deployment.tar.gz
2021-07-28
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人