- 博客(1986)
- 资源 (42)
- 收藏
- 关注
RSS订阅
原创 深入浅出理解kafka原理相关技术博客汇总
深入浅出理解kafka原理相关技术博客汇总文章内容链接CentOS7搭建Kafka2.7分布式集群CentOS7搭建Kafka2.7分布式集群Kafka操作命令Kafka操作命令分布式消息队列Kafka原理分布式消息队列Kafka原理新版Kafka Manager CMAK安装的详细文档新版Kafka Manager CMAK安装的详细文档CentOS7安装kafka-managerCentOS7安装kafka-manager通信原理和认识kaf
2021-12-17 18:51:34
1166
原创 Pandas和Spark知识汇总
Spark开发汇总文章内容链接pyspark之DataFrame操作大全pyspark之DataFrame操作大全pandas数据处理—Series、DataFrame对象pandas数据处理—Series、DataFrame对象Pandas数据处理—Series、DataFrame对象索引Pandas数据处理—Series、DataFrame对象索引Pandas数据处理—清理、转换、合并、重塑Pandas数据处理—清理、转换、合并、重塑pyspark读
2021-01-03 23:16:00
898
1
原创 Linux常用命令详解和服务器知识汇总
Linux常用命令详解和服务器知识汇总文章内容链接linux常用命令详解(持续更新) linux常用命令详解(持续更新)ShellShellShell编程Shell编程linux知识点linux知识点redhat7配置本地yum源和阿里源redhat7配置本地yum源和阿里源...
2021-01-01 21:08:38
542
原创 Docker容器原理详解和实战应用
Docker容器原理详解和实战应用文章内容链接Docker核心原理，Docker在线安装和离线安装Docker核心原理，Docker在线安装和离线安装Docker 安装mysql5.7Docker 安装mysql5.7Docker 使用Dockerfile创建镜像Docker 使用Dockerfile创建镜像Docker 镜像和容器Docker 镜像和容器Docker修改国内镜像源，同时搭建本地私有镜像仓库，配置其他docker服务器从私有镜像仓库拉取镜
2021-01-01 20:54:29
458
原创 Spark、HDFS、YARN、Zookeeper、Kafka、Hive、HBase等原理详解
Spark、HDFS、YARN、Zookeeper、Kafka、Hive、HBase等原理详解文章内容链接分布式文件系统HDFS基本原理分布式文件系统HDFS基本原理计算引擎Spark基本原理计算引擎Spark基本原理分布式协调服务ZooKeeper原理分布式协调服务ZooKeeper原理分布式消息队列Kafka原理分布式消息队列Kafka原理Hive与Spark SQL原理详解Hive与Spark SQL原理详解分布式列簇式存储系统HBase原
2021-01-01 20:10:10
1191
原创 Python基础知识汇总和应用示例
Python基础知识汇总和应用示例文章内容链接python库下载网站python库下载网站python读取csv文件python读取csv文件Python3基础知识:三元表达式、元祖、sort函数、sorted函数、enumerate函数、zip函数、del函数、pop函数、update函数、字典Python3基础知识:三元表达式、元祖、sort函数、sorted函数、enumerate函数、zip函数、del函数、pop函数、update函数、字典python
2021-01-01 14:12:51
2431
1
原创 Kettle详细使用教程
Kettle详细使用教程文章内容链接Kettle 插入更新、自定义常量数据与删除、增加常量、增加序列Kettle 插入更新、自定义常量数据与删除、增加常量、增加序列Kettle字段选择、剪切字符串、字符串替换、Concat fields、字符串操作Kettle字段选择、剪切字符串、字符串替换、Concat fields、字符串操作Kettle 排序记录、去除重复记录、拆分字段、值映射、替换NULL值Kettle 排序记录、去除重复记录、拆分字段、值映射、替换NULL值
2021-01-01 13:19:24
997
原创 Scala基础知识汇总和应用示例
Scala基础知识汇总和应用示例文章内容链接Scala连接Mysql数据库和Sqlserver数据库，增量抽取数据存储到Hive数据库Scala连接Mysql数据库和Sqlserver数据库，增量抽取数据存储到Hive数据库Scala语法之变量和数据类型Scala语法之变量和数据类型Scala语法之if…else、for循环、while循环、Break和ContinueScala语法之if…else、for循环、while循环、Break和ContinueSca
2021-01-01 13:10:51
264
原创 Java基础知识汇总
Java基础知识汇总文章内容链接Java从入门到精通 第一章 初识JavaJava从入门到精通 第一章 初识JavaJava从入门到精通 第二章 开发工具IDEA使用教程Java从入门到精通 第二章 开发工具IDEA使用教程Java从入门到精通 第三章 Java语言基础Java从入门到精通 第三章 Java语言基础Java从入门到精通 第四章流程控制Java从入门到精通 第四章流程控制Java从入门到精通 第五章字符串Java从入门到精通 第五章字符串
2021-01-01 12:47:58
295
原创 SQL Server语法大全和函数使用方法汇总
SQL Server函数大全和使用方法汇总文章内容链接SQL Server 2019 Linux安装教程SQL Server 2019 Linux安装教程SQL Server 2019 Windows安装教程SQL Server 2019 Windows安装教程SQLServer变量、流程控制、嵌套查询SQLServer变量、流程控制、嵌套查询SQLServer日期相关函数SQLServer日期相关函数 GETDATE、DATEADD、DATEDIFF、DAT
2021-01-01 12:13:22
674
原创 ELK集群搭建和使用详解：filebeat、Logstash、Kibana、Elasticsearch
ELK集群搭建和使用详解：filebeat、Logstash、Kibana、Elasticsearch文章分类链接服务器环境服务器环境搭建filebeatCentOS7下安装filebeat-7.3filebeatwindows下安装filebeat-7.3.2LogstashCentOS7下安装Logstash-7.3.2Logstashwindows下安装Logstash-7.3.2LogstashLogstash配置文件语法Logs
2020-12-18 11:32:52
340
原创 大数据集群搭建：安装部署MySQL、SQL Server、Zookeeper、Hadoop、Spark、Flink、Kafka、Kettle、Airflow、Flume、Zeppelin集群
大数据集群搭建：安装部署mysql、sqlserver、Zookeeper、Hadoop、Spark、Flink、Kafka、kettle、airflow集群文章分类链接大数据集群环境搭建大数据集群环境搭建：Hadoop、Spark、Flink分布式集群环境mysql5.7mysql5.7数据库主从同步、双机热备、读写分离高可用集群的实现mysql5.7CentOS7离线安装mysql5.7.32mysql8CentOS7离线安装mysql-8.0.19
2020-12-18 11:08:38
1327
原创 大数据集群环境搭建：Hadoop、Spark、Flink分布式集群环境
Centos7上搭建hadoop3.2.1分布式集群一、安装虚拟机VMware Workstation安装CentOS7.4服务器：https://blog.csdn.net/zhengzaifeidelushang/article/details/102557805准备三台CentOS7服务器,三台服务器主机名和IP地址如下：主机名IP地址bigdata1192.168.239.131bigdata2192.168.239.132bigdata3192.16
2020-04-08 16:00:59
1287
1
原创 PostgreSQL数据库从入门到精通系列之十：表空间、索引表空间、创建表空间、创建索引空间、创建分区表、创建分区表的分区、创建指定表空间、索引表空间的分区表
PostgreSQL数据库从入门到精通系列之十：表空间、索引表空间、创建表空间、创建索引空间、创建分区表、创建分区表的分区、创建指定表空间、索引表空间的分区表
2024-07-19 13:48:15
254
原创 Debezium日常分享系列之：Debezium2.7版本PostgreSQL数据库连接器
PostgreSQL 的逻辑解码功能是在 9.4 版本中引入的。它是一种机制，允许提取提交到事务日志的更改，并借助输出插件以用户友好的方式处理这些更改。输出插件使客户端能够使用更改。逻辑解码输出插件。您可能需要安装您选择使用的输出插件。在运行 PostgreSQL 服务器之前，您必须配置使用所选输出插件的复制槽。该插件可以是以下之一：Decoderbufs 基于 Protobuf，由 Debezium 社区维护。pgoutput 是 PostgreSQL 10+ 中的标准逻辑解码输出插件。
2024-07-18 23:31:16
626
原创 PostgreSQL数据库从入门到精通系列之九：PostgreSQL数据库13版本和PostgreSQL数据库14版本功能特性
PostgreSQL数据库从入门到精通系列之九：PostgreSQL数据库13版本和PostgreSQL数据库14版本功能特性
2024-07-17 17:43:42
240
原创 Kafka系列之：Kafka存储数据相关重要参数理解
在Apache Kafka中，数据底层文件主要包括以下几种类型：这几个文件是Apache Kafka在存储和管理消息时使用的，以下是对每个文件的解释：
2024-07-17 17:09:21
1751
原创 Debezium系列之：Debezium 异步引擎
Debezium 提供了一种从项目一开始就直接在 Debezium 内运行连接器的方法。随着时间的推移，它的提供方式已经发生了变化，并且仍在不断发展。本文将描述这方面的另一个演变步骤 - Debezium 引擎的新实现。
2024-07-12 08:29:57
144
原创 Debezium日常分享系列之：Debezium 3.0.0.Alpha1 Released
Debezium 3 的第一个预发布版本 3.0.0.Alpha1。这个版本虽然比正常的预版本要小，但高度关注几个关键点，例如使用 Java 17/21 测试发布过程；然而，它还包括一些新功能。
2024-07-12 07:40:36
725
5
原创 Debezium系列之：K8s上部署Debezium Server Operator采集MongoDB数据库数据，详解Debezium Server Operator规范
Debezium系列之：K8s上部署Debezium Server Operator采集MongoDB数据库数据，详解Debezium Server Operator规范
2024-07-11 12:29:07
45
原创 Debezium报错处理系列之第115篇：Failed to read next byte from position 15
Debezium报错处理系列之第115篇：Failed to deserialize data of EventHeaderV4 ... Failed to read next byte from position 15
2024-07-09 22:23:41
53
原创 Debezium报错处理系列之第114篇：No TableMapEventData has been found for table id:256.
Debezium报错处理系列之第114篇：Caused by: com.github.shyiko.mysql.binlog.event.deserialization.MissingTableMapEventException: No TableMapEventData has been found for table id:256. Usually that means that you have started reading binary log 'within the logical event
2024-07-09 22:12:45
104
原创 Debezium报错处理系列之第113篇：Cannot read the binlog filename and position via ‘SHOW MASTER STATUS‘.
Debezium报错处理系列之第113篇：Cannot read the binlog filename and position via 'SHOW MASTER STATUS'. Make sure your server is correctly configured
2024-07-09 21:25:32
87
原创 Debezium系列之：验证mysql、mariadb等兼容mysql协议数据库账号权限
Debezium系列之：验证mysql、mariadb等兼容mysql协议数据库账号权限
2024-07-09 21:08:07
229
原创 兼容MySQL和PostgreSQL协议的数据库
TDSQL-C MySQL 版和 TDSQL MySQL 版是腾讯云两个不同的数据库产品，其中，TDSQL-C MySQL 版基于云原生架构设计，融合了传统数据库、云计算与新硬件技术的优势，支持较多的高级功能和特性，为用户提供具备高弹性、高性能、最高 PB 级海量存储、安全可靠的数据库服务；TDSQL具有高可用、高性能、高可扩展性和高安全性的特点，适用于各种规模的应用场景。TDSQL-C数据库是由腾讯云开发的一款分布式SQL数据库，旨在处理大规模应用程序的海量数据存储和处理需求。
2024-07-09 09:19:30
354
原创 Debezium系列之：支持在一个数据库connector采集中过滤某些表的删除事件
Debezium系列之：支持在一个数据库connector采集中过滤某些表的删除事件。
2024-07-05 14:28:44
74
原创 Debezium系列之：单表多个tinyint(1)类型字段支持选择字段转化为int或者boolean
至此，单个表有多个tinyint(1)字段，支持选择某个tinyint(1)字段类型转化为int或者是boolean。
2024-07-05 14:06:47
62
原创 Debezium报错处理系列之第112篇：Cannot replicate because the master purged required binary logs. Replicate the
Debezium报错处理系列之第112篇：Cannot replicate because the master purged required binary logs.
2024-07-05 11:43:03
66
原创 Debezium报错处理系列之第111篇：Can‘t compare binlog filenames with different base names
Debezium报错处理系列之第111篇：Can't compare binlog filenames with different base names
2024-07-05 11:31:00
87
原创 Debezium报错处理系列之第110篇： ERROR Error during binlog processing.Access denied
Debezium报错处理系列之第110篇：ERROR Error during binlog processing. Last offset stored = null, binlog reader near position = /4 Access denied; you need at least one of the REPLICATION SLAVE privilege for this operation
2024-07-05 11:21:25
201
原创 Debezium报错处理系列之第109篇：解决升级日志解析jar包重启集群出现的字段类型和值不匹配的错误
Debezium从入门到精通系列之：研究Debezium技术遇到的各种错误解决方法汇总：更多Debezium技术请参考博主Debezium技术专栏：错误1：13MySqlValueConvertersjava304atiodebeziumrelationalTableSchemaBuilderlambda5TableSchemaBuilderjava280。
2024-07-05 10:50:41
88
原创 Debezium日常分享系列之：Debezium 2.7.0.Final发布
虽然 Oracle 建议用户避免使用基于 RAW 的列，但由于格式兼容的原因，这些列仍然广泛用于标准 Oracle 表中。但在某些业务示例中，继续使用 RAW 列而不是其他数据类型是有意义的。Debezium 2.7 引入了一个专门针对 Oracle 的新自定义转换器，称为 RawToStringConverter (DBZ-7753)。此自定义转换器旨在允许您使用 STRING 架构类型快速将 RAW 列的字节数组内容转换为基于字符串的字段。
2024-07-05 10:34:34
61
原创 Debezium系列之：Mysql和SQLServer数据库字段类型覆盖测试
Debezium系列之：Mysql和SQLServer数据库字段类型覆盖测试
2024-06-27 12:21:21
97
原创 Debezium报错处理系列之第108篇：Encountered change event whose schema isn‘t known to this connector. One possib
Debezium报错处理系列之第108篇：Encountered change event whose schema isn't known to this connector. One possible cause is an incomplete database schema history topic. Take a new snapshot in this case.
2024-06-27 12:00:47
51
原创 Debezium报错处理系列之第107篇：Cannot query the status of the SQL Server Agent VIEW SERVER STATE permission
Debezium报错处理系列之第107篇：Cannot query the status of the SQL Server Agent VIEW SERVER STATE permission was denied on object 'server', database 'master'.
2024-06-27 11:46:56
33
原创 Debezium报错处理系列之第106篇：The connection is broken and recovery is not possible. The connection is marked
Debezium报错处理系列之第106篇：The connection is broken and recovery is not possible. The connection is marked by the client driver as unrecoverable. No attempt was made to restore the connection.
2024-06-25 17:23:35
62
原创 Debezium报错处理系列之第105篇：WARN Database schema history topic option ‘retention.bytes‘ should be ‘-1‘ but
Debezium报错处理系列之第105篇：WARN Database schema history topic 'history-debezium-prod-optics_prod_realtime_prod_rt' option 'retention.bytes' should be '-1' but is '1073741824'
2024-06-25 17:15:04
35
Debezium Server offset编辑器
2023-10-19
labview数据采集系统
2022-10-09
ansible-flume-auto-deployment.tar.gz
2021-07-28
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人