- 博客(2114)
- 资源 (42)
- 收藏
- 关注
RSS订阅
原创 深入浅出理解kafka原理相关技术博客汇总
深入浅出理解kafka原理相关技术博客汇总文章内容链接CentOS7搭建Kafka2.7分布式集群CentOS7搭建Kafka2.7分布式集群Kafka操作命令Kafka操作命令分布式消息队列Kafka原理分布式消息队列Kafka原理新版Kafka Manager CMAK安装的详细文档新版Kafka Manager CMAK安装的详细文档CentOS7安装kafka-managerCentOS7安装kafka-manager通信原理和认识kaf
2021-12-17 18:51:34
1253
原创 Pandas和Spark知识汇总
Spark开发汇总文章内容链接pyspark之DataFrame操作大全pyspark之DataFrame操作大全pandas数据处理—Series、DataFrame对象pandas数据处理—Series、DataFrame对象Pandas数据处理—Series、DataFrame对象索引Pandas数据处理—Series、DataFrame对象索引Pandas数据处理—清理、转换、合并、重塑Pandas数据处理—清理、转换、合并、重塑pyspark读
2021-01-03 23:16:00
956
1
原创 Linux常用命令详解和服务器知识汇总
Linux常用命令详解和服务器知识汇总文章内容链接linux常用命令详解(持续更新) linux常用命令详解(持续更新)ShellShellShell编程Shell编程linux知识点linux知识点redhat7配置本地yum源和阿里源redhat7配置本地yum源和阿里源...
2021-01-01 21:08:38
587
原创 Docker容器原理详解和实战应用
Docker容器原理详解和实战应用文章内容链接Docker核心原理，Docker在线安装和离线安装Docker核心原理，Docker在线安装和离线安装Docker 安装mysql5.7Docker 安装mysql5.7Docker 使用Dockerfile创建镜像Docker 使用Dockerfile创建镜像Docker 镜像和容器Docker 镜像和容器Docker修改国内镜像源，同时搭建本地私有镜像仓库，配置其他docker服务器从私有镜像仓库拉取镜
2021-01-01 20:54:29
534
原创 Spark、HDFS、YARN、Zookeeper、Kafka、Hive、HBase等原理详解
Spark、HDFS、YARN、Zookeeper、Kafka、Hive、HBase等原理详解文章内容链接分布式文件系统HDFS基本原理分布式文件系统HDFS基本原理计算引擎Spark基本原理计算引擎Spark基本原理分布式协调服务ZooKeeper原理分布式协调服务ZooKeeper原理分布式消息队列Kafka原理分布式消息队列Kafka原理Hive与Spark SQL原理详解Hive与Spark SQL原理详解分布式列簇式存储系统HBase原
2021-01-01 20:10:10
1276
原创 Python基础知识汇总和应用示例
Python基础知识汇总和应用示例文章内容链接python库下载网站python库下载网站python读取csv文件python读取csv文件Python3基础知识:三元表达式、元祖、sort函数、sorted函数、enumerate函数、zip函数、del函数、pop函数、update函数、字典Python3基础知识:三元表达式、元祖、sort函数、sorted函数、enumerate函数、zip函数、del函数、pop函数、update函数、字典python
2021-01-01 14:12:51
2487
1
原创 Kettle详细使用教程
Kettle详细使用教程文章内容链接Kettle 插入更新、自定义常量数据与删除、增加常量、增加序列Kettle 插入更新、自定义常量数据与删除、增加常量、增加序列Kettle字段选择、剪切字符串、字符串替换、Concat fields、字符串操作Kettle字段选择、剪切字符串、字符串替换、Concat fields、字符串操作Kettle 排序记录、去除重复记录、拆分字段、值映射、替换NULL值Kettle 排序记录、去除重复记录、拆分字段、值映射、替换NULL值
2021-01-01 13:19:24
1067
原创 Scala基础知识汇总和应用示例
Scala基础知识汇总和应用示例文章内容链接Scala连接Mysql数据库和Sqlserver数据库，增量抽取数据存储到Hive数据库Scala连接Mysql数据库和Sqlserver数据库，增量抽取数据存储到Hive数据库Scala语法之变量和数据类型Scala语法之变量和数据类型Scala语法之if…else、for循环、while循环、Break和ContinueScala语法之if…else、for循环、while循环、Break和ContinueSca
2021-01-01 13:10:51
327
原创 Java基础知识汇总
Java基础知识汇总文章内容链接Java从入门到精通 第一章 初识JavaJava从入门到精通 第一章 初识JavaJava从入门到精通 第二章 开发工具IDEA使用教程Java从入门到精通 第二章 开发工具IDEA使用教程Java从入门到精通 第三章 Java语言基础Java从入门到精通 第三章 Java语言基础Java从入门到精通 第四章流程控制Java从入门到精通 第四章流程控制Java从入门到精通 第五章字符串Java从入门到精通 第五章字符串
2021-01-01 12:47:58
345
原创 SQL Server语法大全和函数使用方法汇总
SQL Server函数大全和使用方法汇总文章内容链接SQL Server 2019 Linux安装教程SQL Server 2019 Linux安装教程SQL Server 2019 Windows安装教程SQL Server 2019 Windows安装教程SQLServer变量、流程控制、嵌套查询SQLServer变量、流程控制、嵌套查询SQLServer日期相关函数SQLServer日期相关函数 GETDATE、DATEADD、DATEDIFF、DAT
2021-01-01 12:13:22
733
原创 ELK集群搭建和使用详解：filebeat、Logstash、Kibana、Elasticsearch
ELK集群搭建和使用详解：filebeat、Logstash、Kibana、Elasticsearch文章分类链接服务器环境服务器环境搭建filebeatCentOS7下安装filebeat-7.3filebeatwindows下安装filebeat-7.3.2LogstashCentOS7下安装Logstash-7.3.2Logstashwindows下安装Logstash-7.3.2LogstashLogstash配置文件语法Logs
2020-12-18 11:32:52
373
原创 大数据集群搭建：安装部署MySQL、SQL Server、Zookeeper、Hadoop、Spark、Flink、Kafka、Kettle、Airflow、Flume、Zeppelin集群
大数据集群搭建：安装部署mysql、sqlserver、Zookeeper、Hadoop、Spark、Flink、Kafka、kettle、airflow集群文章分类链接大数据集群环境搭建大数据集群环境搭建：Hadoop、Spark、Flink分布式集群环境mysql5.7mysql5.7数据库主从同步、双机热备、读写分离高可用集群的实现mysql5.7CentOS7离线安装mysql5.7.32mysql8CentOS7离线安装mysql-8.0.19
2020-12-18 11:08:38
1385
原创 大数据集群环境搭建：Hadoop、Spark、Flink分布式集群环境
Centos7上搭建hadoop3.2.1分布式集群一、安装虚拟机VMware Workstation安装CentOS7.4服务器：https://blog.csdn.net/zhengzaifeidelushang/article/details/102557805准备三台CentOS7服务器,三台服务器主机名和IP地址如下：主机名IP地址bigdata1192.168.239.131bigdata2192.168.239.132bigdata3192.16
2020-04-08 16:00:59
1370
1
原创 Debezium报错处理系列之第122篇：The SELECT permission was denied on the object ‘fn_cdc_get_all_changes_dbo_Acce
Debezium报错处理系列之第122篇：Caused by: com.microsoft.sqlserver.jdbc.SQLServerException: The SELECT permission was denied on the object 'fn_cdc_get_all_changes_dbo_AccessEvents', database 'Anchors', schema 'cdc'.
2024-12-01 08:50:18
32
1
原创 OceanBase数据库系列之：基于docker快速安装OceanBase数据库，基于linux服务器快速部署OceanBase数据库
执行 obd demo 命令后，会自动部署 OceanBase 数据库、OBProxy、OBAgent、Prometheus 和 Grafana，默认版本为镜像库中最新版本。使用 obd 命令管理和 OBClient 客户端连接实例，也可使用宿主机本地 OBClient 或 MySQL 客户端连接到 OceanBase 数据库实例。obd 自带仓库信息，当机器可以连接网络时，无须配置，执行 obd mirror list 命令即可查看 obd 仓库中的软件。查看 obd 仓库信息。查看 obd 仓库信息。
2024-11-29 17:27:11
813
原创 Springboot系列之：创建Springboot项目，Springboot整合MyBatis-plus
IService 是 MyBatis-Plus 提供的一个通用 Service 层接口，它封装了常见的 CRUD 操作，包括插入、删除、查询和分页等。通过继承 IService 接口，可以快速实现对数据库的基本操作，同时保持代码的简洁性和可维护性。IService 接口中的方法命名遵循了一定的规范，如 get 用于查询单行，remove 用于删除，list 用于查询集合，page 用于分页查询，这样可以避免与 Mapper 层的方法混淆。
2024-11-24 23:44:07
712
原创 Debezium日常分享系列之：Debezium 3.0.2.Final Released
如果您在Debezium JDBC sink连接器的部署中实现了自定义的TableNamingStrategy，请确保调整您的代码以使用新的CollectionNamingStrategy，以便在更新到Debezium 3.1+时您的流水线能够继续安全运行。在早期版本的Debezium for Vitess连接器中，连接器使用基于正则表达式的过滤系统，根据不同后缀的前缀匹配所有表，并根据配置应用后续的排除。改变的是那些具有微秒或纳秒为基础值的列的情况，在这些列以前为零的情况下，现在它们将具有非零值。
2024-11-19 20:45:47
1021
原创 Debezium日常分享系列之：Debezium3版本Debezium connector for JDBC
Debezium JDBC连接器是一个Kafka Connect接收器连接器实现，可以从多个源主题消费事件，然后通过使用JDBC驱动程序将这些事件写入关系型数据库。该连接器支持各种数据库方言，包括Db2、MySQL、Oracle、PostgreSQL和SQL Server。
2024-11-18 00:16:55
974
原创 Debezium日常分享系列之：Debezium Engine
Debezium连接器通常通过部署到Kafka Connect服务来运行，并配置一个或多个连接器来监视上游数据库，并为上游数据库中的所有更改生成数据变更事件。这些数据变更事件被写入Kafka，可以由许多不同的应用程序独立消费。Kafka Connect提供了出色的容错性和可伸缩性，因为它作为分布式服务运行，并确保所有注册和配置的连接器始终运行。
2024-11-17 11:53:53
1476
原创 Debezium日常分享系列之：使用 Outbox 模式实现可靠的微服务数据交换
信箱模式是在不同微服务之间传播数据的好方法。通过仅修改单个资源 - 源服务自己的数据库 - 它避免了同时修改多个不共享一个常规事务上下文（数据库和Apache Kafka）的资源可能存在的任何不一致性。通过首先写入数据库，源服务具有即时的“读取自己的写入”语义，这对于一致的用户体验非常重要，允许在写入后立即调用的查询方法反映任何数据变化。同时，该模式还实现了对其他微服务的异步事件传播。Apache Kafka作为服务之间消息传递的高度可伸缩和可靠的基础设施。
2024-11-11 23:46:09
785
原创 数据库系列之：mysql使用主键字段优化查询速率
总之，使用主键可以显著提高MySQL查询的速度和效率，尤其是对于大型数据集和复杂查询。因此，在设计MySQL表结构时，应该尽可能地使用主键来优化查询性能。
2024-11-11 15:43:20
76
原创 Debezium报错处理系列之第121篇：Incremental snapshot for table skipped because the table has no primary keys
Debezium报错处理系列之第121篇：Incremental snapshot for table skipped because the table has no primary keys
2024-11-11 15:37:36
41
原创 日常分享系列之：学习mysql-binlog-connector-java
答：每个WriteRowsEventData/UpdateRowsEventData/DeleteRowsEventData事件都是由TableMapEventData事件（包含模式和表名）引导的。client.connect() 是阻塞的（意味着客户端将在当前线程中侦听事件）。问：插入/更新/删除行的EventData中没有关于表的信息（除了一些奇怪的id）。最初，该项目是作为的分支开始的，但最终却成为了一次完全的重写。这段代码用于读取二进制日志文件（binlogFile）中的事件，并对事件进行处理。
2024-11-11 12:33:11
1098
1
原创 Debezium系列之：Incremental snapshotting设计原理
Debezium系列之：Incremental snapshotting设计原理
2024-11-09 22:40:36
147
原创 Debezium日常分享系列之：Debezium3版本Mysql数据类型映射
Debezium MySQL连接器以与行存在的表结构相似的事件形式表示行的更改。该事件包含每个列值的字段。该列的MySQL数据类型决定了Debezium在事件中表示该值的方式。在MySQL中，存储字符串的列是使用字符集和排序规则定义的。当读取binlog事件中的列值的二进制表示时，MySQL连接器使用列的字符集。连接器可以将MySQL数据类型映射到字面和语义类型。如果默认的数据类型转换不符合需求，可以为连接器指定自定义类型映射。
2024-11-07 17:40:03
1082
原创 flume系列之：Unexpected error java.util.concurrent.RejectedExecutionException: Task java.util.concurrent
flume系列之：ERROR [hdfs-sink1-roll-timer-1] org.apache.flume.sink.hdfs.BucketWriter$2.call:340 - Unexpected errorjava.util.concurrent.RejectedExecutionException: Task java.util.concurrent.ScheduledThreadPoolExecutor$ScheduledFutureTask@308e7e22 rejected fro
2024-11-06 18:18:39
31
原创 Debezium报错处理系列之第120篇：Cannot invoke “com.github.shyiko.mysql.binlog.GtidSet.getUUIDSets()“
Debezium报错处理系列之第120篇：Caused by: io.debezium.DebeziumException: Unable to connect to the database at IP:3306 with user 'debezium': java.lang.NullPointerException: Cannot invoke "com.github.shyiko.mysql.binlog.GtidSet.getUUIDSets" because "this.gtidSet" is n
2024-11-06 17:31:13
42
原创 Debezium系列之：Debezium3版本增量快照和只读增量快照应用的变化
Debezium系列之：Debezium3版本增量快照和只读增量快照应用的变化
2024-11-06 16:45:01
373
原创 Debezium系列之：Debezium3版本启用 Debezium通知的变化
Debezium 通知提供了一种获取连接器状态信息的机制。通过 Connect API 向配置的主题发送通知。通知附加到日志中。通知作为 JMX bean 中的属性公开。
2024-11-01 13:35:25
53
Debezium Server offset编辑器
2023-10-19
labview数据采集系统
2022-10-09
ansible-flume-auto-deployment.tar.gz
2021-07-28
flink-shaded-hadoop-3-uber-3.1.1.7.1.1.0-565-9.0.jar
2020-11-16
Elasticsearch-head+grunt+node-v12.11.1.zip
2019-10-11
机械建模机械建模各章节课程作业、大作业以及Matlab实现代码
2019-02-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人