- 博客(1948)
- 资源 (42)
- 收藏
- 关注
RSS订阅
原创 深入浅出理解kafka原理相关技术博客汇总
深入浅出理解kafka原理相关技术博客汇总文章内容链接CentOS7搭建Kafka2.7分布式集群CentOS7搭建Kafka2.7分布式集群Kafka操作命令Kafka操作命令分布式消息队列Kafka原理分布式消息队列Kafka原理新版Kafka Manager CMAK安装的详细文档新版Kafka Manager CMAK安装的详细文档CentOS7安装kafka-managerCentOS7安装kafka-manager通信原理和认识kaf
2021-12-17 18:51:34
1132
原创 Pandas和Spark知识汇总
Spark开发汇总文章内容链接pyspark之DataFrame操作大全pyspark之DataFrame操作大全pandas数据处理—Series、DataFrame对象pandas数据处理—Series、DataFrame对象Pandas数据处理—Series、DataFrame对象索引Pandas数据处理—Series、DataFrame对象索引Pandas数据处理—清理、转换、合并、重塑Pandas数据处理—清理、转换、合并、重塑pyspark读
2021-01-03 23:16:00
874
1
原创 Linux常用命令详解和服务器知识汇总
Linux常用命令详解和服务器知识汇总文章内容链接linux常用命令详解(持续更新) linux常用命令详解(持续更新)ShellShellShell编程Shell编程linux知识点linux知识点redhat7配置本地yum源和阿里源redhat7配置本地yum源和阿里源...
2021-01-01 21:08:38
517
原创 Docker容器原理详解和实战应用
Docker容器原理详解和实战应用文章内容链接Docker核心原理，Docker在线安装和离线安装Docker核心原理，Docker在线安装和离线安装Docker 安装mysql5.7Docker 安装mysql5.7Docker 使用Dockerfile创建镜像Docker 使用Dockerfile创建镜像Docker 镜像和容器Docker 镜像和容器Docker修改国内镜像源，同时搭建本地私有镜像仓库，配置其他docker服务器从私有镜像仓库拉取镜
2021-01-01 20:54:29
437
原创 Spark、HDFS、YARN、Zookeeper、Kafka、Hive、HBase等原理详解
Spark、HDFS、YARN、Zookeeper、Kafka、Hive、HBase等原理详解文章内容链接分布式文件系统HDFS基本原理分布式文件系统HDFS基本原理计算引擎Spark基本原理计算引擎Spark基本原理分布式协调服务ZooKeeper原理分布式协调服务ZooKeeper原理分布式消息队列Kafka原理分布式消息队列Kafka原理Hive与Spark SQL原理详解Hive与Spark SQL原理详解分布式列簇式存储系统HBase原
2021-01-01 20:10:10
1140
原创 Python基础知识汇总和应用示例
Python基础知识汇总和应用示例文章内容链接python库下载网站python库下载网站python读取csv文件python读取csv文件Python3基础知识:三元表达式、元祖、sort函数、sorted函数、enumerate函数、zip函数、del函数、pop函数、update函数、字典Python3基础知识:三元表达式、元祖、sort函数、sorted函数、enumerate函数、zip函数、del函数、pop函数、update函数、字典python
2021-01-01 14:12:51
2403
1
原创 Kettle详细使用教程
Kettle详细使用教程文章内容链接Kettle 插入更新、自定义常量数据与删除、增加常量、增加序列Kettle 插入更新、自定义常量数据与删除、增加常量、增加序列Kettle字段选择、剪切字符串、字符串替换、Concat fields、字符串操作Kettle字段选择、剪切字符串、字符串替换、Concat fields、字符串操作Kettle 排序记录、去除重复记录、拆分字段、值映射、替换NULL值Kettle 排序记录、去除重复记录、拆分字段、值映射、替换NULL值
2021-01-01 13:19:24
967
原创 Scala基础知识汇总和应用示例
Scala基础知识汇总和应用示例文章内容链接Scala连接Mysql数据库和Sqlserver数据库，增量抽取数据存储到Hive数据库Scala连接Mysql数据库和Sqlserver数据库，增量抽取数据存储到Hive数据库Scala语法之变量和数据类型Scala语法之变量和数据类型Scala语法之if…else、for循环、while循环、Break和ContinueScala语法之if…else、for循环、while循环、Break和ContinueSca
2021-01-01 13:10:51
249
原创 Java基础知识汇总
Java基础知识汇总文章内容链接Java从入门到精通 第一章 初识JavaJava从入门到精通 第一章 初识JavaJava从入门到精通 第二章 开发工具IDEA使用教程Java从入门到精通 第二章 开发工具IDEA使用教程Java从入门到精通 第三章 Java语言基础Java从入门到精通 第三章 Java语言基础Java从入门到精通 第四章流程控制Java从入门到精通 第四章流程控制Java从入门到精通 第五章字符串Java从入门到精通 第五章字符串
2021-01-01 12:47:58
271
原创 SQL Server语法大全和函数使用方法汇总
SQL Server函数大全和使用方法汇总文章内容链接SQL Server 2019 Linux安装教程SQL Server 2019 Linux安装教程SQL Server 2019 Windows安装教程SQL Server 2019 Windows安装教程SQLServer变量、流程控制、嵌套查询SQLServer变量、流程控制、嵌套查询SQLServer日期相关函数SQLServer日期相关函数 GETDATE、DATEADD、DATEDIFF、DAT
2021-01-01 12:13:22
647
原创 ELK集群搭建和使用详解：filebeat、Logstash、Kibana、Elasticsearch
ELK集群搭建和使用详解：filebeat、Logstash、Kibana、Elasticsearch文章分类链接服务器环境服务器环境搭建filebeatCentOS7下安装filebeat-7.3filebeatwindows下安装filebeat-7.3.2LogstashCentOS7下安装Logstash-7.3.2Logstashwindows下安装Logstash-7.3.2LogstashLogstash配置文件语法Logs
2020-12-18 11:32:52
322
原创 大数据集群搭建：安装部署MySQL、SQL Server、Zookeeper、Hadoop、Spark、Flink、Kafka、Kettle、Airflow、Flume、Zeppelin集群
大数据集群搭建：安装部署mysql、sqlserver、Zookeeper、Hadoop、Spark、Flink、Kafka、kettle、airflow集群文章分类链接大数据集群环境搭建大数据集群环境搭建：Hadoop、Spark、Flink分布式集群环境mysql5.7mysql5.7数据库主从同步、双机热备、读写分离高可用集群的实现mysql5.7CentOS7离线安装mysql5.7.32mysql8CentOS7离线安装mysql-8.0.19
2020-12-18 11:08:38
1291
原创 大数据集群环境搭建：Hadoop、Spark、Flink分布式集群环境
Centos7上搭建hadoop3.2.1分布式集群一、安装虚拟机VMware Workstation安装CentOS7.4服务器：https://blog.csdn.net/zhengzaifeidelushang/article/details/102557805准备三台CentOS7服务器,三台服务器主机名和IP地址如下：主机名IP地址bigdata1192.168.239.131bigdata2192.168.239.132bigdata3192.16
2020-04-08 16:00:59
1263
1
原创 大数据系列之：详细介绍Trino Python client应用方法
Trino 的客户端，一个用于交互式和批量大数据处理的分布式 SQL 引擎。提供低级客户端和 DBAPI 2.0 实现以及 SQLAlchemy 适配器。它支持Python>=3.8和PyPy。
2024-05-17 09:07:26
24
原创 Spark报错处理系列之：HDFS Unable to close file because the last block BP-xx does not have enough number
Spark报错处理系列之：HDFS Unable to close file because the last block BP-xx does not have enough number
2024-05-16 07:12:50
33
原创 Debezium日常分享系列之：Debezium 2.7.0.Alpha2发布
在 Debezium 的早期版本中，Oracle 连接器经过严格设计，在连接器用户帐户的默认表空间中创建 LogMiner 刷新表。在用户的默认表空间可能不是理想目标并且 DBA 希望该表存在于单独的表空间中的情况下，这并不总是有用。以前，用户需要修改用户帐户或使用具有正确表空间的新用户才能在正确的表空间位置创建表。在 Debezium 2.7 中，不再需要这样做，您可以安全地将目标模式/表空间的名称包含在配置中。
2024-05-15 09:05:28
509
原创 Debezium报错处理系列之第101篇：解决Flink CDC报错The db history topic or its content is fully or partially missing
Debezium报错处理系列之第101篇：解决Flink CDC报错The db history topic or its content is fully or partially missing
2024-05-10 17:47:42
217
5
原创 Oracle数据库从入门到精通系列之二十五：ERROR: ORA-12541: TNS:no listener错误详细的解决方法
Oracle数据库从入门到精通系列之二十五：ERROR: ORA-12541: TNS:no listener错误详细的解决方法
2024-05-10 16:45:46
218
原创 K8s系列之：unable to recognize STDIN: no matches for kind Kafka in version kafka.strimzi.io/v1beta
这个命令使用了kubectl命令行工具，通过指定YAML文件的URL链接来创建一个Kubernetes资源对象。在这个例子中，这个YAML文件描述了一个Operator订阅对象，用于安装Strimzi Kafka Operator。命令完成后，输出信息表示成功创建了一个名为"my-strimzi-kafka-operator"的Operator订阅对象，并且已经被Kubernetes接受。
2024-05-05 08:36:17
317
2
原创 Debezium系列之：存储Debezium Connector的offset信息到Starrocks数据库，实现大数据集群出现故障时，从指定时间点再次拉取数据库数据
Debezium系列之：存储Debezium Connector的offset信息到Starrocks数据库，实现大数据集群出现故障时，从指定时间点再次拉取数据库数据
2024-05-04 18:35:45
456
2
原创 TiDB系列之：TiDB数据库账号权限，创建TiDB账号，创建数据库，创建表，插入数据
TiDB系列之：TiDB数据库账号权限，创建TiDB账号，创建数据库，创建表，插入数据
2024-04-30 23:16:42
215
原创 TiDB系列之：使用TiUP部署TiDB集群最新版本，同时部署TiCDC的详细步骤
至此使用TiUP部署了TiDB集群最新版本，同时部署了TiCDC下一步尝试节点的扩容，新增节点TiFlash。
2024-04-30 21:21:04
212
1
原创 金融知识分享系列之：看懂公司财报——净资产收益率、市净率、营业总收入、归母净利润、扣非归母净利润、财务比率、毛利率和净利率、核心利润贡献度、资产负债率和流动比率、收现率和净现比、应收账款周转率
总之，市净率和净资产收益率之间有一定的关系，但是它们并不是一一对应的关系，投资者在进行投资决策时需要考虑多种因素，不能仅仅依据这两个指标进行判断。以上是公司年报中的一些重要指标，投资者需要根据实际情况进行综合分析，以作出更加准确的投资决策。公司年报是了解公司经营状况、财务状况和发展前景的重要途径。
2024-04-30 09:21:14
1519
原创 Debezium日常分享系列之：Debezium 2.7.0.Alpha1发布
虽然 Oracle 建议用户避免使用基于 RAW 的列，但出于向后兼容性的原因，这些列仍广泛用于标准 Oracle 表中。但在某些业务用例中，继续使用 RAW 列而不是其他数据类型是有意义的。Debezium 2.7 引入了一个专门针对 Oracle 的新自定义转换器，称为 RawToStringConverter。此自定义转换器旨在允许您使用 STRING 架构类型快速将 RAW 列的字节数组内容转换为基于字符串的字段。
2024-04-29 10:17:14
798
1
原创 Debezium系列之：Debezium2.6以上稳定版本需要注意的重要变动
snapshot.mode的值从schema_only变为no_data。
2024-04-25 17:57:54
94
原创 Oracle数据库从入门到精通系列之二十五：ORA-01261: Parameter db_recovery_file_dest destination string cannot be transl
- ORA-01261: Parameter db_recovery_file_dest destination string cannot be translated - ORA-01262: Stat failed on a file destination directory - Linux-x86_64 Error: 2: No such file or directory
2024-04-25 17:39:36
142
原创 TiDB系列之：TiCDC使用Changefeed完成数据同步任务
changefeed_id、start_ts、target_ts、sink_uri 的含义和格式与使用 cli 创建同步任务中所作的解释相同，具体解释请参见该文档。使用 changefeed query 命令可以查询特定同步任务（对应某个同步任务的信息和状态），指定 --simple 或 -s 参数会简化输出，提供最基本的同步状态和 checkpoint 信息。在 TiCDC 运行过程中，同步任务可能会运行出错、手动暂停、恢复，或达到指定的 TargetTs，这些行为都可以导致同步任务状态发生变化。
2024-04-25 17:27:57
259
原创 TiDB系列之：认识TiDB数据库，使用TiUP部署TiDB集群，同时部署TiCDC的详细步骤
TiUP 的直接功能是作为 TiDB 生态中的包管理器，但这并不是它的最终使命。TiUP 的愿景是将 TiDB 生态中所有工具的使用门槛降到极致，这个仅仅靠包管理功能是做不到的，还需要引入一些额外的包来丰富这个系统，它们一起加入到 TiUP 生态中，让 TiDB 的世界变得更简单。TiUP 系列文档的主要内容就是介绍 TiUP 及这些包的功能和使用方式。Usage:Examples:Flags:可用的命令install：用于安装特定版本的组件list：查看可用组件列表或组件可用版本列表。
2024-04-25 08:50:06
232
原创 Debezium报错处理系列之第101篇：DebeziumException: Unable to find schema_only_recovery snapshotter
Debezium报错处理系列之第101篇：DebeziumException: Unable to find schema_only_recovery snapshotter
2024-04-24 18:01:21
45
原创 Debezium系列之：Debezium技术专栏第300篇系列文章之打通Debezium实时采集Oracle数据库数据到Kafka集群的技术
Debezium系列之：Debezium技术专栏第300篇系列文章之打通Debezium实时采集Oracle数据库数据到Kafka集群的技术
2024-04-24 16:19:45
133
2
原创 Debezium分享系列之：Debezium2.6稳定版本设置SQL Server数据库
为了让 Debezium 从 SQL Server 表捕获更改事件，具有必要权限的 SQL Server 管理员必须首先运行查询以在数据库上启用 CDC。然后，管理员必须为希望 Debezium 捕获的每个表启用 CDC。应用 CDC 后，它会捕获提交给启用了 CDD 的表的所有 INSERT、UPDATE 和 DELETE 操作。然后 Debezium 连接器可以捕获这些事件并将它们发送到 Kafka 主题。
2024-04-24 08:39:18
151
原创 Debezium分享系列之：Debezium2.6稳定版本SQLSerer数据库Debezium connector核心知识点
Debezium分享系列之：Debezium2.6稳定版本SQLSerer数据库Debezium connector核心知识点
2024-04-22 17:55:00
254
1
原创 SQLServer数据库从入门到精通系列之四：开启SQLServer数据库ddl审计
SQLServer数据库从入门到精通系列之四：开启SQLServer数据库ddl审计
2024-04-22 10:28:52
65
原创 Oracle数据库从入门到精通系列之二十四：重做日志、归档日志、补充日志，深入理解重做日志、补充日志、归档日志之间的关系
Oracle数据库从入门到精通系列之二十四：重做日志、归档日志、补充日志，深入理解重做日志、补充日志、归档日志之间的关系
2024-04-22 09:15:43
81
原创 Debezium报错处理系列之第100篇：Redo logs may be sized too small using the default mining strategy, consider in
Debezium报错处理系列之第100篇：Redo logs may be sized too small using the default mining strategy, consider increasing redo log sizes to a minimum of 500MB.
2024-04-22 08:08:26
46
原创 Debezium报错处理系列之九十九：Database table ‘ORCLPDB1.C##DBZUSER.TEST_TABLE‘ not configured with supplemental
Debezium报错处理系列之九十九：Database table 'ORCLPDB1.C##DBZUSER.TEST_TABLE' not configured with supplemental logging
2024-04-22 07:53:35
36
原创 Debezium报错处理系列之九十八：io.debezium.DebeziumException: Supplemental logging not properly configured
Debezium报错处理系列之九十八：io.debezium.DebeziumException: Supplemental logging not properly configured。
2024-04-22 07:43:29
59
Debezium Server offset编辑器
2023-10-19
labview数据采集系统
2022-10-09
ansible-flume-auto-deployment.tar.gz
2021-07-28
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人