- 博客(1419)
- 资源 (42)
- 收藏
- 关注
RSS订阅
原创 深入浅出理解kafka原理相关技术博客汇总
深入浅出理解kafka原理相关技术博客汇总文章内容链接CentOS7搭建Kafka2.7分布式集群CentOS7搭建Kafka2.7分布式集群Kafka操作命令Kafka操作命令分布式消息队列Kafka原理分布式消息队列Kafka原理新版Kafka Manager CMAK安装的详细文档新版Kafka Manager CMAK安装的详细文档CentOS7安装kafka-managerCentOS7安装kafka-manager通信原理和认识kaf
2021-12-17 18:51:34
849
原创 Pandas和Spark知识汇总
Spark开发汇总文章内容链接pyspark之DataFrame操作大全pyspark之DataFrame操作大全pandas数据处理—Series、DataFrame对象pandas数据处理—Series、DataFrame对象Pandas数据处理—Series、DataFrame对象索引Pandas数据处理—Series、DataFrame对象索引Pandas数据处理—清理、转换、合并、重塑Pandas数据处理—清理、转换、合并、重塑pyspark读
2021-01-03 23:16:00
671
1
原创 Linux常用命令详解和服务器知识汇总
Linux常用命令详解和服务器知识汇总文章内容链接linux常用命令详解(持续更新) linux常用命令详解(持续更新)ShellShellShell编程Shell编程linux知识点linux知识点redhat7配置本地yum源和阿里源redhat7配置本地yum源和阿里源...
2021-01-01 21:08:38
356
原创 Docker容器原理详解和实战应用
Docker容器原理详解和实战应用文章内容链接Docker核心原理，Docker在线安装和离线安装Docker核心原理，Docker在线安装和离线安装Docker 安装mysql5.7Docker 安装mysql5.7Docker 使用Dockerfile创建镜像Docker 使用Dockerfile创建镜像Docker 镜像和容器Docker 镜像和容器Docker修改国内镜像源，同时搭建本地私有镜像仓库，配置其他docker服务器从私有镜像仓库拉取镜
2021-01-01 20:54:29
276
原创 Spark、HDFS、YARN、Zookeeper、Kafka、Hive、HBase等原理详解
Spark、HDFS、YARN、Zookeeper、Kafka、Hive、HBase等原理详解文章内容链接分布式文件系统HDFS基本原理分布式文件系统HDFS基本原理计算引擎Spark基本原理计算引擎Spark基本原理分布式协调服务ZooKeeper原理分布式协调服务ZooKeeper原理分布式消息队列Kafka原理分布式消息队列Kafka原理Hive与Spark SQL原理详解Hive与Spark SQL原理详解分布式列簇式存储系统HBase原
2021-01-01 20:10:10
761
原创 Python基础知识汇总和应用示例
Python基础知识汇总和应用示例文章内容链接python库下载网站python库下载网站python读取csv文件python读取csv文件Python3基础知识:三元表达式、元祖、sort函数、sorted函数、enumerate函数、zip函数、del函数、pop函数、update函数、字典Python3基础知识:三元表达式、元祖、sort函数、sorted函数、enumerate函数、zip函数、del函数、pop函数、update函数、字典python
2021-01-01 14:12:51
1778
1
原创 Kettle详细使用教程
Kettle详细使用教程文章内容链接Kettle 插入更新、自定义常量数据与删除、增加常量、增加序列Kettle 插入更新、自定义常量数据与删除、增加常量、增加序列Kettle字段选择、剪切字符串、字符串替换、Concat fields、字符串操作Kettle字段选择、剪切字符串、字符串替换、Concat fields、字符串操作Kettle 排序记录、去除重复记录、拆分字段、值映射、替换NULL值Kettle 排序记录、去除重复记录、拆分字段、值映射、替换NULL值
2021-01-01 13:19:24
693
原创 Scala基础知识汇总和应用示例
Scala基础知识汇总和应用示例文章内容链接Scala连接Mysql数据库和Sqlserver数据库，增量抽取数据存储到Hive数据库Scala连接Mysql数据库和Sqlserver数据库，增量抽取数据存储到Hive数据库Scala语法之变量和数据类型Scala语法之变量和数据类型Scala语法之if…else、for循环、while循环、Break和ContinueScala语法之if…else、for循环、while循环、Break和ContinueSca
2021-01-01 13:10:51
142
原创 Java基础知识汇总
Java基础知识汇总文章内容链接Java从入门到精通 第一章 初识JavaJava从入门到精通 第一章 初识JavaJava从入门到精通 第二章 开发工具IDEA使用教程Java从入门到精通 第二章 开发工具IDEA使用教程Java从入门到精通 第三章 Java语言基础Java从入门到精通 第三章 Java语言基础Java从入门到精通 第四章流程控制Java从入门到精通 第四章流程控制Java从入门到精通 第五章字符串Java从入门到精通 第五章字符串
2021-01-01 12:47:58
135
原创 SQL Server语法大全和函数使用方法汇总
SQL Server函数大全和使用方法汇总文章内容链接SQL Server 2019 Linux安装教程SQL Server 2019 Linux安装教程SQL Server 2019 Windows安装教程SQL Server 2019 Windows安装教程SQLServer变量、流程控制、嵌套查询SQLServer变量、流程控制、嵌套查询SQLServer日期相关函数SQLServer日期相关函数 GETDATE、DATEADD、DATEDIFF、DAT
2021-01-01 12:13:22
475
原创 ELK集群搭建和使用详解：filebeat、Logstash、Kibana、Elasticsearch
ELK集群搭建和使用详解：filebeat、Logstash、Kibana、Elasticsearch文章分类链接服务器环境服务器环境搭建filebeatCentOS7下安装filebeat-7.3filebeatwindows下安装filebeat-7.3.2LogstashCentOS7下安装Logstash-7.3.2Logstashwindows下安装Logstash-7.3.2LogstashLogstash配置文件语法Logs
2020-12-18 11:32:52
209
原创 大数据集群搭建：安装部署MySQL、SQL Server、Zookeeper、Hadoop、Spark、Flink、Kafka、Kettle、Airflow、Flume、Zeppelin集群
大数据集群搭建：安装部署mysql、sqlserver、Zookeeper、Hadoop、Spark、Flink、Kafka、kettle、airflow集群文章分类链接大数据集群环境搭建大数据集群环境搭建：Hadoop、Spark、Flink分布式集群环境mysql5.7mysql5.7数据库主从同步、双机热备、读写分离高可用集群的实现mysql5.7CentOS7离线安装mysql5.7.32mysql8CentOS7离线安装mysql-8.0.19
2020-12-18 11:08:38
897
原创 大数据集群环境搭建：Hadoop、Spark、Flink分布式集群环境
Centos7上搭建hadoop3.2.1分布式集群一、安装虚拟机VMware Workstation安装CentOS7.4服务器：https://blog.csdn.net/zhengzaifeidelushang/article/details/102557805准备三台CentOS7服务器,三台服务器主机名和IP地址如下：主机名IP地址bigdata1192.168.239.131bigdata2192.168.239.132bigdata3192.16
2020-04-08 16:00:59
1043
1
原创 Debezium报错处理系列之七十：requested WAL segment 00000001000002100000005C has already been removed
Debezium报错处理系列之七十：requested WAL segment 00000001000002100000005C has already been removed
2023-06-03 12:52:11
9
原创 Debezium系列之：使用分区路由指定表的字段，把指定字段具有相同值的增删改数据始终分发到Kafka Topic的相同分区
Debezium系列之：使用分区路由指定表的字段，把指定字段具有相同值的增删改数据始终分发到Kafka Topic的相同分区
2023-06-03 12:43:43
67
原创 Oracle数据库从入门到精通系列之十五：NUMBER类型
指定小数位数位2，精度为5时，小数点左边最多只能有3位，右边有2位，因此这个数不满足精度要求。精度和小数位数根本不会影响数据在磁盘上如何存储，只会影响允许有哪些值以及数值如何舍入。NUMBER类型是一个变长数据类型，在磁盘上会占用0～22字节的存储空间。在此P和S是可选的，分别用于指定以下两个方面。在这个例子，NUM_COL列不允许多于5位。小数位数可以用于控制数值的舍入。
2023-06-02 15:11:34
5
原创 Debezium系列之：Debezium2.X之PostgreSQL数据库的Debezium连接器
PostgreSQL 的逻辑解码特性是在 9.4 版本中引入的。它是一种允许提取提交给事务日志的更改并借助输出插件以用户友好的方式处理这些更改的机制。输出插件使客户端能够使用更改。一个逻辑解码输出插件。可能需要安装选择使用的输出插件。在运行 PostgreSQL 服务器之前，必须配置一个使用选择的输出插件的复制槽。插件可以是以下之一：decoderbufs基于 Protobuf 并由 Debezium 社区维护。pgoutput是PostgreSQL 10+标准的逻辑解码输出插件。
2023-06-01 23:59:23
156
原创 Oracle数据库从入门到精通系列之十四：CHAR、VARCHAR2、NCHAR和NVARCHAR2
不论在表段还是索引段中，CHAR都会占用最大的存储空间，这就够糟糕了，避免使用CHAR/NCHAR类型还有另外一个很重要的原因：CHAR/NCHAR类型还会给使用这些数据的应用带来混乱，原因与字符串的比较的规则有关，也与执行字符串比较多严格程度有关。使用诸如UTF-8的多字节字符集时，建议在VARCHAR2/CHAR定义中使用CHAR修饰符，也就是说使用VARCHAR2(80 CHAR)，而不是VARCHAR2(80),因为是要定义一个实际上能存储80字符数据的列。
2023-05-30 11:47:01
17
原创 Oracle数据库系列之十三：详细整理Oracle数据库的数据类型
显然以上列表中还少了许多类型，如INT、INTEGRE、SMALLINT、FLOAT、REAL等。这些类型实际上都是在上表所列的某种基本类型的基础上实现的，另外，XML Type、SYS.ANYTYPE和SDO_GEOMETRY之类的类型在此也未列出，它们是一些复杂的对象类型，包括一个属性集合以及处理这些属性的一些方法(函数)。这些复杂类型由上述基本数据类型组成，并不是传统意义上真正的数据类型，而只是你在应用中可以利用的一种实现或一组功能。
2023-05-30 09:58:54
338
原创 Oracle数据库从入门到精通系列之十：基于Docker部署Oracle数据库19c的详细步骤
Oracle数据库从入门到精通系列之十：基于Docker部署Oracle数据库19c的详细步骤
2023-05-28 10:21:51
445
原创 Oracle数据库从入门到精通系列之十一：Oracle创建数据库的详细步骤
Oracle数据库从入门到精通系列之十一：Oracle创建数据库的详细步骤
2023-05-28 10:15:35
456
原创 Debezium报错处理系列之六十七：TopicAuthorizationException: Not authorized to access topics
Debezium报错处理系列之六十七：TopicAuthorizationException: Not authorized to access topics
2023-05-27 20:00:00
1017
原创 Debezium报错处理系列之六十九：Can‘t compare binlog filenames with different base names
Debezium报错处理系列之六十九：Can't compare binlog filenames with different base names
2023-05-27 19:15:00
1091
原创 Debezium报错处理系列之六十八：No resolvable bootstrap urls given in bootstrap.servers
Debezium报错处理系列之六十八：No resolvable bootstrap urls given in bootstrap.servers
2023-05-27 19:00:00
887
原创 Oracle数据库从入门到精通系列之八：控制文件
控制文件是一个相当小的文件，存储了数据库需要的一些文件的位置。数据库启动时，实例会从参数文件中知道控制文件的位置，而通过控制文件会知道数据库的数据文件和在线重做日志文件的位置。每个数据库都应该有多个控制文件的副本，而且它们应该保存在不同的磁盘上，以防止出现故障而丢失控制文件。控制文件应该通过硬件(RAID)多路保存，如果硬件条件不支持，则要通过Oracle自身多路保存。
2023-05-26 21:58:32
16
原创 Oracle数据库从入门到精通系列之七：闪回日志
想把数据库恢复到以前的某个时间点需要一个很耗时并且复杂的流程。引入FLASHBACK DATABASE这个命令后，可以大大简化并加快这个流程。闪回日志包含数据块被修改之前的映像，用于将数据库返回到之前某个时间点的状态。
2023-05-26 21:56:48
16
原创 Oracle数据库从入门到精通系列之六：临时文件
一般而言对数据的每一个修改都会存储在重做日志中，这些事物日志会在以后某个时间重新应用以重做事务。例如，数据库实例失败后进行恢复就可能需要重做事务。DBA不需要备份临时数据文件，无法恢复临时数据文件。
2023-05-26 21:53:17
14
原创 Debezium系列之：Debezium2.X之Oracle数据库的Debezium连接器
Debezium 的 Oracle 连接器捕获并记录在 Oracle 服务器上的数据库中发生的行级更改，包括在连接器运行时添加的表。可以将连接器配置为针对模式和表的特定子集发出更改事件，或者忽略、屏蔽或截断特定列中的值。Debezium 通过使用本机 LogMiner 数据库包或XStream API从 Oracle 获取更改事件。虽然该连接器可能适用于各种 Oracle 版本，但只有 Oracle EE 12 和 19 已经过测试。Oracle数据库实战链接后续会补上。
2023-05-26 21:50:52
1599
原创 Oracle数据库从入门到精通系列之五：数据文件
其中一个对应SYSTEM表空间(存放Oracle的数据字典)，一个对应SYSAUX表空间(在10g及以上版本中，非字典对象都存储在这个表空间中)，最后一个对应USER表空间。数据库由一个或多个表空间构成。表空间是Oracle中的一个逻辑存储容器，位于存储层次体系的顶层，包括一个或多个数据文件。用最简单的CREATE DATABASE命令根据默认设置创建了一个数据库，这个数据库中有三个数据文件。一个段由一个或多个区段组成，区段则由连续分配的一些块组成。块结构：首部、表目录、行目录、空闲空间、数据、尾部。
2023-05-26 21:47:18
768
原创 Oracle数据库从入门到精通系列之四：重做日志文件
当数据库修改块(比如说更新块上的一行)时，这些修改会在内存中完成，它会修改高速缓存内的数据块，与此同时，数据库也会把重做这些修改所需的信息保存在重做日志缓冲区(redo log buffer)中。在Oracle数据库中完成的所有操作都会生成redo，并写入到在线重做日志文件中。例如，创建索引后，数据库将向SYS.OBJ$表中插入一行，以表示索引存在数据库中，这个插入动作会记入日志，以后如果表上有插入、更新和删除等操作，那么相应的索引的维护动作也会记入日志，但是最初写入磁盘的创建索引的操作不会记入日志中。
2023-05-26 21:40:54
602
原创 Debezium系列之：Debezium镜像仓库Quay.io，使用Debezium镜像仓库的方法和案例
Debezium系列之：Debezium镜像仓库Quay.io，使用Debezium镜像仓库的方法和案例
2023-05-20 09:52:26
517
原创 Debezium报错处理系列之六十六： java.sql.SQLException: Incorrect string value: ‘\xE5\x80\xA9\xE5\x80\xA9...‘ for
Debezium报错处理系列之六十六： java.sql.SQLException: Incorrect string value:'\xE5\x80\xA9\xE5\x80\xA9...' for column 'name' at row 1
2023-05-07 09:46:05
79
1
原创 Debezium报错处理系列之六十五：Debezium JDBC connector无法支持mysql字段默认值为DEFAULT CURRENT_TIMESTAMP的解决方法
Debezium报错处理系列之六十五：Debezium JDBC connector无法支持mysql字段默认值为DEFAULT CURRENT_TIMESTAMP的解决方法
2023-05-07 09:14:19
40
原创 Kafka系列之：Unexpected handshake request with client mechanism PLAIN, enabled mechanisms are []
Kafka系列之：Unexpected handshake request with client mechanism PLAIN, enabled mechanisms are []
2023-05-06 18:30:38
104
1
labview数据采集系统
2022-10-09
ansible-flume-auto-deployment.tar.gz
2021-07-28
flink-shaded-hadoop-3-uber-3.1.1.7.1.1.0-565-9.0.jar
2020-11-16
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人