- 博客(46)
- 资源 (42)
- 收藏
- 关注
RSS订阅原创 深入理解CDC原理与Debezium数据接入流程和原理
深入理解CDC原理与Debezium数据接入原理一、什么是WAL二、什么是CDC三、理解CDC客户端四、Debezium数据接入原理1.postgresql数据库对CDC的支持2.postgresql数据库日志解析插件3.debezium接入postgresql数据库的整个流程一、什么是WAL在分布式存储系统中的元数据更新中应用得十分广泛，WAL的主要意思是说在将元数据的变更操作写入到持久稳定的db之前，先预先写入到一个log中，然后再由另外的操作将log apply到外部的持久db里去。这种模式会
2021-07-30 18:02:49
1569
原创 Please merge origin/master before push to remote!解决方法：git更新文件并上传到gitlab
git更新文件并上传到gitlabgit上传文件报错如下：remote: Please merge origin/master before push to remote!! [remote rejected] fy_dev -> fy_dev (pre-receive hook declined)解决方法：本地mast需要同步更新与gitlab上master保持一致后，其他分支才能上传修改一、本地文件更新到最新git pullgit pull origin master二、修改
2021-07-30 14:35:50
307
原创 ansible自动化部署flume集群消费kafka数据到HDFS
ansible自动化部署flume集群消费kafka数据到HDFS一、设置部署flume的机器IP二、ansible部署flume、启动、停止、更新flume配置都只需要一行命令三、ansible自动化部署flume完整代码ansible自动化部署flume集群代码，只需要指定部署flume的机器，本地实现一行命令自动安装flume、启动flume、停止flume、更新flume配置文件。使用ansible自动化部署flume集群消费kafka数据到HDFS，前提需要了解ansible基础知识，需要了解
2021-07-28 14:38:55
287
原创 ip:16和ip:32的区别
ip:16和ip:32的区别一、数据库设置具体IP和网段访问权限如下所示二、计算ip:16和ip:32的区别16、32都是子网掩码32指特定一个主机IP16指的是一个网段一、数据库设置具体IP和网段访问权限如下所示# IPv4 local connections:#具体ip设置如下host all all 10.128.128.101/32 trust#网段设置如下host. all all
2021-07-28 13:37:23
1913
原创 zeppelin监控：Prometheus Monitoring和JMX Monitoring
zeppelin监控：Prometheus Monitoring和JMX Monitoring一、Prometheus Monitoring二、浏览器查看Prometheus Monitoring输出的zeppelin监控指标三、JMX Monitoring四、安装JMX导出器官方文档地址：https://zeppelin.apache.org/docs/0.9.0/setup/operation/monitoring.htmlzeppelin监控有两种实现方式：方式一：Prometheus Mo
2021-07-28 12:15:09
458
原创 zeppelin生产环境zeppelin-env.sh和zeppelin-site.xml的详细配置
zeppelin生产环境zeppelin-env.sh和zeppelin-site.xml的详细配置这篇博客详细记录了生产环境zeppelin所有关键的配置。一、zeppelin-env.sh使用了kerberos认证打开了zeppelin的JMX指标监控export JAVA_HOME=/usr/java/jdk1.8.0_181-amd64export ZEPPELIN_ADDR=0.0.0.0export HADOOP_HOME=/moudle/service/hadoopexpo
2021-07-28 11:48:14
420
原创 zeppelin0.9源码编译
一、下载zeppelin0.9源码zeppelin0.9源码下载地址：https://github.com/apache/zeppelingit clone https://github.com/apache/zeppelin.git二、编译zeppelin0.9源码mvn clean package -DskipTests -Pspark-3.0 -Pspark-scala-2.12 -Phadoop3 -Phive2 -Pjdbc-hadoop3 -Pflink-112 -Pweb-angu
2021-07-28 11:23:13
469
原创 pgsql 常用命令
pgsql 常用命令一、模式（schema）一个数据库包含一个或多个命名模式，模式中包含着表。模式还包含其他类型的命名对象， 包括数据类型、函数和操作符。相同的对象名称可以被用于不同的模式中而不会出现冲突， 例如schema1和myschema都可以包含名为mytable的表。和数据库不同，模式并不是被严格地 隔离：一个用户可以访问所连接的数据库中的所有模式内的对象，只要有足够的权限。使用模式的原因：允许多个用户使用一个数据库并且不会互相干扰将数据库对象组织成逻辑组以便更容易管理第三方应用的对
2021-07-28 06:30:12
1247
原创 Debezium系列之：安装jmx导出器监控debezium指标
安装jmx导出器监控debezium指标一、kafka-connector打开JMX二、安装JMX导出器三、创建jmx导出配置文件四、将JMX导出添加到kafka连接二进制文件中五、重新启动分布式连接服务六、验证JMX代理七、服务器获取debezium指标八、浏览器查看debezium指标一、kafka-connector打开JMX使用jmx导出器监控debezium指标可以详细参考这篇博客为kafka-connector打开JMX：Debezium启动kafka-connector：https:/
2021-07-27 22:09:55
1021
7
原创 Debezium系列之：debezium同步postgresql数据库数据到kafka集群
debezium同步postgresql数据库数据到kafka集群Debezium启动kafka-connector：https://blog.csdn.net/zhengzaifeidelushang/article/details/119153978debezium同步mysql数据库数据到kafka集群：https://blog.csdn.net/zhengzaifeidelushang/article/details/119152017一、测试kafka集群能否连接postgresql数
2021-07-27 21:53:18
907
原创 Debezium系列之：启动kafka-connect
Debezium：启动kafka-connect一、修改connect-distributed.sh配置#!/bin/bash#打开JMX监控export JMX_PORT=9010#JVM参数配置优化export KAFKA_HEAP_OPTS="-Djava.security.auth.login.config=/moudle/debezium/kafka_2.13-2.7.0/config/connect-jaas.conf -Xms28G -Xmx28G -XX:NewSize=4G
2021-07-27 21:37:03
745
2
原创 postgresql数据库安装日志解析插件wal2json
postgresql数据库安装日志解析插件wal2json一、编译安装wal2json插件cd wal2jsonexport PATH=/data/home/fei.yang4/moudle/postgresql/bin:$PATHmakemake install二、直接导入wal2json插件查看pg进程确定pgsql库和配置文件存放目录ps -ef | grep postgresqlubuntu 24975 24835 0 08:56 pts/1 00:00:00 g
2021-07-27 21:19:11
1266
原创 Debezium系列之：debezium同步mysql数据库数据到kafka集群
debezium同步mysql数据库数据到kafka集群一、修改connect-distributed.sh配置#!/bin/bash#打开JMX监控export JMX_PORT=9010#JVM参数配置优化export KAFKA_HEAP_OPTS="-Djava.security.auth.login.config=/moudle/debezium/kafka_2.13-2.7.0/config/connect-jaas.conf -Xms28G -Xmx28G -XX:NewSiz
2021-07-27 20:48:22
777
原创 debezium报错：no longer available on the server. Reconfigure the connector to use a snapshot when neede
debezium报错：no longer available on the server. Reconfigure the connector to use a snapshot when neede完整报错如下：-“trace”:"io.debezium.DebeziumException: The connector is trying to read binlog starting at SourceInfo [currentGtid=null, currentBinlogFilename=mys
2021-07-27 17:20:05
3232
7
原创 debezium报错：Caused by: io.debezium.DebeziumException:whose schema isn‘t known to this connector
debezium报错：Caused by: io.debezium.DebeziumException:whose schema isn’t known to this connector“trace”:"org.apache.kafka.connect.errors.ConnectException: An exception occurred in the change event producer. This connector will be stopped.Caused by: io.deb
2021-07-27 16:39:11
3470
4
原创 java版本剑指offer：在二叉树中找到两个节点的最近公共祖先
java版本剑指offer：在二叉树中找到两个节点的最近公共祖先描述给定一棵二叉树(保证非空)以及这棵树上的两个节点对应的val值 o1 和 o2，请找到 o1 和 o2 的最近公共祖先节点。注：本题保证二叉树中每个节点的val值均不相同。示例1输入：[3,5,1,6,2,0,8,#,#,7,4],5,1返回值：3方法一：递归这颗树的某个节点等于节点o1或o2，就向上返回这个节点给父节点当前节点的左右子树返回值分别是o1、o2，当前这个节点就是最近公共祖先当前节点只有一个子树的返回
2021-07-27 13:21:34
254
原创 java版本剑指offer：二分查找
java版本剑指offer：二分查找描述请实现有重复数字的升序数组的二分查找给定一个 元素有序的（升序）整型数组 nums 和一个目标值 target ，写一个函数搜索 nums 中的第一个出现的target，如果目标值存在返回下标，否则返回 -1示例1输入：[1,2,4,4,5],4返回值：2说明：从左到右，查找到第1个为4的，下标为2，返回2示例2输入：[1,2,4,4,5],3返回值：-1示例3输入：[1,1,1,1,1],1返回值：0解题思路：查找之后
2021-07-27 11:43:53
138
原创 Java版剑指offer：用两个栈实现队列
Java版剑指offer：用两个栈实现队列描述用两个栈来实现一个队列，分别完成在队列尾部插入整数(push)和在队列头部删除整数(pop)的功能。 队列中的元素为int类型。保证操作合法，即保证pop操作时队列内已有元素。示例:输入:[“PSH1”,“PSH2”,“POP”,“POP”]返回:1,2解析:“PSH1”:代表将1插入队列尾部“PSH2”:代表将2插入队列尾部"POP“:代表删除一个元素，先进先出=>返回1"POP“:代表删除一个元素，先进先出=>返回2示例
2021-07-27 11:27:59
215
原创 Java版剑指offer：链表中环的入口结点
Java版剑指offer：链表中环的入口结点描述给一个链表，若其中包含环，请找出该链表的环的入口结点，否则，返回null。输入描述：输入分为2段，第一段是入环前的链表部分，第二段是链表环的部分，后台将这2个会组装成一个有环或者无环单链表返回值描述：返回链表的环的入口结点即可。而我们后台程序会打印这个节点示例1输入：{1,2},{3,4,5}返回值：3说明：返回环形链表入口节点，我们后台会打印该环形链表入口节点，即3示例2输入：{1},{}返回值：“null”说明：没有
2021-07-25 21:59:09
278
4
原创 java版：层序遍历
描述给定一个二叉树，返回该二叉树层序遍历的结果，（从左到右，一层一层地遍历）例如：给定的二叉树是{3,9,20,#,#,15,7},该二叉树层序遍历的结果是[[3],[9,20],[15,7]]示例1输入：{1,2}返回值：[[1],[2]]示例2输入：{1,2,3,4,#,#,5}返回值：[[1],[2,3],[4,5]]解题思路：层序遍历：就是从根节点（第一层）开始，依次向下，获取每一层所有结点的值，有二叉树如下：实现步骤：1.创建队列，存储每一层
2021-07-25 19:21:20
1108
1
原创 java剑指offer：两个链表的第一个公共结点
java剑指offer：两个链表的第一个公共结点描述输入两个无环的单链表，找出它们的第一个公共结点。（注意因为传入数据是链表，所以错误测试数据的提示是用其他方式显示的，保证传入数据是正确的）解题思路：先假设链表A头结点与结点8的长度 与 链表B头结点与结点8的长度相等，那么就可以用双指针。初始化：指针ta指向链表A头结点，指针tb指向链表B头结点如果ta == tb， 说明找到了第一个公共的头结点，直接返回即可，否则，ta != tb，则++ta，++tb所以现在的问题就变成，如何让本来长
2021-07-25 18:14:46
241
原创 java版剑指offer：二叉搜索树的后序遍历序列
java版剑指offer：二叉搜索树的后序遍历序列描述输入一个整数数组，判断该数组是不是某二叉搜索树的后序遍历的结果。如果是则返回true,否则返回false。假设输入的数组的任意两个数字都互不相同。（ps：我们约定空树不是二叉搜索树）示例1输入：[4,8,6,12,16,14,10]复制返回值：true二叉搜索树：每个节点中的值必须大于（或等于）存储在其左侧子树中的任何值。每个节点中的值必须小于（或等于）存储在其右子树中的任何值。前序遍历：先访问根结点，然后再访问左子树，最
2021-07-25 17:44:42
209
原创 java版本剑指offer：反转链表
java版本剑指offer：反转链表描述输入一个链表，反转链表后，输出新链表的表头。示例1输入：{1,2,3}返回值：{3,2,1}此题想考察的是：如何调整链表指针，来达到反转链表的目的。初始化：3个指针：1）pre指针指向已经反转好的链表的最后一个节点，最开始没有反转，所以指向null2）cur指针指向待反转链表的第一个节点，最开始第一个节点待反转，所以指向head3）nex指针指向待反转链表的第二个节点，目的是保存链表，因为cur改变指向后，后面的链表则失效了，所以需要保存
2021-07-25 11:42:25
162
原创 java版本剑指offer：链表中倒数最后k个结点
java版本剑指offer：链表中倒数最后k个结点描述输入一个链表，输出一个链表，该输出链表包含原链表中从倒数第k个结点至尾节点的全部节点。如果该链表长度小于k，请返回一个长度为 0 的链表。最简单的方式就是使用两个指针，第一个指针先移动k步，然后第二个指针再从头开始，这个时候这两个指针同时移动，当第一个指针到链表的末尾的时候，返回第二个指针即可。注意，如果第一个指针还没走k步的时候链表就为空了，我们直接返回null即可。import java.util.*;/* * public c
2021-07-25 10:44:17
232
1
原创 Java版剑指offer：平衡二叉树
描述输入一棵二叉树，判断该二叉树是否是平衡二叉树。在这里，我们只需要考虑其平衡性，不需要考虑其是不是排序二叉树平衡二叉树（Balanced Binary Tree），具有以下性质：它是一棵空树或它的左右两个子树的高度差的绝对值不超过1，并且左右两个子树都是一棵平衡二叉树。注：我们约定空树是平衡二叉树。public class Solution { public boolean IsBalanced_Solution(TreeNode root) { //正常算树的深度，中间
2021-07-25 10:07:21
183
原创 Java版剑指offer：二叉树的深度
描述输入一棵二叉树，求该树的深度。从根结点到叶结点依次经过的结点（含根、叶结点）形成树的一条路径，最长路径的长度为树的深度。示例1输入：{1,2,3,4,5,#,6,#,#,7}复制返回值：4一、递归public class Solution { public int TreeDepth(TreeNode root) { if (root==null) return 0; int left=TreeDepth(root.lef
2021-07-24 18:49:59
184
原创 Java版剑指offer：二维数组中的查找
1.在一个二维数组中（每个一维数组的长度相同），每一行都按照从左到右递增的顺序排序，每一列都按照从上到下递增的顺序排序。请完成一个函数，输入这样的一个二维数组和一个整数，判断数组中是否含有该整数。[[1,2,8,9],[2,4,9,12],[4,7,10,13],[6,8,11,15]]给定 target = 7，返回 true。给定 target = 3，返回 false。一、暴力解决方法public class Solution { public boolean Find(i
2021-07-24 18:01:24
172
原创 debezium把postgresql数据库导入到kafka
debezium把postgresql数据库导入到kafka一、设置debezium集群获取postgresql数据库的访问权限和复制权限设置debezium集群获取postgresql数据库的访问权限和复制权限，需要修改配置文件pg_hba.confvim pg_hba.conf# "local" is for Unix domain socket connections onlylocal all all
2021-07-23 18:05:28
388
原创 Springboot：整合Thymeleaf
Springboot：整合Thymeleaf一、application.properties#是否开启缓存，开发时刻设置为false，默认为truespring.thymeleaf.cache=false#检查模板是否存在，默认为truespring.thymeleaf.check-template=true#检查模板位置是否存在，默认为truespring.thymeleaf.check-template-location=true#模板文件编码spring.thymeleaf.enc
2021-07-22 14:02:21
135
原创 Springboot：@PathVariable，@RequestHeader，@RequestParam和@RequestBody
Springboot：@PathVariable，@RequestHeader，@RequestParam和@RequestBodypackage com.bigdata.springboot.controller;import org.springframework.web.bind.annotation.*;import java.util.HashMap;import java.util.List;import java.util.Map;@RestControllerpubli
2021-07-21 16:02:26
138
原创 Springboot：添加配置处理器
Springboot：添加配置处理器添加配置处理器，用于编写配置文件时代码提示打包时把配置处理器排除在外 <dependencies> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-configuration-processor</artifactId> </dependency>
2021-07-21 10:54:34
454
原创 Centos7 安装grafana
Centos7 安装grafanagrafana官网链接地址：https://grafana.com/grafana/download一、下载grafanawget https://dl.grafana.com/oss/release/grafana-8.0.6-1.x86_64.rpm二、安装grafanasudo yum install grafana-8.0.6-1.x86_64.rpm三、启动grafanasystemctl enable grafana-serversyste
2021-07-20 22:39:00
499
原创 Springboot：Spring Assistant创建项目框架
Springboot：Spring Assistant创建项目框架Springboot自动配置项目流程步骤如下所示：第一步：第二步：第三步：第四步：第五步：第六步：完整的目录结构
2021-07-20 17:07:18
2569
原创 Springboot：lombok
Springboot：lombok一、pom.xml引入lombak依赖 <dependency> <groupId>org.projectlombok</groupId> <artifactId>lombok</artifactId> <optional>true</optional> </dependency>二、lombok用法import org.springframew
2021-07-20 16:43:06
95
原创 Springboot：配置绑定@ConfigurationProperties注解和@EnableConfigurationProperties注解
Springboot：配置绑定@ConfigurationProperties注解和@EnableConfigurationProperties注解Springboot读取到yaml文件中的内容，并且封装到Java Bean中，以供随时使用。一、application.ymlperson: name: 佐助 age: 10 happy: true hobby: 足球 dog: name: 白牙 age: 5二、方法一：使用@ConfigurationPrope
2021-07-20 15:17:31
171
原创 Springboot：@ImportResource注解
Springboot：@ImportResource注解@ImportResource(“classpath:beans.xml”)导入spring配置文件，使配置文件中的组件生效一、beans.xml文件<?xml version="1.0" encoding="UTF-8"?><beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/X
2021-07-20 14:23:29
186
原创 Springboot：添加组件到容器@Configuration详解
Springboot：@Configuration详解一、Spring beans.xml配置文件添加组件到容器Spring把组件添加到容器中，需要创建一个Spring的配置文件，使用标签来向容器中添加组件，如下所示添加person1、dog1两个组件到容器。<?xml version="1.0" encoding="UTF-8"?><beans xmlns="http://www.springframework.org/schema/beans" xmlns:xs
2021-07-20 12:51:40
368
原创 Springboot：@Validated注解
Springboot：@Validated注解Springboot可以用@validated来校验数据，如果数据异常则会统一抛出异常，方便异常统一处理。引入依赖： <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-validation</artifactId> </dependency>
2021-07-18 14:33:41
232
原创 Sprintboot：属性赋值
Sprintboot：属性赋值一、Dog类使用@Valuepackage com.bigdata.springboot.pojo;import lombok.AllArgsConstructor;import lombok.Data;import lombok.NoArgsConstructor;import org.springframework.beans.factory.annotation.Value;import org.springframework.stereotype.Co
2021-07-18 13:50:25
67
原创 Springboot：yaml文件
Springboot yaml文件SpringBoot使用一个全局的配置文件，配置文件名称是固定的：application.properties：语法结构 key=valueapplication.yml：语法结构 key: 空格value配置文件的作用：修改SpringBoot自动配置的默认值，因为SpringBoot在底层给我们自动配置好了。YAML# 普通的key-valuename: mingren# 对象student: name: mingren age: 3
2021-07-18 11:05:14
86
Debezium Server offset编辑器
2023-10-19
labview数据采集系统
2022-10-09
ansible-flume-auto-deployment.tar.gz
2021-07-28
flink-shaded-hadoop-3-uber-3.1.1.7.1.1.0-565-9.0.jar
2020-11-16
Elasticsearch-head+grunt+node-v12.11.1.zip
2019-10-11
机械建模机械建模各章节课程作业、大作业以及Matlab实现代码
2019-02-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人