- 博客(48)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 基于postgresl的gaussDB(DWS)地址省市区解析函数
国内省市区的地址解析函数。postgesql， 华为gauss DB(DWS)instr() + substr截取字符串
2023-07-28 15:22:59
5477
原创 git本地库和远程库的相关操作命令
git本地分支和远程分支的增删改查本地分支和远程分支的关联建立git branch -vv， git branch --set-upstream-to
2023-07-27 22:15:22
3758
原创 git在工作区和本地库的操作命令
git在本地的常用操作命令：查看提交信息： git log ， git reflog版本回滚： git reset撤销修改： git reset HEAD ， git checkout --
2023-07-23 20:06:51
649
原创 git学习总结
分布式：指的是数据库是分布式的，不是集中在一个地方的。所以数据库分为本地库和远程库。step2：进入目录后，打开git bash。执行命令 git clone 远程库地址(HTTP地址或SSH地址)。数据库：存储版本信息的地方就叫做数据库，里面记录的是文件或目录状态的地方，存储内容修改的历史记录。缓存区(暂存区)：是为了提交工作树的所有改动到本地库做准备的。工作树(工作区)：本地上，在git管理下，大家实际操作的目录。.git 目录上一级的目录。1.1、git init通常用于项目从无到有，即没有远程库。
2023-07-19 21:17:25
1194
原创 clickhouse使用clickhouse-keeper代替zookeeper
clickhouse进入只读模式，使用clickhouse-keeper代替zookeeper
2022-11-17 16:14:35
5265
原创 Hive常见的计算(连续纸，topN，行专列，列转行)
hive 面试sql 连续值 topN 行转列 列转行 json解析 jsont_uple get_json_object
2022-05-24 02:54:57
1559
原创 使用Ip2Region将IP值转换为地址(impala，spark)
ip转换省份，城市， ip2regionimpala， sparksql，自定义udf，spark
2022-05-10 17:47:10
1437
原创 MapReduce的启动流程，源码阅读
MapReduce的启动过程，MR的输入和输出的格式类和路劲检查，切片逻辑，application临时目录构建，
2022-05-08 23:03:12
944
原创 Scala计算时间，向前向后推一段时间
def getStartTime(nowdate: String, delay: String): String={ val format = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss") val fr = new java.text.SimpleDateFormat("yyyy-MM-dd HH:mm:ss") var mdate = "" val d = fr.parse(nowdate) val myTime = (.
2022-04-24 11:53:38
359
原创 Hive的时间函数
1- 获取当前日期，得到 yyyy-mm-dd格式select current_date;2- 获得当前时间的 时间戳select unix_timestamp();3- 时间戳和日期的相互转换。 from_unixtime 和 unix_timestamp 3.1-- from_unixtime -时间戳(13位) 转 日期-- 默认日期格式是 yyyy-mm-dd HH:MM:ssselect from_unixtime(1637232609);...
2021-11-18 19:09:27
3463
原创 1-docker架构
docker是一种容器技术。容器是一种轻量级，可移植，自包含的软件打包技术。解决不同服务需要不同的环境它采取的是client/server架构，主要有是三个组件(client，daemon，registry)，两个概念(image和container)三个组件：client端：最常见的是 docker命令daemon：服务器端，以linux后台服务形式运行。负责 创建，运行，监控容器； 构建存储镜像。 默认是相应本地host的请求，如果需要远程，需要配置registry： 是存放im
2021-11-09 15:27:27
76
原创 Hive安装部署
前提: 安装了 hadoop(提供数据的存储HDFS) 和 mysql (作为hive的元数据库)。mysql新建了hive的用户。 用户名为 hive ， 密码为 "12345678"官网下载安装包 Index of /dist/hive 。 以hive-2.3.7为例 解压缩安装包 以 安装目录为 /opt/cluster/servers 为例， cd /opt/cluster/servers/tar zxvf apache-hive-2.3.7-bin.tar.gz -C ..
2021-11-06 20:17:00
2292
7
原创 Canal-adapt部署遇到的小坑-java.lang.IllegalArgumentException: Could not resolve placeholder ‘GROUP[1]‘ in v
背景: 使用 canal+ kafka + canal-adapt。 将 源数据库mysql0 实时同步到 目的数据库mysql2。 数据流向 Mysql0 -> canal -> kafka -> canal-adapt -> Mysql2按照官网的demo步骤进行配置。后运行报错2021-10-25 19:45:16.358 [Thread-2] ERROR c.a.o.canal.adapter.launcher.loader.CanalAdapterLoade.
2021-11-04 12:08:55
738
原创 FlinkCDC同步mysql的demo
<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/ma.
2021-09-17 17:07:52
8294
19
原创 linux安装 mysql5.6，遇到Please configure the ‘hostname‘ command to return a correcthostname.
今天需要在linux安装个mysql用于测试，在网上找个教程便开始安装前面的下载，解压，重命名文件夹，添加用户，用户组都不会有啥问题，我的mysql的解压安装路径是 /root/xxx/mysql，没有按照教程的解压安装路径。groupadd mysqluseradd -r -g mysql mysql然后按照教程修改 /etc/my.cnf添加了basedir=/usr/local/mysqldatadir=/usr/local/mysql/databasedir=/usr/.
2021-09-08 11:34:35
1149
原创 window下的kafka安装部署，命令练习
1- 前期环境准备(mysql，kafka，canal) 1.1- windows下mysql的安装部署 1.2- windows下kafka的安装部署 1.3- windows下canal的安装部署2- Mysql的配置文件配置(开启bin-log)3- kafka的配置文件设置4- canal的配置文件设置5- 测试记录...
2021-08-17 17:14:03
135
原创 Window环境下canal实时同步mysql增量数据到kafka的单机版demo
1- 前期环境准备(mysql，kafka，canal) 1.1- windows下mysql的安装部署 1.2- windows下kafka的安装部署 1.3- windows下canal的安装部署2- Mysql的设置(开启bin-log，创建用户)3- canal的配置文件设置4- 测试记录本文是为了测试canal的基本功能，使用windows操作系统，采用单机模拟实际的集群(kafka和canal)。对比实...
2021-08-17 14:58:03
581
原创 吴恩达深度学习-第一课神经网络和深度学习-第2周课后编程
import numpy as npimport matplotlib.pyplot as pltimport h5pyimport scipyfrom PIL import Imagefrom scipy import ndimagefrom lr_utils import load_dataset##第二周的课后编程训练# 1- 介绍了项目中需要的一些库，并导入 numpy，matplotlib.pyplot，h5py, scipy, Image# 2- 加载项目的 数据(训练集.
2021-07-25 17:53:09
502
原创 吴恩达深度学习-第一课神经网络和深度学习-第二周课后小测
1: What does a neuron compute?(神经元怎么进行计算)A: A neuron computes an activation function followed by a linear function (z = wx + b)，神经元在计算完线性函数 z = wx + b后在进行激活函数计算B: A neuron computes the mean of all features before applying the output to an activation fu
2021-07-25 17:42:35
825
5
原创 Elasticsearch基本概念术语(索引，文档，分片等）
使用ES，通常会遇到这个概念， 索引，文档，节点，分片，副本。索引和文档，是偏向开发人员视角，逻辑概念节点，分片，副本等，运维人员可能会偏重点，偏向物理概念。1- 文档(document)：是ES 所有可搜索数据的最小单位，它会被序列化成JSON格式(可以包含 不同的类型的字段)，保存到ES中。每个文档都有一个UID，可以自己定义，也可以交给系统生成。 1.1- 文档的组成 元数据：用于标注 文档的相关信息 字段： 类似于 关系型数据库的字段，...
2021-04-07 10:22:09
986
原创 flink03_基本算子，map, flatMap, filter
Map算子： 类似spark的map算子，功能是转换数据类型，输入和输出的数量是1对1。下列例子是，将输入的String 转化为 string的长度flatMap算子： 类似spark的flatMap， 功能是转换数据类型，输入和输出的数量可以是 1对多。 下列例子是分词， 将输入的整数数据 按照 " , " 分割，加上10后输出。filter算子： 类似spark的filter，符合规则 就输出。 下列例子是 输入一组 整数数据，将偶数输出。package com.flinkTest.tra
2021-03-16 17:10:34
269
原创 flink2_ source读取数据
在flink程序流程中属于第二步从集合或文件中读取// 从集合中读取env.fromCollection(Arrays.asList( "hello java", "hello spark", "hello flink", "hello scala"));// 从文件中读取env.readTextFile("<filePath>");从kaf
2021-03-16 16:54:22
322
原创 flink windows的wordcount demo(离线和实时)
1.新建maven项目，pom文件新增如下代码 <dependencies> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-java</artifactId> <version>1.7.2</version> </dependency>
2021-03-04 15:09:09
430
1
翻译 开启zookeeper的安全认证功能，并配置kafka对zookeeper的身份验证
目录1-- 为啥需要开启zookeeper认证2-- 如何开启zookeeper认证2.1-- 修改文件 zoo.cfg， 开启认证功能2.2-- 创建 jaas.conf文件，配置认证的用户和密码(例子的文件路径为 /etc/zookeeper/jaas.conf)2.3-- 设置jaas.conf的权限，权限是 zookeeper 组件的用户，假设组件zookeeper的拥有使用者名为 zkp，所需组为root2.4-- 更新zookeeper的JVM flags2.5...
2020-12-21 15:23:37
30652
14
sense（beta）插件
2018-10-17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人