- 博客(26)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 我的创作纪念日
提示：你过去写得最好的一段代码是什么？提示：当前创作和你的工作、学习是什么样的关系。提示：可以和大家分享最初成为创作者的初心。提示：在创作的过程中都有哪些收获。提示：职业规划、创作规划等。
2023-06-14 17:25:59
143
原创 Java Date 和 LocalDateTime 的区别
建议在新代码中使用LocalDateTime而不是Date，因为它提供了更多的功能并且更易于使用。但是，如果需要使用使用Date的旧代码，可以根据需要在两者之间进行转换。LocalDateTime是一个表示日期和时间（不带时区）的类，精度为纳秒。它是不可变的且线程安全的。在Java中，Date是一个表示特定时间点的类，精度为毫秒。它是可变的且不线程安全的。
2023-03-31 17:18:07
510
原创 彻底搞懂 Flink Watermark 和 Window
彻底搞懂 Fink Watermark 和 Window1.有界无序水印和 lambda 函数作为时间戳分配器2.为时间戳单调递增的情况创建水印策略3.空闲分区数据流4.调用 watermark 生成生成器5.水位线的作用6.水位线的原理7.窗口 trigger8.定时器 timer9.自定义 WatermarkStrategy10.窗口生命周期11.GlobalWindowWatermarkStrategy 定义了如何在流源中生成 Watermark 。 WatermarkStrategy 是用于构建水
2021-12-24 16:10:16
1537
原创 ElasticSearch 进阶
ElasticSearch 进阶1.重要的配置1.JVM 配置2.查询交换：3.增加文件描述符4.增加虚拟内存5.增加线程数6.DNS缓存设置引导检查API 约定1.多个索引2.索引名称中的日期数学支持REST API 常用参数1.`?pretty=true`2.`?human=false`3.日期数学4.参数5.布尔值6.数值7.时间单位8.启用堆栈跟踪 `error_trace`2.Document API1.读和写 document介绍基本写入模型故障处理基本读取模型2.Index API3.GET
2021-11-22 22:23:46
2108
原创 kafka 进阶
kafka教程1.offset四个概念：LogStartOffsetConsumerOffsetHighWatermarkLogEndOffset2.两种 offsetCurrent OffsetCommitted Offset3.服务端常用命令1.查看所有 topic2.查看 topic partition、replica、ISR 详情3.查看 consumer group 列表（新版信息保存在broker中）（老版信息保存在zookeeper中）4.查看 topic 的最 latest、earliest
2021-11-16 20:12:57
1379
原创 九大数据分析法
1.周期性分析法有小伙伴问：能不能系统介绍下数据分析方法。今天它来啦！数据分析常用的方法有九种，今天先介绍第一种，操作上最简单的：周期性分析法。它是新人们避免犯小白错误的最好方法。做数据的新人最容易犯啥错？当然是一张嘴就被大家笑话：连这个常识都没有！[外链图片转存失败,源站可能有防盗链机制,建所谓的常识，很大一部分是周期性变化：到了这个时间，就会出这种事。周期性分析，主要是从日常杂乱的数据中，发现会周期性出现的规律，从而避免上述问题。常见的周期包括两种：自然周期/生命周期。所谓自然周期，是指业务指
2021-11-02 13:27:13
3344
原创 ElasticSearch 基础教程
ElasticSearch 基础教程1.概念2.使用场景：3.基本概念1.NRT2.Cluster3.Node4.Index5.Type6.Document7.Shards & Replicas4.安装和配置1.集群健康2.列出所有索引3.创建索引4.索引和查询文档5.删除索引6.总结：7.修改文档（重新索引）8.更新文档9.删除文档10.批量处理6.样本数据测试7.Search API8.查询 DSL 语言介绍9.Search DSL match10.Search DSL Filter11.Sea
2021-10-31 23:14:44
1593
原创 grpc HelloWorld
grpc HelloWorld一.创建 maven 项目版本信息pom.xml二.HelloWorld 快速上手1.编写 protocol buffers 定义接口2.maven 编译项目3.编写服务端代码4.编写客户端代码5.测试一.创建 maven 项目版本信息<properties> <java.version>1.8</java.version> <project.build.sourceEncoding>UTF-8</pr
2021-09-27 19:35:38
466
原创 jackson 工具类
jackson 工具类1.maven 依赖2.JacksonUtil 工具类3.自定义序列化4.实体类资源文件1.maven 依赖 <dependency> <groupId>com.fasterxml.jackson.core</groupId> <artifactId>jackson-databind</artifactId> <version>2.10.0</version> </de
2021-09-22 13:20:14
492
原创 解决maven依赖方法总结
解决maven依赖方法总结1、**mvn install:install-file** 解决远程仓库没有jar包，但是本地有jar包1.执行命令前2.执行命令3.执行命令后2、解决maven依赖冲突1.方式一：mvn dependency:tree2.方式二：idea Maven Helper 插件1、mvn install:install-file 解决远程仓库没有jar包，但是本地有jar包1.执行命令前2.执行命令mvn install:install-file -DgroupId=com.
2021-07-25 15:51:01
2693
原创 java程序日志打印规范
java日志打印规范一、日志 API二、日志输出三、日志配置 V1.0.0_NEW四、日志性能一、日志 API1、【强制】各应用中不可直接使用日志系统（Log4j、Logback）中的API，而应依赖使用日志框架 SLF4J 中的 API，使用门面模式的日志框架，有利于维护和各个类的日志处理方式统一。Lombok Slf4j 注解方式import lombok.extern.slf4j.Slf4j; @Slf4jpublic class Fooooo { public void barr
2021-07-24 15:42:39
7252
原创 线程池原理及使用
线程池原理及使用一、背景二、原理三、4种创建方法官方强烈建议程序员使用更方便的 `Executors`工厂方法使用构造函数创建线程池七大参数：异常：4种拒绝策略：四、封装线程池工具类一、背景线程池的作用是管理线程对象，避免重复new Thread消耗资源，控制资源的访问二、原理[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-kTH7RpTE-1626412025146)(images/线程池.png)]线程池由主线程创建，刚创建时，里面没有一个线程。任务队列是作为参数
2021-07-16 13:08:54
268
原创 HttpClient使用教程
原生的的`java.net.HttpURLConnection`并不支持连接池，使用便捷性不好。用 HttpURLConnection 发送json数据的教程如下： /** * 发送 json 数据的 post 请求 * @param json 数据内容 * @return 响应结果 */ private String doJsonPost(String json) throws IOException { URL url = new
2021-07-15 18:18:19
3535
原创 Hive 教程
一、hive概述二、Hive工作原理三、在mysql中创建hive用的数据库和hive用户# 启动mysqlmysql：systemctl start mysqld.service# 关闭mysql：systemctl stop mysqld.service--登录mysqlmysql -uroot -p'12345678' set global validate_password_policy=0;--创建hive用户CREATE
2021-07-11 00:48:59
2267
原创 Linux 基础环境安装和配置
Linux 基础环境安装和配置一、yum 安装与配置1、配置国内 yum 源1、备份本地yum 源2、获取阿里源配置文件3、更新epel仓库4、更新缓存5、更新yum2、yum安装常用软件3、yum常用命令二、自定义环境变量配置1、编辑自定义环境变量文件2、重新加载配置三、用户管理1、添加用户bigdata2、配置sudo免密四、ssh 免密登录1、新建bigdata用户 ，见 《三、用户管理》2、配置本机ssh免密3、添加环境变量4、修改ssh 端口号为225、ssh 免密到其他主机6、测试ssh7、本地
2021-06-19 09:36:42
348
原创 DataX 安装、使用
DataX 安装、使用1、下载安装包2、解压到目标目录3、修改权限4、测试1、postgreSQL 读取任务打印到控制台2、postgreSQL 读，HDFS 写 测试5、执行任务6、查看结果7、创建hive表8、同步数据到hive表（也可以地址直接写hive的存储目录）1、下载安装包# 创建安装包目录[bigdata@tsp3dev01 ~]# mkdir /software/datax# 下载安装包[bigdata@tsp3dev01 datax]# wget http://datax-o
2021-06-18 15:29:05
218
原创 Spark Sql 执行原理深度解析
角色说明Spark SessionSparkSession 是 Spark SQL 的入口点。它是您在开发 Spark SQL 应用程序时创建的第一个对象之一。作为 Spark 开发人员，您可以使用SparkSession.builder方法（该方法使您可以访问用于配置会话的Builder API）创建一个 SparkSessionDatasetDataset是 Spark SQL 中的强类型数据结构，表示结构化查询。CatalogMetastore管理据接口，存...
2021-06-17 23:25:11
173
原创 本地三种提交git的方式
Command line instructionsGit global setupgit config --global user.name "张建-旗偲"git config --global user.email "zhangjian201@faw.com.cn"Create a new repositorygit clone http://10.7.116.62:8088/qisi/bigdata/flink-real-time-rule-alert.gitcd flink-
2021-06-17 17:12:59
250
原创 AlertManager 安装和配置钉钉、邮件
AlertManager 安装和配置一、AlertManager 安装和配置1、创建软件包目录2、下载安装包3、解压到安装目录4、修改权限5、创建软链接6、配置服务7、启动服务8、查看systemctl 日志9、遇到问题及解决10、查看页面11、配置二、Alertmanager实现钉钉告警1、下载prometheus-webhook-dingtalk2、获取钉钉的dingtalk3、配置服务服务4、启动prometheus-webhook-dingtalk 服务5、测试一、AlertManager 安装和
2021-06-16 18:50:31
1523
原创 SparkStreaming正文抽取
SparkStreamingKafkaOffsetZK3：package com.zhangjian.spark.streamingimport java.io.{BufferedReader, InputStreamReader}import java.text.SimpleDateFormatimport java.utilimport java.util.regex.{Matcher, Pattern}import java.util.{Date, Random}import com.
2021-06-14 20:40:27
139
原创 sparkSql自定义UDF、UDAF、UDTF、Shuffle partition数量
测试数据{"name":"zhangsan", "age":20}{"name":"lisi", "age":20}{"name":"wangwu", "age":20}{"name":"wangwu", "age":30}{"name":"wangwu", "age":35}spark sql 分区数测试代码package sparkSqlimport org.apache.spark.sql.{DataFrame, SparkSession}import org.apache.sp
2021-06-14 19:01:21
250
原创 Spark core 常用算子对比和优化
一、算子优化groupByKey(): 没有预聚合，sum、average等操作用 PairRDDFunctions.aggregateByKey或者 PairRDDFunctions.reduceByKeymapPartition 和 map：map ：每条处理一条数据，网络开销大,内存消耗小mapPartition ：每个partition的数据发送到Executor一次，网络开销小，内存消耗大二、对两个RDD操作的算子rdd1.union(rdd2)结果是并集,简单的合并，分区数是原来的
2021-06-14 18:06:16
161
原创 ClickHouse 安装、配置、使用、原理
ClickHouse 安装、配置、使用一、安装1、yum 在线安装2、rpm 离线安装二、配置1、修改主配置文件sudo vim /etc/clickhouse-server/config.xml --主配置文件修改 <include_from> 自定义的配置文件<yandex>...<!--<include_from>/etc/clickhouse-server/config.d/metrika.xml</include_from&
2021-06-13 09:55:15
1739
1
Hadoop在Windows的依赖资源
2021-06-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人