随记
Kathy-zyh
小菜鸟
展开
-
记 DolphinScheduler 3.0.1数据质量使用
DolphinScheduler 3.0.1数据质量使用原创 2022-11-08 17:45:55 · 2459 阅读 · 1 评论 -
azkaban配置邮件预警
配置层面1. apache平台只需在azkaban-web/conf/azkaban.properties配置文件中添加邮箱配置即可2. CDH平台CDH平台由于云平台禁用了smtp的25端口,所以需要将配置的端口换成465,同时需要改动azkaban源码1. azkaban源码编译1.停止服务2.备份原文件3.修改azkaban-common/src/main/java/azkaban/utils/EmailMessage.java文件头引入包:import java.securi原创 2021-06-29 15:30:46 · 1282 阅读 · 0 评论 -
azkaban多项目之间依赖检查执行
azkaban多项目之间依赖检查执行编写检测脚本(python3),azkaban_project_auto.py,内容如下:# coding=UTF-8#!/usr/bin/python3# @Desc: 处理Azkaban project执行流水线import sysimport timeimport pymysql.cursorsimport requestsimport clickimport jsonAZKABANURL = 'http://ip:port'USER原创 2021-06-29 11:16:46 · 1556 阅读 · 0 评论 -
azkaban启动避坑
azkaban启动时必须在bin目录外面输入如下启动命令,否则会有各种问题bin/start-exec.shbin/start-web.sh原创 2021-06-29 10:45:05 · 963 阅读 · 0 评论 -
mysql自动创建/删除分区的存储过程
存储过程创建:mysql对应库下得存储过程右键选择新建存储过程存储过程代码CREATE DEFINER=`root`@`%` PROCEDURE `库名`.`insert_partition`(beginDate datetime,endDate datetime)BEGIN DECLARE nowdate date;DECLARE endtmp date;declare dt VARCHAR(256);declare partitionTemp VARCHAR(256..原创 2021-02-23 09:37:51 · 1270 阅读 · 2 评论 -
idea日志打印级别设置(log4j.properties)
log4j.rootLogger=error, stdout,Rlog4j.appender.stdout=org.apache.log4j.ConsoleAppenderlog4j.appender.stdout.layout=org.apache.log4j.PatternLayoutlog4j.appender.stdout.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss,SSS} %5p — [%50t] %-80c(line:%5L) :原创 2021-01-06 20:54:35 · 1184 阅读 · 0 评论 -
flatMap和Map的区别理解
flatMap和Map的区别理解结合下图来理解:Map:数据的映射转换,数据集中的每一条都数据通过函数进行转换,输入多少条,输出多少条 如list中的("A",1) 通过函数 (t._1 + t._2) 操作后变成 "A1"flatMap:扁平映射,数据集中的每条数据通过函数进行映射转换后再进行拆解,输出条数通常多余输入条数 如list中的("A",1) 通过函数 (t._1 + t._2) 操作后变成 "A1",然后拆解为A,1两条数据...原创 2020-10-23 19:05:24 · 583 阅读 · 0 评论 -
为什么重写equals时要重写hashcode?
为什么重写equals时要重写hashcode?Object类的equals方法说明中提到:相等对象必须有相等的哈希码![在这里插入图片描述](https://img-blog.csdnimg.cn/2020101918335546.png#pic_center假定有两个对象u1和u2:User u1 = new User(“zhangsan”,24);User u2 = new User(“zhangsan”,24);Object类中:equals方法判断的是两个对象的地址,而通常原创 2020-10-19 19:06:46 · 250 阅读 · 0 评论