![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
大鹏_展翅
这个作者很懒,什么都没留下…
展开
-
Hive rlike 不支持子查询,完美解决方案
当我们用rlike 进行子查询的时候就会报如下错误,但mysql和oracle不会。当我们把子查询换成字符串的是时候就能正常执行所以得到结论就是hive 不支持rlike 、like以及regex的子查询。那我们要如何解决呢?这时候我们可以用hive的另外一个函数 locate ,用法:LOCATE(t1.SGTXT,t0.SGTXT) > 0 表示:t0.SGTXT包含t1.SGTXT如果是=0 就表示两个字符串不存在包含关系。那么我们就修改失去了为如下就可以正常执行:......原创 2022-07-07 17:00:01 · 1481 阅读 · 1 评论 -
hive insert into table ... select 语法数据覆盖
hive insert into table ... select 语法数据覆盖原创 2022-04-26 11:07:01 · 2822 阅读 · 0 评论 -
Postgresql中常用的时间戳与日期的相互转换
时间戳转日期、日期时间1.不带时区的时间格式。我开发中经常用的select to_char(to_timestamp(1628088734), 'yyyy-mm-dd hh24:mi:ss')如果想带毫秒:格式化为:'yyyy-mm-dd hh24:mi:ss.us2.带时区的select to_timestamp(1628088734)3.直接转成日期不带时间select to_timestamp(1628565420)::date日期转时间戳.原创 2021-08-11 17:00:01 · 41143 阅读 · 1 评论 -
PostgreSQL 创建分区表
PG 假如我们想像Hive那也创建动态分区是不能实现的。 那么需要我们手动通过脚本来创建分区表,创建分区表必须要创建主表和分区表。主表:定义我们的一些约束,以及分区键,实质上不存储数据分区表:主要是用来存储数据的。所有列及约束都跟随主表注意:如果我们指定分区表不存在会报错,因此一定要提前创建好分区表,并且要数据不能有遗漏的分区键。列分区表 就是我们指定数据库中字段的一列作为分区字段。1.如下创建分区表的主表 关键字【partition by list...原创 2021-08-05 18:27:05 · 11218 阅读 · 0 评论 -
flink状态,对象重用,触发器,数据覆盖相关问题
遇到的问题对于以上代码,我们进行keyby之后,我们new 了对象,我们会以为里面所有的数据都是独一份,和别的key是隔离的。所以利索当然的:这个类型对象的属性:ExitLessonCountMessage有classId,lessonId,studentId 我们也会认为是独一份和别的keyby之后的数据不重用。当我们入下图我们在定时器触发的时候。用了classId,lessonId,studentId 一直不是自己想要的数据, 导致数据混乱,百思不得其解。原因分析:最后经原创 2021-04-03 17:07:40 · 1939 阅读 · 6 评论 -
sparkStreaming:Exception in thread “streaming-job-executor-0“ java.lang.Error: java.lang.Interrupted
偶尔服务器中报错如下,不是必现,这个问题有点丈二和尚摸不着头脑,摸不着头脑。各种尝试,最后把稳定定位在offset 保存不成功,导致程序保存。Exception in thread "streaming-job-executor-0" java.lang.Error: java.lang.InterruptedException at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1.原创 2021-02-22 14:08:26 · 2455 阅读 · 2 评论 -
Caused by: org.apache.flink.runtime.JobException: Recovery is suppressed by FixedDelayRestartBackoff
在写flink程序时报错,后来网上查了好多文章都是瞎忽悠,最后自己仔细检查代码发现,是自己的疏忽。其实核心问题是你env 设置的时间语义和你代码中使用的不一致。具体报错信息如下:Caused by: org.apache.flink.runtime.JobException: Recovery is suppressed by FixedDelayRestartBackoffTimeStrategy(maxNumberRestartAttempts=2, backoffTimeMS=20000原创 2021-02-07 18:40:12 · 19839 阅读 · 4 评论 -
Mysql中自定义开窗函数,row_number,dense_rank.
在数仓开发中或者数据分析中,我们经常用到开窗函数。但是在Mysql中没有我们该怎么办呢?如下是在实际开发中遇到的两个例子,给大家分享一下,希望能帮到大家自定义实现row_numberSELECT student_id, student_name , @i := @i + 1 AS rownumFROM student, ( SELECT @i := 0 ) t通过以上sql,可以看出其实很简单。只需要定义变量i,然后再每一列后面i自增+1即可。自定义实现den...原创 2021-01-22 14:14:47 · 658 阅读 · 0 评论 -
flink Exception in thread “main“ org.apache.flink.api.common.functions.InvalidTypesException:
我们在写flink程序的时候,我们会用到元祖(Tuple)当上游算子用到Tuple时,下游用keyby(tuple->tuple.f0)就会报如下错误:解决办法:如下图必须用匿名内部类不能用lambda方法,因为不能为自动类型提取提供足够的信息。.keyBy(new KeySelector<Tuple2<Tuple8<String,String,String,String,String,String,String,String>,String>, Tup原创 2020-12-09 17:14:54 · 1013 阅读 · 1 评论 -
Spark插入Es如何自己设置id?
当我们插入向Es插入数据时,我们不自己插入id时,Es会自动帮我们生成随机id,有时候不方便我们查询,如下图:那么我们会想是不是在插入的时候,_id =6,就可以插入呢?**亲测不行:**请看上图 “6”会单独生成一列。那么具体解决办法如下:其实方法很简单。我们只需要在保存Es 的索引时指定_id的映射的字段就可以了。具体如下图:...原创 2020-11-08 09:47:07 · 1392 阅读 · 0 评论 -
Flink Caused by: org.apache.flink.runtime.JobException:错误
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好! 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar原创 2020-11-08 09:34:36 · 12863 阅读 · 1 评论