Flink SQL系列之：解析Debezium数据格式时间字段常用的函数

最新推荐文章于 2024-11-01 15:43:09 发布
最新推荐文章于 2024-11-01 15:43:09 发布
阅读量647 收藏
点赞数
分类专栏： 大数据 文章标签： Flink SQL系列 Debezium数据格式 时间字段 常用的函数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhengzaifeidelushang/article/details/137355207
版权
大数据 专栏收录该内容
550 篇文章 558 订阅 ¥49.90 ¥99.00
订阅专栏
本文详细介绍了Flink SQL中处理时间字段的函数，包括FROM_UNIXTIME、DATE_FORMAT、TO_DATE、CAST、TO_TIMESTAMP_LTZ、CONVERT_TZ等，结合实例解析了如何将Unix时间戳转换为日期格式，并进行日期格式化、类型转换和时区转换等操作。
摘要由CSDN通过智能技术生成

Flink SQL系列之：解析Debezium数据格式时间字段常用的函数

一、FROM_UNIXTIME

命令：FROM_UNIXTIME(plan_date * 86400, ‘yyyy-MM-dd HH:mm:ss’)

FROM_UNIXTIME函数是Flink SQL中的一个日期格式转换函数，用于将Unix时间戳转换为日期格式。
其语法为：

FROM_UNIXTIME(unixtime[, format])

其中，参数unixtime为要转换的Unix时间戳，参数format为可选参数，表示转换后的日期格式。如果不指定format参数，则默认使用’yyyy-MM-dd HH:mm:ss’格式。FROM_UNIXTIME函数返回一个日期类型的值。

例如，以下SQL语句将Unix时间戳plan_date乘以86400（一天的秒数）并转换为日期格式’yyyy-MM-dd HH:mm:ss’：

了解本专栏 订阅专栏 解锁全文
快乐骑行^_^
关注
专栏目录
订阅专栏
大数据Flink（七十一）：SQL的时间属性
Lansonli（蓝深李）的博客
09-03 1515
以事件时间举个例子，如果只是数据携带了时间，Flink 也消费了这个数据，但是在 Flink 中没有使用数据的这个时间作为计算的触发条件，也不能把这个 Flink 任务叫做事件时间的任务。：举个例子，比如用户可以自定义每隔 10s 的本地时间，或者消费到的数据的时间戳每增大 10s，就把计算结果输出一次，时间在此类应用中也是一种标识任务进度的作用。事件时间：指的是数据本身携带的时间，这个时间是在事件产生时的时间，而且在 Flink SQL 触发计算时，也使用数据本身携带的时间。三种时间属性的应用场景是啥？
Flink CDC / Kafka Connect 自动转换 Debezium 的 DataTime / Timpstamp 时间格式
Laurence的技术博客
04-26 844
不管是用 Flink CDC 还是 Kafka Connect (Debezium Connector)，在实时获取数据库的 CDC 数据并以 Json 格式写入 Kafak 中时，都会遇到 DataTime / Timpstamp 类型的转换问题，即：原始数据库中的 DataTime / Timpstamp 的字面量是 2021-12-14 00:00:00 这种形式，但是，转换为 Json 后就变成了 1639411200000 (带毫秒位的 epoch 时间)，这带来的问题是：下游表基于 Json 数
[实战-12] flinkSql 时间属性
最新发布
笔生花的博客
11-01 1051
在阅读下面知识之前，读者需要先看Flinksql设置时区。
20211008 FlinkSql测试-1.12版本
m0_54691436的博客
10-08 796
一、flinkSql-Client /mnt/flink-1.12.4/bin/start-cluster.sh --启动集群 /mnt/flink-1.12.4/bin/sql-client.sh embedded --进入sql客户端 二、FlinkSql函数 1、比较函数 = <> > >= < <= 注意：select null=null; 返回为null IS NULL 、 IS NOT NULL
在Flink SQL中，如果你想要从时间戳字段中获取年月日部分
smile6868的博客
04-28 835
在Flink SQL中，如果你想要从时间戳字段中获取年月日部分，你可以使用内置的函数来实现。Flink SQL提供了许多与日期和时间相关的函数，例如。请注意，Flink SQL的函数和特性可能会随着版本的更新而发生变化。因此，建议查阅你所使用的Flink版本的官方文档以获取最准确和最新的信息。另外，如果你想要以特定的格式（例如'YYYY-MM-DD'）返回日期，你可以使用。的列，其中包含按'YYYY-MM-DD'格式格式化的日期。，这些函数可以帮助你从时间戳字段中提取相应的部分。
Flink SQL时间属性和窗口介绍 ,窗口表值函数
.
08-05 2538
在创建表的 DDL（CREATE TABLE 语句）中，可以增加一个字段，通过 WATERMARK语句来定义事件时间属性。WATERMARK 语句主要用来定义水位线（watermark）的生成表达式，这个表达式会将带有事件时间戳的字段标记为事件时间属性，并在它基础上给出水位线的延迟时间。具体定义方式如下：) WITH (...把 ts 字段定义为事件时间属性，而且基于 ts 设置了 5 秒的水位线延迟。
Flink SQL -- 获取当前时间
lck_csdn的博客
02-20 1629
flink sql 获取当前时间
Debezium系列之：Flink SQL消费Debezium数据格式，同步数据到下游存储系统
zhengzaifeidelushang的博客
12-21 1758
Debezium系列之：Flink SQL消费Debezium数据格式，同步数据到下游存储系统
Flink CDC系列之：深入理解MySQL CDC Connector的原理和实际应用MySQL CDC实现流式数据处理后同步到Elasticsearch数据库、StarRocks数据库
zhengzaifeidelushang的博客
08-13 557
Flink CDC系列之：深入理解MySQL CDC Connector的原理和实际应用MySQL CDC实现流式数据处理后同步到Elasticsearch数据库、StarRocks数据库
Flink SQL：debezium-json 格式的表一定是数据库的 CDC 数据吗？
Laurence的技术博客
04-15 861
debezium-json 格式有一种非常典型的应用场景，就是：上游（Source）是一张使用 Flink CDC 接入的关系数据库中的表，下游（Sink）是一张创建在 Kafka 上的表，这张表的 format 往往会定义为 debezium-json，以便 Flink 能获得全面的 CDC 信息用于流上的实时处理，这种场景我们在 《Flink CDC 与 Kafka 集成：Snapshot 还是 Changelog？Upsert Kafka 还是 Kafka？》 一文的 ”测试组合(1)：connect
Flink 集成 Debezium Confluent Avro ( format=debezium-avro-confluent )
Laurence的技术博客
01-26 598
本文介绍的场景是：使用 Kafka Connect 的 Debezium MySQL Source Connector 将 MySQL 的 CDC 数据 （Avro 格式）接入到 Kafka 之后，通过 Flink 读取并解析这些 CDC 数据，其中，数据是以 Confluent 的 Avro 格式存储的，也就是说，Avro 格式的数据在写入到 Kafka 以及从 Kafka 读取时，都需要和 Confluent Schema Registry 进行交互，从而获取 Schema 信息，本文讨论的就是在这一场
debezium-datetime-converter:Debezium自定义转换器用于处理mysql datetime类型的问题
03-15
debezium-datetime-converter Debezium自定义转换器用于处理mysql datetime类型的问题 MySQL的 Binlog连接器 德比兹 德比兹图式 日期（2021-01-28） 本地日期（2021-01-28） 整数（18655） 碘化氢时间日期 时间（17:29:04） 期间（PT17H29M4S） 长（62944000000） （（持续时间）数据）.toNanos（）/ 1_000 时间戳记（2021-01-28 17:29:04） ZonedDateTime （2021-01-28T09：29：04Z） 细绳（2021-01-28T09：29：04Z） io.debezium.ZoneedTimestamp 约会时间（2021-01-28 17:29:04） LocalDateTime （2021-01-28T17：29
FlinkSQL 时间戳格式化时间
SunTecTec
01-30 1479
注意时间戳 10位 和 13位 的区别，一个是秒时间戳，一个是毫秒时间戳。
Flink SQL之常用函数(二)
marui156的专栏
07-20 7505
例如：select CURRENT_DATE;返回 2021-10-08例如：select CURRENT_TIME;返回 09:25:28.137例如：select CURRENT_TIMESTAMP;返回 2021-10-08T09:23:15.180 --注意和时区有关系例如：select LOCALTIMESTAMP;返回 2021-10-08T17:19:47.787例如：select LOCALTIME；返回 17:22:16.212。
FlinkSql函数
qq_36250202的博客
10-27 5518
rt AS TO_TIMESTAMP( FROM_UNIXTIME(ts) ) FROM_UNIXTIME 是系统内置的时间函数，用来将一个整数(秒数)转换成 “YYYY-MM-DD hh:mm:ss”格式(默认，也可以作为第二个 String 参数传入)的日期时间 字符串(date time string);然后再用 TO_TIMESTAMP 将其转换成 Timestamp ...
flinksql 日期格式数据总结
wppwpp1的专栏
01-28 9675
1、如果是毫秒直接乘以1000即可 select unix_timestamp(); 2、获取年月日时分秒格式的数据，以下三种都是一样的 select now(); --不带括号 select current_timestamp; --不带括号 select LOCALTIMESTAMP; 3、时间戳转换成年月日的 ...
大数据Flink（八十一）：SQL 时区问题
Lansonli（蓝深李）的博客
09-16 924
在北京时区的用户使用 TIMESTAMP(3) 类型的时间列开最常用的 1 天的窗口时，划分出来的窗口范围是北京时间的 [2022-01-01 08:00:00, 2022-01-02 08:00:00]，而不是北京时间的 [2022-01-01 00:00:00, 2022-01-02 00:00:00]。通过上述结果可见，使用处理时间进行开窗，在 UTC 时区下的计算结果与在 Asia/Shanghai 时区下计算的窗口开始时间，窗口结束时间和窗口的时间是不同的，都是按照时区进行格式化的。
用flinkcdc debezium来捕获数据库的删除内容
weixin_51981189的博客
01-22 1151
但是我现在情况是doris做为数仓，数据写到ods，ods的数据还会通过flink计算后写入dwd层，所以此时ods的数据是删除了，但是dwd甚至ads的都没删除，这样就会有脏数据。op ：表示当前事件的类型，取值为：c表示insert、u表示update、d表示delete、r表示快照read；正常情况下sqlserver有删除数据，doris是能捕获到并很快同步删除的。source：事件源的结构信息，包括connector版本、事务ID等；这样就可以获取到被删除的数据，或者是更新前的数据啦~
flink中的时间属性
SQL_mjkl963124412的博客
05-23 5362
1：时间的几种类型（官网概念） 1.1处理时间 指的是执行具体操作时的机器时间（大家熟知的绝对时间, 例如 Java的 System.currentTimeMillis()) ） 1.2事件事件 指的是执行具体操作时的机器时间（大家熟知的绝对时间, 例如 Java的 System.currentTimeMillis()) ） 2：时间窗口 flink提供了三种窗口函数分别是滚动窗口 ...
FlinkSql深入解析：内置与自定义函数详解
"这篇文档是关于FlinkSql中函数的介绍，主要涵盖了比较函数、逻辑函数、算术函数、字符串函数、时间函数以及聚合函数，并提到了用户定义函数（UDF）的重要性和使用方法。文档指出，FlinkTableAPI和SQL提供了一套完整...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

快乐骑行^_^

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值