flink sql脚本

本文介绍了在Flink 1.9.0版本中,使用Flink SQL客户端进行数据处理的限制,重点是通过自定义jar包执行CREATE TABLE的DDL语句。内容包括提供了一个test.sql示例脚本,以及run.sh执行脚本的说明,并分享了GitHub项目链接,用于演示如何基于时间消费Kafka数据。
摘要由CSDN通过智能技术生成
  • flink version:1.9.0

flink sql client不支持CREATE TABLE的DDL语句,Table api是支持的。
可以自己写一个提交sql的jar包练习下,学习基于flink1.9如何使用flink sql。

  • 主要代码
public class SqlSubmit {
   

    /**
     * run flink sql
     * @param sqls
     * @throws Exception
     */
    public void run(List<String> sqls)throws Exception {
   

        final EnvironmentSettings settings = EnvironmentSettings
                .newInstance()
                .useBlinkPlanner()
                .inStreamingMode()
                .build();
        final TableEnvironment tableEnv = TableEnvironment.create(settings);
        //sql文本中只有create、insert语句
        for (String sql : sqls) {
   
            tableEnv.sqlUpdate(sql);
        }

        tableEnv.execute("submit sql job");

    }

    public static void main(String[] args) throws Exception {
   

        if 
Flink SQL(也称为Apache Flink SQL)是一种用于处理流数据和批处理数据的强大工具,它允许用户通过SQL语法编写数据同步脚本Flink SQL支持从多种数据源读取数据,并将结果写入到其他存储系统,如HDFS、MySQL、Kafka等。编写Flink SQL数据同步脚本主要包括以下几个步骤: 1. **连接源和目标**: 使用`CREATE TABLE`或`INSERT INTO`语句定义源表(通常是从外部数据源)和目标表(通常是内部或持久化的表)。 ```sql CREATE TABLE source_table ( column1 STRING, column2 INT, //... ) WITH ( 'connector' = 'jdbc', -- 或者 'kafka', 'hdfs' 'url' = '<source_url>', 'table-name' = '<source_table_name>' ); INSERT INTO sink_table SELECT * FROM source_table; ``` 2. **设置模式和转换**: 可能需要对源数据进行过滤、映射、聚合或其他操作。Flink SQL提供了丰富的函数和窗口功能。 ```sql SELECT column1, SUM(column2) as total_sum FROM source_table GROUP BY window(start_time, INTERVAL '5' MINUTE) ``` 3. **配置作业**: 设置并行度、检查点策略和错误恢复选项等,以优化性能和容错性。 ```sql SET parallelism = <parallelism>; SET checkpoint.interval = <interval>; ``` 4. **运行任务**: 调用`executeSql()`或`submitJob()`来启动Flink SQL作业。 ```java StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); TableEnvironment tEnv = StreamTableEnvironment.create(env); tEnv.executeSql("your Flink SQL script"); ```
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值