- Flink提供的快速创建工程的方法:
- curl https://flink.apache.org/q/quickstart.sh | bash -s 1.10.0
- 自动生成的项目 pom.xml 文件中对于 Flink 的依赖注释掉 scope
- DataSet WordCount
- DataStream WordCount
- 问题1:使用 netcat 命令启动一个端口
windows环境下:nc -lk 9000要改为nc -L -v -p 9000
- 问题2:尽量使用Java原生的函数,不要过多使用lambda
因为可能会无法判断某个参数的类型,比如Collector
- 问题3: Connection refused: connect,连接拒绝
添加上.keyBy().timeWindow().reduce()函数之导致的,暂时未查明原因
- 问题1:使用 netcat 命令启动一个端口
- Flink Table & SQL WordCount
- 一个完整的 Flink SQL 编写的程序包括如下三部分:
- Source Operator:是对外部数据源的抽象, 目前 Apache Flink 内置了很多常用的数据源实现,比如 MySQL、Kafka 等。
- Transformation Operators:算子操作主要完成比如查询、聚合操作等,目前 Flink SQL 支持了 Union、Join、Projection、Difference、Intersection 及 window 等大多数传统数据库支持的操作。
- Sink Operator:是对外结果表的抽象
- 一个完整的 Flink SQL 编写的程序包括如下三部分:
- 代码地址
Flink 入门程序 WordCount 和 SQL 实现
最新推荐文章于 2024-02-07 17:40:15 发布