flink 基本

flink run /opt/flink-1.7.2/examples/batch/WordCount.jar -input hdfs://192.168.13.128:9000/input/myfile.txt -output hdfs://192.168.13.128:9000/output/result.txt

flink run ./SocketWindowWordCount.jar --port 9000

 

yarn-session.sh -n 2 -jm 1024 -tm 1024 -d
yarn application -kill application_1554952543204_0004

 

这个命令可以用来初始化一些flink项目，需要再maven里面修改flink的版本

mvn archetype:generate     -DarchetypeGroupId=org.apache.flink    -DarchetypeArtifactId=flink-quickstart-java    -DarchetypeVersion=1.0.0
 

 

flink stream的print是通过taskmanager打出来的，所以再client上是看不到的
翻滚时间窗口（Tumbling Time Window），每一分钟一个处理   timeWindow(Time.minutes(1))
Sliding Time Window,每30秒计算一次前一分钟的数据 timeWindow(Time.minutes(1), Time.seconds(30))

countWindow(100)   Tumbling Count Window
.countWindow(100, 10)   Sliding Count Window

多少秒没有活动则主动断开
ProcessingTimeSessionWindows.withGap(Time.seconds(30))

关于窗口有三个概念
Assigner, Trigger, Evictor
分配，触发，驱逐

所有的元素进来的时候都会经过Assigner,一个消息可以分配给不同的window，window看上去就是一个ID，保存的时候类似于一个id到具体内容的哈希

TaskManager（TM）在启动时，会先初始化NetworkEnvironment对象，TM 中所有与网络相关的东西都由该类来管理（如 Netty 连接）
StreamGraph：是根据用户通过 Stream API 编写的代码生成的最初的图。用来表示程序的拓扑结构。
JobGraph：StreamGraph经过优化后生成了 JobGraph，提交给 JobManager 的数据结构。主要的优化为，将多个符合条件的节点 chain 在一起作为一个节点，这样可以减少数据在节点之间流动所需要的序列化/反序列化/传输消耗。
ExecutionGraph：JobManager 根据 JobGraph 生成ExecutionGraph。ExecutionGraph是JobGraph的并行化版本，是调度层最核心的数据结构。
物理执行图：JobManager 根据 ExecutionGraph 对 Job 进行调度后，在各个TaskManager 上部署 Task 后形成的“图”，并不是一个具体的数据结构。

StreamGraph 是在 Client 端构造

DataStream 上常见的 transformation 有 map、flatmap、filter等（见DataStream Transformation了解更多）。这些transformation会构造出一棵 StreamTransformation 树，通过这棵树转换成 StreamGraph。比如 DataStream.map源码如下，其中SingleOutputStreamOperator为DataStream的子类：