Flink集群部署详细步骤

1.下载Flink压缩包

下载地址：http://flink.apache.org/downloads.html。

我集群环境是hadoop2.6，Scala2.11版本的，所以下载的是：

flink-1.3.1-bin-hadoop26-scala_2.11.tgz。

2.解压

上传至五个节点的相同目录，执行如下命令解压：

tar xzf flink-1.3.1-bin-hadoop26-scala_2.11.tgz

3.配置master节点

选择一个 master节点(JobManager)然后在conf/flink-conf.yaml中设置jobmanager.rpc.address 配置项为该节点的IP 或者主机名。确保所有节点有有一样的jobmanager.rpc.address 配置。

4.配置slaves

将所有的 worker 节点 （TaskManager）的IP 或者主机名（一行一个）填入conf/slaves 文件中。

5.启动flink集群

bin/start-cluster.sh

6.注意

问https://ci.apache.org/projects/flink/flink-docs-release-1.0/setup/config.html查看更多可用的配置项。为了使Flink 更高效的运行，还需要设置一些配置项。

以下都是非常重要的配置项：

1、TaskManager总共能使用的内存大小（taskmanager.heap.mb）

2、每一台机器上能使用的 CPU 个数（taskmanager.numberOfTaskSlots）

3、集群中的总 CPU个数（parallelism.default）

4、临时目录（taskmanager.tmp.dirs）

7.示例

下面的例子阐述了三个节点的集群部署（IP地址从10.0.0.1 到10.0.0.3，主机名分别为master, worker1, worker2）。并且展示了配置文件，以及所有机器上一致的可访问的安装路径。 

8.Flink On Yarn配置

你可以很方便地将 Flink部署在现有的YARN集群上，操作如下：

1、下载 Flink Hadoop2包: Flink with Hadoop 2

2、确保你的 HADOOP_HOME (或YARN_CONF_DIR 或HADOOP_CONF_DIR) __环境变量__设置成你的YARN 和HDFS 配置。

3、运行 YARN客户端：./bin/yarn-session.sh。你可以带参数运行客户端 -n 10 -tm 8192表示分配 10个 TaskManager，每个拥有8 GB 的内存。

 

个人小站点：四川耍耍网 重庆耍耍网 成都耍耍网 川渝耍耍网 四川论坛 重庆论坛 www.cysua.com