Flink 集群部署 之 设置谷歌计算引擎（Google Compute Engine Setup）

目录

环境准备

安装谷歌云SDK

安装 bdutil

部署 Flink 到 Google 计算引擎

Set up a bucket

调整bdutil配置

调整Flink配置

用Flink生成一个集群

Run a Flink example job:

Shut down your cluster

---

本文档提供了关于如何在谷歌计算引擎集群上使用 Hadoop1 或 Hadoop2 自动部署 Flink 的说明。这是由谷歌的 bdutil 实现的，它启动集群并使用 Hadoop 部署 Flink 。只需遵循下面的步骤。

环境准备

安装谷歌云SDK

请按照说明设置谷歌云SDK。特别是，请确保使用以下命令使用谷歌 Cloud 进行身份验证：

gcloud auth login

安装 bdutil

目前，还没有包含 Flink 扩展的 bdutil 版本。然而，你可以从 GitHub 获得最新版本的 bdutil 和 Flink 支持：

git clone https://github.com/GoogleCloudPlatform/bdutil.git

下载源代码之后，进入新创建的 bdutil 目录，并继续下一步。 

部署 Flink 到 Google 计算引擎

Set up a bucket

如果您还没有这样做，请为 bdutil 配置和暂存文件创建一个 bucket。可以用 gsutil 创建一个 gsutil：

gsutil mb gs://<bucket_name>

调整bdutil配置

要使用 bdutil 部署 Flink，至少要在 bdutil_env.sh 中调整以下变量。

CONFIGBUCKET="<bucket_name>"
PROJECT="<compute_engine_project_name>"
NUM_WORKERS=<number_of_workers>

# set this to 'n1-standard-2' if you're using the free trial
GCE_MACHINE_TYPE="<gce_machine_type>"

# for example: "europe-west1-d"
GCE_ZONE="<gce_zone>"

调整Flink配置

bdutil 的 Flink 扩展为您处理配置。您还可以在 extensions/flink/flink_env.sh 中调整配置变量。在使用 bin/stop-cluster 和 bin/start-cluster 更改其配置后，必须重新启动 Flink。

用Flink生成一个集群

要在谷歌计算引擎上启动Flink集群，请执行：

./bdutil -e extensions/flink/flink_env.sh deploy

Run a Flink example job:

./bdutil shell
cd /home/hadoop/flink-install/bin
./flink run ../examples/batch/WordCount.jar gs://dataflow-samples/shakespeare/othello.txt gs://<bucket_name>/output

Shut down your cluster

./bdutil -e extensions/flink/flink_env.sh delete