docker-compose 部署 Flink集群

最新推荐文章于 2024-03-03 09:38:18 发布
最新推荐文章于 2024-03-03 09:38:18 发布
阅读量294 收藏
点赞数
分类专栏： Flink 文章标签： docker flink java
本文为博主(凯)原创文章，转载请注明出处。
本文链接：https://blog.csdn.net/zhangkaiadl/article/details/129711033
版权
  • docker- compose.yaml
version: "3"

services:
  jobmanager:
    image: flink:latest
    container_name: flink-jobmanager
    command: jobmanager
    expose:
      - "6123"
    ports:
      - "8081:8081"
    volumes:
      - ./lib/flink-sql-connector-mysql-cdc-2.3.0.jar:/opt/flink/lib/flink-sql-connector-mysql-cdc-2.3.0.jar
      - ./lib/flink-connector-jdbc_2.12-1.14.6.jar:/opt/flink/lib/flink-connector-jdbc_2.12-1.14.6.jar
      - ./lib/mysql-connector-java-8.0.30.jar:/opt/flink/lib/mysql-connector-java-8.0.30.jar
    environment:
      - TZ:Asia/Shanghai
      - |
        FLINK_PROPERTIES=
        jobmanager.rpc.address: jobmanager
  taskmanager:
    image: flink:latest
    command: taskmanager
    expose:
      - "6121"
      - "6122"
    scale: 2
    depends_on:
       - jobmanager
    volumes:
      - ./lib/flink-sql-connector-mysql-cdc-2.3.0.jar:/opt/flink/lib/flink-sql-connector-mysql-cdc-2.3.0.jar
      - ./lib/flink-connector-jdbc_2.12-1.14.6.jar:/opt/flink/lib/flink-connector-jdbc_2.12-1.14.6.jar
      - ./lib/mysql-connector-java-8.0.30.jar:/opt/flink/lib/mysql-connector-java-8.0.30.jar
    environment:
      - TZ:Asia/Shanghai
      - |
        FLINK_PROPERTIES=
        jobmanager.rpc.address: jobmanager
        taskmanager.numberOfTaskSlots: 50
凯丨
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
docker-flink:使用 Docker-Compose 在 Docker 容器中部署 Apache Flink 集群
06-17
#Apache Flink 集群部署在 Docker 上使用 Docker-Compose ##安装###安装Docker 如果您遇到与 Docker 版本不兼容的 Docker-Compose 版本问题，请尝试 curl -sSL https://get.docker.com/ubuntu/ | sudo sh ###Install Docker-Compose curl -L https://github.com/docker/compose/releases/download/1.1.0/docker-compose-`uname -s`-`uname -m` > /usr/local/bin/docker-compose chmod +x /usr/local/bin/docker-compose ###获取repo ###构建图像 图像基于 Ubuntu Trusty
flink集群(docker版)配置及使用
03-16 2413
的启用、存储方式、存储位置，在应用代码中配置，其中存储方式、存储位置，也可以在flink-conf.yaml文件中通过state.backend、state.checkpoints.dir参数配置全局参数，但应用代码中配置优先级更高。(3) Flink Checkpoint是Flink自身的系统行为，用户无法对其进行交互，用户可以在程序启动之前，设置好实时程序Checkpoint相关参数，当程序启动之后，剩下的就全交给Flink自行管理。Checkpoint是增量做的，每次的时间较短，数据量较小。
docker-compose部署flink集群，外部挂载flink配置
半岛落枫的博客
03-13 3443
flink集群部署 拉取flink镜像 docker pull flink 自定义创建目录（例如/usr/local/flink/flink-docker） mdkir /usr/local/flink/flink-docker 在上述目录，创建文件docker-compose.yml version: "2.1" services: jobmanager: image: flink expose: - "6123" ports: - "8
使用Docker快速部署Flink分布式集群
最新发布
敏叔
03-03 1696
本文其实是介绍了最长见的两种使用docker的场景，一个是自己开发的程序如何用docker跑起来，第二是使用现成的容器更快速让我们入门。这两种方式在以后会经常碰到。
docker-compose 部署flink集群
debby
04-12 1597
docker-compose常用命令：https://blog.csdn.net/qq_42267173/article/details/124687804。解决参考：https://blog.csdn.net/xiojing825/article/details/79494408。docker-compose up -d 后台运行，这个一遍在生产环境使用。
flink docker-compose 配置
u013257767的博客
12-05 707
version: "2.1" services: jobmanager: image: flink expose: - "6123" ports: - "8081:8081" command: jobmanager environment: - JOB_MANAGER_RPC_ADDRESS=jobmanager - TZ=Asia/Shanghai deploy: resources:
【云原生】Docker-compose部署flink
大壮
01-12 1769
Apache Flink的数据流编程模型在有限和无限数据集上提供单次事件（event-at-a-time）处理。在基础层面，Flink程序由流和转换组成。Apache Flink的API：有界或无界数据流的数据流API、用于有界数据集的数据集API、表API。[3]数据流的运行流程Flink程序在执行后被映射到流数据流，每个Flink数据流以一个或多个源（数据输入，例如消息队列或文件系统）开始，并以一个或多个接收器（数据输出，如消息队列、文件系统或数据库等）结束。
docker搭建flink集群
javajy的博客
06-11 980
注意：云服务器需要设置安全策略放行8081端口，否则访问失败。注意：docker-compose.yml文件同级目录执行。需要设置安全策略放行8081端口，否则访问失败。编写yaml配置文件。
docker-compose安装包
12-19
Docker-Compose项目是Docker官方的开源项目，负责实现对Docker容器集群的快速编排。 Docker-Compose将所管理的容器分为三层，分别是工程（project），服务（service）以及容器（container）。Docker-Compose运行目录...
docker-compose部署code-server配置文件详情
06-15
code-server部署在docker上需要的配置文件，一件部署，实现在线编码
linux + docker-compose 部署 jar + dist 案例
03-08
linux + docker-compose 部署 jar + dist 案例
canal\rocketmq\flink的docker-compose文件
04-10
附件为docker-compose.yml文件及相关的配置文件，仅需修改mq的broker文件里的ip,就能一键启动canal\mq\flink的环境
flink-sql-demo-docker-compose.yml
08-31
flink-sql-demo flink-sql-demo 一个yml文件 部署集群 打开可以看到 备份
Flink集群安装部署.txt
07-29
Flink集群安装部署,
利用docker和docker-compose部署单机kafka
01-20
其中docker-compose不是必须的,单单使用docker也是可以的,这里主要介绍docker和docker-compose两种方式 docker部署 docker部署kafka非常简单，只需要两条命令即可完成kafka服务器的部署。 docker run -d --name ...
Docker-compose部署flink
MLn Blog
03-01 3353
一、简写安装 Docker及docker-compose 在 docker-compose部署kafka一文中以简单介绍了Docker及docker-compose的安装，在这里就不再赘述了，让我们直接步入主题。 二、通过docker-compose部署flink 可参考 https://hub.docker.com/_/flink/ 1. docker-compose.yml脚本创建 Flink...
docker-compose搭建flink
zyq357的博客
03-21 1799
docker-compose搭建flink 环境：centos虚拟机 安装docker 卸载旧的版本 sudo yum remove docker \ docker-client \ docker-client-latest \ docker-common \ docker-latest \ docker-latest-logro
flink docker compose
wurd的博客
01-25 2291
docker-compse.yml # docker-compose -p flink-1 up -d version: "3.8" services: jobmanager: image: ${FLINK_DOCKER_IMAGE_NAME:-my-flink} container_name: flink-jobmanager1 privileged: true expose: - "6123" ports: - "8081:8081"...
使用docker-compose 部署flink集群 并映射数据目录 暴漏端口
03-30
以下是一个使用docker-compose部署Flink集群并映射数据目录和暴露端口的示例： ``` version: '3' services: jobmanager: image: flink:1.13.0-scala_2.11 expose: - "6123" ports: - "8081:8081" command: jobmanager volumes: - ./data:/data environment: - JOB_MANAGER_RPC_ADDRESS=jobmanager - FLINK_PROPERTIES=jobmanager.rpc.address: jobmanager taskmanager: image: flink:1.13.0-scala_2.11 expose: - "6121" - "6122" depends_on: - jobmanager command: taskmanager volumes: - ./data:/data environment: - JOB_MANAGER_RPC_ADDRESS=jobmanager - FLINK_PROPERTIES=jobmanager.rpc.address: jobmanager ``` 在上面的示例中，我们使用Flink 1.13.0的官方Docker镜像。我们定义了两个服务：`jobmanager`和`taskmanager`。`jobmanager`服务暴露了Flink的默认RPC端口6123，并将Web UI端口8081映射到主机的8081端口，以便我们可以在Web浏览器中访问它。`taskmanager`服务暴露了两个端口：6121和6122。 我们还将`./data`目录映射到容器内部的`/data`目录中，以便我们可以在主机上访问Flink的数据目录。最后，我们在`jobmanager`和`taskmanager`服务的环境变量中设置了`JOB_MANAGER_RPC_ADDRESS`和`FLINK_PROPERTIES`，以确保它们正确连接到Flink集群。 要启动Flink集群，请使用以下命令： ``` docker-compose up -d ``` 这将启动`jobmanager`和`taskmanager`服务，并将它们连接成一个Flink集群。要停止Flink集群，请使用以下命令： ``` docker-compose down ``` 这将停止并删除所有Flink容器和网络。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值