docker-compose搭建flink

docker-compose搭建flink

环境：centos虚拟机

安装docker

卸载旧的版本

sudo yum remove docker \
                  docker-client \
                  docker-client-latest \
                  docker-common \
                  docker-latest \
                  docker-latest-logrotate \
                  docker-logrotate \
                  docker-engine安装需要的安装包

安装需要的安装包

yum install -y yum-utils

设置镜像的仓库（默认是国外的）

国外镜像服务器
$ sudo yum-config-manager \
    --add-repo \
    https://download.docker.com/linux/centos/docker-ce.repo
    
阿里云镜像服务器
$ sudo yum-config-manager \
    --add-repo \
    http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

安装最新版docker ce–社区版 ee–企业版

$ sudo yum install docker-ce docker-ce-cli containerd.io

启动docker

$ sudo systemctl start docker

hello world

$ sudo docker run hello-world

uninstall docker

$ sudo yum remove docker-ce docker-ce-cli containerd.io		卸载依赖

$ sudo rm -rf /var/lib/docker	删除资源	docker的默认工作路径

华为云镜像加速

运行以下四条命令：

sudo mkdir -p /etc/docker

sudo tee /etc/docker/daemon.json <<-'EOF'
{
"registry-mirrors": ["https://05d51f36428025e40fc5c01e17347a00.mirror.swr.myhuaweicloud.com"]
}
EOF

sudo systemctl daemon-reload

sudo systemctl restart docker

安装docker-compose

运行以下命令以下载 Docker Compose 的特定版本：

curl -L https://github.com/docker/compose/releases/download/1.24.1/docker-compose-`uname -s`-`uname -m` > /usr/local/bin/docker-compose

要安装其他版本的 Compose，请替换1.24.1

授权

sudo chmod +x /usr/local/bin/docker-compose

创建软链,这样我们就可以在任意目录下使用docker-compose命令啦

sudo ln -s /usr/local/bin/docker-compose /usr/bin/docker-compose

验证

docker-compose --version

出现如下字样则说明你的docker-compose安装成功啦!

docker-compose version 1.25.5, build xxxxx

搭建flink

使用docker拉取镜像

docker pull flink

镜像拉取好之后，检查一下：

docker image

新建文件夹docker-flink，文件夹下新建文件docker-compose.yml，内容如下：

version: "2.1"
services:
  jobmanager:
    image: flink
    expose:
      - "6123"
    ports:
      - "8081:8081"
    command: jobmanager
    environment:
      - JOB_MANAGER_RPC_ADDRESS=jobmanager
 
  taskmanager:
    image: flink
    expose:
      - "6121"
      - "6122"
    depends_on:
      - jobmanager
    command: taskmanager
    links:
      - "jobmanager:jobmanager"
    environment:
      - JOB_MANAGER_RPC_ADDRESS=jobmanager

启动docker-compose

docker-compose up -d

浏览器打开 http://127.0.0.1:8081 可以看到dashboard

这样环境就搭好了

进入容器中可以查看flink版本：flink --version