Dinky + flink1.14 实时数据处理平台搭建

数据库搭建

1.安装MySql

版本8.0.26，安装步骤略。
2.开启binlog
相关的数据库都要开启binlog，如：

log_bin = 1
binlog_format = ROW
binlog_do_db = xxx

3.初始化Dinky数据脚本：

mysql -uroot -p123456
source /home/dlink.sql

其中dlink.sql在官方下载源码的时候有提供，http://www.dlink.top/download/dinky-0.7.2

 Dinky安装

docker run --restart=always -p 18888:8888 -p 18081:8081  -e MYSQL_ADDR=192.168.2.177:23406  -e MYSQL_USERNAME=root -e MYSQL_PASSWORD=234456 -e MYSQL_DATABASE=dlink  --name dinky  --network=dockermysqlmasterslave_overlay registry.cn-hangzhou.aliyuncs.com/dinky/dinky-standalone-server:0.7.2-flink14

• MYSQL_ADDR ： mysql地址，如 127.0.0.1:3306
• MYSQL_DATABASE ： 数据库名
• MYSQL_USERNAME ： 用户名
• MYSQL_PASSWORD ： 密码

Dinyk页面访问：http://192.168.2.177:18888

Flink1.14安装

采用docker-compose安装，命令如下

docker-compose up -d

其中compose文件内容如下：

version: "2.2"
services:
  jobmanager:
    image: flink:1.14.2-scala_2.12
    restart: "no"
    ports:
      - "28081:8081"
    command: jobmanager
    environment:
      - |
        FLINK_PROPERTIES=
        jobmanager.rpc.address: jobmanager
    networks:
      - overlay


  taskmanager:
    image: flink:1.14.2-scala_2.12
    depends_on:
      - jobmanager
    command: taskmanager
    restart: "no"
    scale: 2
    environment:
      - |
        FLINK_PROPERTIES=
        jobmanager.rpc.address: jobmanager
        taskmanager.numberOfTaskSlots: 8
    networks:
      - overlay

networks:
  overlay:

Flink 页面地址：http://192.168.2.177:28081/

Dinky配置

1.dinky与flink绑定

注册中心→集群管理→Flink 实例管理，添加一个集群实例

• 实例名称 ： 自定义
• 别名： 自定义
• 类型：选择Standlone，详细可参考：集群管理 | Dinky
• JobManager 高可用地址：flink地址，即：192.168.2.177:28081
• 是否启用：选择启用

JAR包复制

dlink-client-1.14-0.7.2.jar
dlink-client-base-0.7.2.jar
dlink-common-0.7.2.jar
flink-connector-jdbc_2.12-1.14.2.jar
flink-connector-kafka_2.11-1.14.0.jar
flink-sql-connector-mysql-cdc-2.3.0.jar
flink-table-api-java-bridge_2.12-1.14.2.jar
flink-table-common-1.14.2.jar
flink-table-planner_2.12-1.14.2.jar
flink-table-runtime_2.12-1.14.6.jar
jackson-annotations-2.14.0-rc2.jar
jackson-core-2.13.4.jar
jackson-databind-2.14.0-rc2.jar
jackson-dataformat-yaml-2.13.4.jar
jackson-datatype-jdk8-2.13.4.jar
jackson-datatype-jsr310-2.13.4.jar
jackson-module-parameter-names-2.13.4.jar
kafka-clients-2.4.1.jar
mysql-connector-java-8.0.26.jar

采用docker cp命令，将以上jar包复制到dinkg、flink容器面。
jar包复制到dinky

docker cp lib 6b212e52c0f0:/opt/dinky/plugins/flink1.14

jar包复制到flink jobmanager 和 flink taskmanager

docker cp lib  606f188f5641:/opt/flink/

 

到此已经安装完成了，可以进行数据开发了。