Seatunnel系列之：部署Seatunnel

最新推荐文章于 2024-07-02 14:20:53 发布
最新推荐文章于 2024-07-02 14:20:53 发布
阅读量2.1k 收藏 16
点赞数 20
分类专栏： 日常分享专栏 文章标签： Seatunnel系列 部署Seatunnel
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhengzaifeidelushang/article/details/136669529
版权
本文详细介绍了如何在本地部署SeaTunnel，包括准备环境（如Java安装）、下载SeaTunnel、安装连接器插件，以及如何为Flink和Spark应用配置并运行SeaTunnel。教程涵盖了quick-start步骤，展示了配置文件的示例和运行过程中的日志输出。
摘要由CSDN通过智能技术生成

Seatunnel系列之：部署Seatunnel

一、步骤一：准备环境

在开始本地运行之前，您需要确保您已经安装了 SeaTunnel 所需的以下软件：

  • 安装Java（Java 8或11，高于Java 8的其他版本理论上也可以工作）并设置JAVA_HOME。

二、步骤二：下载SeaTunnel

进入seatunnel下载页面，下载最新版本的分发包seatunnel--bin.tar.gz

或者您可以通过终端下载

export version="2.3.4"
wget "https://archive.apache.org/dist/seatunnel/${version}/apache-seatunnel-${version}-bin.tar.gz"
tar -xzvf "apache-seatunnel-${version}-bin.tar.gz"

三、步骤三：安装连接器插件

从2.2.0-beta开始，二进制包默认不提供连接器依赖，所以第一次使用时，需要执行以下命令安装连接器：（当然也可以手动下载连接器从 Apache Maven 存储库下载，然后手动移动到连接器/seatunnel 目录）。

sh bin/install-plugin.sh 2.3.4

如果需要指定连接器的版本，以2.3.4为例，需要执行

sh bin/install-plugin.sh 2.3.4

通常你不需要所有的connector插件，所以你可以通过配置config/plugin_config来指定你需要的插件，例如你只需要connector-console插件，那么你可以修改plugin.properties为

--seatunnel-connectors--
connector-console
--end--

如果您想让示例应用程序正常工作，您需要添加以下插件

--seatunnel-connectors--
connector-fake
connector-console
--end--

您可以在下面找到所有支持的连接器和相应的plugin_config配置名称
${SEATUNNEL_HOME}/connectors/plugins-mapping.properties.

注意：

如果您想通过手动下载连接器来安装连接器插件，则需要特别注意以下事项

Connectors目录包含以下子目录，如果不存在，需要手动创建

flink
flink-sql
seatunnel
spark

如果您想手动安装V2连接器插件，只需下载您需要的V2连接器插件并将其放在seatunnel目录中

四、quick-start-seatunnel-engine

1.添加作业配置文件来定义作业

编辑config/v2.batch.config.template，决定了seatunnel启动后数据输入、处理、输出的方式和逻辑。以下是配置文件的示例，与上面提到的示例应用程序相同。

env {
  parallelism = 1
  job.mode = "BATCH"
}

source {
  FakeSource {
    result_table_name = "fake"
    row.num = 16
    schema = {
      fields {
        name = "string"
        age = "int"
      }
    }
  }
}

transform {
  FieldMapper {
    source_table_name = "fake"
    result_table_name = "fake1"
    field_mapper = {
      age = age
      name = new_name
    }
  }
}

sink {
  Console {
    source_table_name = "fake1"
  }
}

2.运行 SeaTunnel 应用程序

您可以通过以下命令启动应用程序

cd "apache-seatunnel-${version}"
./bin/seatunnel.sh --config ./config/v2.batch.config.template -e local

查看输出：运行命令时，您可以在控制台中看到其输出。您可以认为这是命令运行成功与否的标志。

SeaTunnel 控制台将打印一些日志，如下所示：

2022-12-19 11:01:45,417 INFO  org.apache.seatunnel.connectors.seatunnel.console.sink.ConsoleSinkWriter - output rowType: name<STRING>, age<INT>
2022-12-19 11:01:46,489 INFO  org.apache.seatunnel.connectors.seatunnel.console.sink.ConsoleSinkWriter - subtaskIndex=0 rowIndex=1:  SeaTunnelRow#tableId=-1 SeaTunnelRow#kind=INSERT: CpiOd, 8520946
2022-12-19 11:01:46,490 INFO  org.apache.seatunnel.connectors.seatunnel.console.sink.ConsoleSinkWriter - subtaskIndex=0 rowIndex=2: SeaTunnelRow#tableId=-1 SeaTunnelRow#kind=INSERT: eQqTs, 1256802974
2022-12-19 11:01:46,490 INFO  org.apache.seatunnel.connectors.seatunnel.console.sink.ConsoleSinkWriter - subtaskIndex=0 rowIndex=3: SeaTunnelRow#tableId=-1 SeaTunnelRow#kind=INSERT: UsRgO, 2053193072
2022-12-19 11:01:46,490 INFO  org.apache.seatunnel.connectors.seatunnel.console.sink.ConsoleSinkWriter - subtaskIndex=0 rowIndex=4: SeaTunnelRow#tableId=-1 SeaTunnelRow#kind=INSERT: jDQJj, 1993016602
2022-12-19 11:01:46,490 INFO  org.apache.seatunnel.connectors.seatunnel.console.sink.ConsoleSinkWriter - subtaskIndex=0 rowIndex=5: SeaTunnelRow#tableId=-1 SeaTunnelRow#kind=INSERT: rqdKp, 1392682764
2022-12-19 11:01:46,490 INFO  org.apache.seatunnel.connectors.seatunnel.console.sink.ConsoleSinkWriter - subtaskIndex=0 rowIndex=6: SeaTunnelRow#tableId=-1 SeaTunnelRow#kind=INSERT: wCoWN, 986999925
2022-12-19 11:01:46,490 INFO  org.apache.seatunnel.connectors.seatunnel.console.sink.ConsoleSinkWriter - subtaskIndex=0 rowIndex=7: SeaTunnelRow#tableId=-1 SeaTunnelRow#kind=INSERT: qomTU, 72775247
2022-12-19 11:01:46,490 INFO  org.apache.seatunnel.connectors.seatunnel.console.sink.ConsoleSinkWriter - subtaskIndex=0 rowIndex=8: SeaTunnelRow#tableId=-1 SeaTunnelRow#kind=INSERT: jcqXR, 1074529204
2022-12-19 11:01:46,490 INFO  org.apache.seatunnel.connectors.seatunnel.console.sink.ConsoleSinkWriter - subtaskIndex=0 rowIndex=9: SeaTunnelRow#tableId=-1 SeaTunnelRow#kind=INSERT: AkWIO, 1961723427
2022-12-19 11:01:46,490 INFO  org.apache.seatunnel.connectors.seatunnel.console.sink.ConsoleSinkWriter - subtaskIndex=0 rowIndex=10: SeaTunnelRow#tableId=-1 SeaTunnelRow#kind=INSERT: hBoib, 929089763
2022-12-19 11:01:46,490 INFO  org.apache.seatunnel.connectors.seatunnel.console.sink.ConsoleSinkWriter - subtaskIndex=0 rowIndex=11: SeaTunnelRow#tableId=-1 SeaTunnelRow#kind=INSERT: GSvzm, 827085798
2022-12-19 11:01:46,491 INFO  org.apache.seatunnel.connectors.seatunnel.console.sink.ConsoleSinkWriter - subtaskIndex=0 rowIndex=12: SeaTunnelRow#tableId=-1 SeaTunnelRow#kind=INSERT: NNAYI, 94307133
2022-12-19 11:01:46,491 INFO  org.apache.seatunnel.connectors.seatunnel.console.sink.ConsoleSinkWriter - subtaskIndex=0 rowIndex=13: SeaTunnelRow#tableId=-1 SeaTunnelRow#kind=INSERT: EexFl, 1823689599
2022-12-19 11:01:46,491 INFO  org.apache.seatunnel.connectors.seatunnel.console.sink.ConsoleSinkWriter - subtaskIndex=0 rowIndex=14: SeaTunnelRow#tableId=-1 SeaTunnelRow#kind=INSERT: CBXUb, 869582787
2022-12-19 11:01:46,491 INFO  org.apache.seatunnel.connectors.seatunnel.console.sink.ConsoleSinkWriter - subtaskIndex=0 rowIndex=15: SeaTunnelRow#tableId=-1 SeaTunnelRow#kind=INSERT: Wbxtm, 1469371353
2022-12-19 11:01:46,491 INFO  org.apache.seatunnel.connectors.seatunnel.console.sink.ConsoleSinkWriter - subtaskIndex=0 rowIndex=16: SeaTunnelRow#tableId=-1 SeaTunnelRow#kind=INSERT: mIJDt, 995616438

五、quick-start-flink

1.部署和配置Flink

请先下载Flink（要求版本>=1.12.0）。

配置 SeaTunnel：更改 config/seatunnel-env.sh 中的设置，它基于引擎在部署时安装的路径。将 FLINK_HOME 更改为 Flink 部署目录。

2.添加作业配置文件来定义作业

编辑config/v2.streaming.conf.template，决定了seatunnel启动后数据输入、处理、输出的方式和逻辑。以下是配置文件的示例，与上面提到的示例应用程序相同。

env {
  parallelism = 1
  job.mode = "BATCH"
}

source {
  FakeSource {
    result_table_name = "fake"
    row.num = 16
    schema = {
      fields {
        name = "string"
        age = "int"
      }
    }
  }
}

transform {
  FieldMapper {
    source_table_name = "fake"
    result_table_name = "fake1"
    field_mapper = {
      age = age
      name = new_name
    }
  }
}

sink {
  Console {
    source_table_name = "fake1"
  }
}

3.运行 SeaTunnel 应用程序

您可以通过以下命令启动应用程序

flink 版本在 1.12.x 和 1.14.x 之间

cd "apache-seatunnel-${version}"
./bin/start-seatunnel-flink-13-connector-v2.sh --config ./config/v2.streaming.conf.template

flink 版本在 1.15.x 和 1.16.x 之间

cd "apache-seatunnel-${version}"
./bin/start-seatunnel-flink-15-connector-v2.sh --config ./config/v2.streaming.conf.template

查看输出：运行命令时，您可以在控制台中看到其输出。您可以认为这是命令运行成功与否的标志。

SeaTunnel 控制台将打印一些日志，如下所示：

fields : name, age
types : STRING, INT
row=1 : elWaB, 1984352560
row=2 : uAtnp, 762961563
row=3 : TQEIB, 2042675010
row=4 : DcFjo, 593971283
row=5 : SenEb, 2099913608
row=6 : DHjkg, 1928005856
row=7 : eScCM, 526029657
row=8 : sgOeE, 600878991
row=9 : gwdvw, 1951126920
row=10 : nSiKE, 488708928
row=11 : xubpl, 1420202810
row=12 : rHZqb, 331185742
row=13 : rciGD, 1112878259
row=14 : qLhdI, 1457046294
row=15 : ZTkRx, 1240668386
row=16 : SGZCr, 94186144

六、quick-start-spark

1.Spark的部署和配置

请先下载Spark（要求版本>=2.4.0）。

配置 SeaTunnel：更改 config/seatunnel-env.sh 中的设置，它基于引擎在部署时安装的路径。将 SPARK_HOME 更改为 Spark 部署目录。

2.添加作业配置文件来定义作业

编辑config/seatunnel.streaming.conf.template，决定了seatunnel启动后数据输入、处理、输出的方式和逻辑。以下是配置文件的示例，与上面提到的示例应用程序相同。

env {
  parallelism = 1
  job.mode = "BATCH"
}

source {
  FakeSource {
    result_table_name = "fake"
    row.num = 16
    schema = {
      fields {
        name = "string"
        age = "int"
      }
    }
  }
}

transform {
  FieldMapper {
    source_table_name = "fake"
    result_table_name = "fake1"
    field_mapper = {
      age = age
      name = new_name
    }
  }
}

sink {
  Console {
    source_table_name = "fake1"
  }
}

3.运行 SeaTunnel 应用程序

您可以通过以下命令启动应用程序

spark 2.4.x

cd "apache-seatunnel-${version}"
./bin/start-seatunnel-spark-2-connector-v2.sh \
--master local[4] \
--deploy-mode client \
--config ./config/v2.streaming.conf.template

spark3.x.x

cd "apache-seatunnel-${version}"
./bin/start-seatunnel-spark-3-connector-v2.sh \
--master local[4] \
--deploy-mode client \
--config ./config/v2.streaming.conf.template

查看输出：运行命令时，您可以在控制台中看到其输出。您可以认为这是命令运行成功与否的标志。

SeaTunnel 控制台将打印一些日志，如下所示：

fields : name, age
types : STRING, INT
row=1 : elWaB, 1984352560
row=2 : uAtnp, 762961563
row=3 : TQEIB, 2042675010
row=4 : DcFjo, 593971283
row=5 : SenEb, 2099913608
row=6 : DHjkg, 1928005856
row=7 : eScCM, 526029657
row=8 : sgOeE, 600878991
row=9 : gwdvw, 1951126920
row=10 : nSiKE, 488708928
row=11 : xubpl, 1420202810
row=12 : rHZqb, 331185742
row=13 : rciGD, 1112878259
row=14 : qLhdI, 1457046294
row=15 : ZTkRx, 1240668386
row=16 : SGZCr, 94186144
最笨的羊羊
关注
  • 20
    点赞
  • 踩
  • 16
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
seatunnel 2.1.3版本bin包
04-23
seatunnel 2.1.3版本bin包
seatunnel 2.3.3安装&seatunnel web安装部署
09-22
seatunnel 2.3.3安装&seatunnel web安装部署
Seatunnel本地模式快速测验
最新发布
欲望以提升热忱 毅力以磨平高山
07-02 906
本节主要总结了单机模式下使用 seatunel完成官方示例程序，初步体会使用，其实使用起来还是很简单的，模式同我之前介绍的 DataX如出一辙，可喜的是它有自己的 web页面可以配置，因此后面我将分享下如何在页面中进行配置同步任务，最后时间允许的情况下，分析起优秀的源码设计思路，千里之行始于足下，要持续学习，持续成长，然后持续分享，再会～。
seatunnel-web-main
09-18
SeaTunnel-UI数据集成系统 系统主要有任务配置，任务实例，数据源，虚拟表，用户管理等功能
SeaTunnel及SeaTunnel Web部署指南(小白版)
热门推荐
最爱嫣夜来
11-23 1万+
现在你能搜索到的SeaTunnel的安装。部署基本都有坑，官网的文档也是见到到相当于没有，基本很难找到一个适合新手小白第一次上手就能成功安装部署的版本，于是就有了这个部署指南的分享，小主已经把可能遇到的坑都填过了，希望大家都能安安稳稳上路，不掉坑，话不多说，走起~
基于Seatunnel最新2.3.5版本分布式集群安装部署指南(小白版)
最爱嫣夜来
06-07 2398
因为我这里已经按照了hadoop的集群， 可以直接使用HDFS api 读写文件,存储直接使用默认的HDFS，当然你也可以使用其他的存储类型，具体的参数配置可以参考官网说明。我这里已经安装部署了spark和Flink集群， 所以不需要再进行spark集群的部署配置了，这里直接说明如何完成基于spark/Flink引擎的Seatunnel集群配置。其他这个也很简单， 我们只需要修改seatunnel的环境配置脚本即可，将里面的spark的安装目录路径修改成我们本地的spark安装目录即可。
Seatunnel原理、安装、使用
02-27
Seatunnel原理、安装、使用
Apache SeaTunnel：新一代高性能、分布式、海量数据集成工具从入门到实践
分享云原生大数据技术和个人成长、职业发展相关内容
11-08 8807
本文介绍Apache SeaTunnel 以及关于Apache SeaTunnel的部署和使用。 Apache SeaTunnel是新一代高性能、分布式、海量数据集成工具，支持上百种数据源 ( Database/Cloud/SaaS ) 支持海量数据的实时 CDC 和批量同步，可以稳定高效地同步万亿级数据，
深入理解SeaTunnel：易用、高性能、支持实时流式和离线批处理的海量数据集成平台
zhengzaifeidelushang的博客
05-02 6896
编辑config/v2.batch.config.template，决定了seatunnel启动后数据输入、处理、输出的方式和逻辑。下面是一个配置文件的例子，和上面提到的例子应用是一样的。env {fields {Console {} }编辑config/v2.streaming.conf.template，决定了seatunnel启动后数据输入、处理、输出的方式和逻辑。下面是一个配置文件的例子，和上面提到的例子应用是一样的。
部署SeaTunnel分布式集群
zhengzaifeidelushang的博客
05-02 5960
基于Hazelcast，SeaTunnel Engine 集群是运行 SeaTunnel Engine Server 的集群成员网络。只需要将$SEATUNNEL_HOMESeaTunnel Engine节点上的目录复制到Client节点，并配置SEATUNNEL_HOME类似的SeaTunnel Engine Server节点即可。这个参数主要是用来做集群隔离的，我们可以用这个来区分不同的集群，比如cluster1，cluster2，这个也用来区分不同的业务。N是集群节点的编号。
Seatunnel超高性能分布式数据集成平台使用体会
itxiaoshen博客
08-27 6906
有Sqoop和DataX之类数据处理为何还要用Apache SeaTunnel，这就要得益于Apache SeaTunnel依赖Flink和Spark天然分布式处理数据的特性，前两者是单机同步数据不适于海量数据同步，以低代码方式用配置文件就可以启动Flink数据处理应用，本篇从基本概念和原理入手，并通过部署SeaTunnel演示了多个基于Flink的Source和Sink配置，基本掌握如何编写配置使用。............
seatunnel-1.5.7
10-11
《Seatunnel：大数据处理的灵活管道》 Seatunnel，又称为海豚隧道，是一个轻量级、易用的大数据处理框架，专为数据预处理和流处理设计。它以其强大的功能和灵活性，使得数据工程师能够高效地构建数据流水线。在 ...
数据同步工具对比——SeaTunnel 、DataX、Sqoop、Flume、Flink CDC
不才伟才的博客
02-07 5147
SeaTunnel是一个分布式、高性能、支持多种数据源之间高效数据同步的开源工具。它旨在解决大数据处理过程中的数据同步问题，支持实时数据处理和批量数据处理，提供了丰富的数据源连接器，包括Kafka、HDFS、JDBC等。DataX是阿里巴巴开源的一个异构数据源离线同步工具，主要用于在各种异构数据源之间高效的进行数据同步，支持包括MySQL、Oracle、HDFS、Hive等在内的多种数据源。Sqoop是一款开源的工具，用于在Hadoop和关系型数据库之间高效地传输数据。
【安装部署】Apache SeaTunnel 和 Web快速安装详解
weixin_54625990的博客
04-16 1010
版本说明 由于作者目前接触当前最新版本为2.3.4 但是官方提供的web版本未1.0.0，不兼容2.3.4，因此这里仍然使用2.3.3版本。 可以自定义兼容处理，官方提供了文档：https://mp.weixin.qq.com/s/Al1VmBoOKu2P02sBOTB6DQ 因为大部分用户使用SeaTunnel Web都是基于SeaTunnel-2.3.3 版本做的适配,而最新发布的SeaTunnel2.3.4部分API发生了改动导致直接升级的过程中会出现API不兼容的问题，所以本篇文章重点来了:我们需要
Seatunnel-2.3.3 自打包 docker部署（含web）
qq_39820568的博客
04-28 1503
此篇重点是，自己将源码编译后，将打包文件部署在docker里（也可以直接用官网的）如果也有人是希望，将自己打包的源码部署了，可以参考可乐的这篇文章，这篇文章详细介绍了2.3.3的serve和web的源码启动流程。
转载：Apache SeaTunnel Web 安装部署指南
smile6868的博客
02-23 283
由于时间仓促，如有错误，敬请指正，作者系Apache SeaTunnel社区的一名用户，也欢迎大家一起共建社区！将相关jar包复制到/opt/seatunnel/web/apache-seatunnel-web-1.0.0-bin/libs。在SeaTunnel的Web端机器上需要部署SeaTunnel客户端，如果服务端与Web端在同一台机器，则可跳过此步。Apache SeaTunnel里面的Connector对应的jar包需要自己下载，在下载之前先看看其下载逻辑。
一文搞定 Apache SeaTunnel 2.3.1 全流程部署使用
weixin_54625990的博客
06-07 2561
点击蓝字 关注我们作者 |caoyongfei部署1下载解压https://dlcdn.apache.org/incubator/SeaTunnel/2.3.1/apache-SeaTunnel-incubating-2.3.1-bin.tar.gz下载完毕之后上传到服务器上面并解压# 解压到了/opt/module目录下 tar -zxvf apache-SeaTunnel-incubatin...
SeaTunnel集群安装部署
Jenya's blog
08-31 3234
SeaTunnel集群安装部署
seatunnel webui安装部署
10-27
seatunnel webui是一个基于Web的用户界面，用于安装和部署seatunnel软件。下面是使用300字中文的回答： seatunnel webui的安装部署非常简单。首先，您需要确保您的服务器上已经安装了docker和docker-compose。然后，您可以通过git将seatunnel webui源代码克隆到您的服务器上。 接下来，在您的服务器上创建一个名为.env的文件，并在其中设置必要的环境变量，如数据库连接信息和服务器端口号等。 然后，打开终端并导航到seatunnel webui的源代码目录中。在这里，您可以使用docker-compose命令构建和启动seatunnel webui容器。只需运行"docker-compose up"命令，docker会自动拉取和构建镜像，并启动容器。 一旦容器启动成功，您可以通过浏览器访问http://localhost:8080来访问seatunnel webui。在第一次访问时，您将被要求创建一个管理员账户和密码。完成后，您将被重定向到seatunnel webui的登录页面。 在登录后，您将能够通过seatunnel webui管理和监控您的seatunnel实例。您可以添加和配置seatunnel服务器，管理用户和权限，查看日志和统计信息，以及进行其他相关操作。 总的来说，seatunnel webui的安装部署非常简单和直观。它提供了一个用户友好的界面，方便您管理和配置seatunnel实例。希望这个回答对您有所帮助！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

最笨的羊羊

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值