StreamSets
文章平均质量分 84
Dr.Zhu
keep calm and carry on
展开
-
Streamsets运行在国产化银河麒麟服务器
Streamsets的版本为3.16.0 离线版国产化服务器:银河麒麟 ky10国产化服务器架构:aarch64|arm64国产化服务器操作系统类型:加密版和非加密版加密版:三员管理,root为阉割的用户权限,非最高权限用户,安装软件使用指定软件安装,且需要安全审计员审核。无法安装docker,也不能使用tar包方式部署。可将StreamSets打包为rpm包部署。非加密版:可安装docker,打一个arm版本的StreamSets镜像部署。原创 2024-08-28 18:30:00 · 533 阅读 · 0 评论 -
Streamsets-JDBC模式offset变化逻辑和如何向下传递offset
默认情况下,Streamsets使用文件对管道的offset进行持久化,地址在Streamsets的数据目录下,系统路径中找到数据路径。数据存在的格式为:/{dataDir}/runInfo/{pipelineId}/{version:0}/offset.json注意:源、处理器和目标不是完全独立的,目标没有结束不会更新offset。原创 2024-06-03 18:06:42 · 591 阅读 · 0 评论 -
Streamsets-JDBC模式使用更新时间字段数据同步
JDBC模式的增量模式只支持新增的数据和不需要修改的数据,且官方建议的offsetColumn为PrimaryKey,如:ID。这样支持的场景为不断的增量数据,无法捕获数据的更新。但是正常的业务系统一般不存在只新增不更新的场景。全量同步模式每次加载所有的数据,当表的数据量较大时,同步所需的时间和延迟不能接受。在配置管道时将OffsetColumn指定为update_time,业务系统使用mybatis-plus在数据新增和更新时补充创建时间和更新时间。数据库的时间精度为秒。原创 2024-06-01 22:00:00 · 422 阅读 · 0 评论