初识
DataX是由阿里巴巴研发并开源的一个异构数据源离线同步工具,DataX实现了包括MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、Hologres、DRDS等各种异构数据源之间高效的数据同步功能。
了解datax基本概念和下载方式
参考:https://zhuanlan.zhihu.com/p/564944396
datax源码下载和编译 (编译后的文件内容可以与第一点同步看)
springboot集成datax (三个同步看)
参考:https://blog.csdn.net/l2931050/article/details/124238427
参考:https://mp.weixin.qq.com/s/ZF8tjxGEQrPPUw1GxVVXOA
问题:
没懂System.setProperty("datax.home", dataxHome); datax.home值怎么定义的(有博主说是datax下载后,本地的存储地址,但测试环境是怎么定义的?)-----经过测试,如果已经在本地项目中导入的datax相关jar 包,datax.home值也可以是本地项目datax文件的绝对路径,只找到了获取classes文件的绝对路径方法(没有找到获取src--main--java下datax目录的方法),所以把本地的datax文件放到resources目录下。也可以使用datax下载后,解压后本地的存储地址。两种方式都可以。
答疑解惑:Java集成datax
https://blog.csdn.net/weixin_34390105/article/details/89627226
https://blog.csdn.net/dz77dz/article/details/106055693
从mysql到mysql数据读取到写入,同步表数据配置data.json具体值的定义及使用:
https://www.cnblogs.com/EnzoDin/p/9979638.html
json文件中的WriteModel详解(insert\update区别)
https://blog.csdn.net/shenshengsu1990/article/details/120163634
注:如果使用update,且同步到mysql库中,因为执行ON DUPLICATE KEY UPDATE语句时,mysql是通过主键或者唯一索引来判断两条数据是否重复,然后做更新/新增。</