使用kettle的一些经验

1.kettle通过打开kettle文件夹中的sqoon.bat打开
2.kettle需要先创建数据库连接,创建好之后,点击工具 -> 向导 -> 复制多表向导选择数据源和目标库,数据源在左侧,目标库在右侧.
3.选择好表后创建工作流程,在工作流程的 复制数据到[table] 这个模块,
可以右键选择 open referenced object -> transformation 后悔新弹出单独的流程处理页面.
进入这个页面选择 写到[table]这个模块 右键选择改变开始复制的数量 根据cpu核数设置并发复制的数量,并且双击此模块还可以设置每次提交的数据数量,可以酌情增大每次提交的条数.
4.数据源连接设置选项defaultRowPrefetch=20000
5.目标库连接设置选项
useServerPrepStmts=false
rewriteBatchedStatements=true
useCompression=true
6.以上三项可以加快数据导入的速度
7,kettle从oracle中到mysql迁移表的时候会自己根据oracle的类型找到对应的mysql类型进行建表,但是mysql的InnoDB引擎不支持当所有字段的varchar值的长度相加不可以超过8100左右那么长的长度,而且我们的前置mysql不需要事务也就将InnoDB换成了MyISAM引擎,然后就可以创建表成功了.
8.使用kettle的导入向导时不会根据oracle中的表的主键自动为mysql的建表语句生成主键
有关mysql的四种引擎的优缺点可以参考这篇博文:
https://blog.csdn.net/qq_34417408/article/details/80957620