ETL
zzumarch
一切数据出发,让数据回归数据本质
展开
-
mysql 有关数组json解析
1:在mysql中若元素类型为text 但存储的是一个数据组时,相对其他hive oracle 等mysql处理稍显复杂,下面为在项目中遇见的问题: 比如 表 B中 有字段班级id 和 student 其中student 为text 类型 存储的为班级内所有学生的信息 比如 [{'name':'a','age':23},{'name':'a','age':10},{'name':'a','ag...原创 2020-04-21 15:56:52 · 579 阅读 · 0 评论 -
ketlle 局部变量实现步骤
在我们做ETL过程中我们经常需要动态参数的情况,比如我们在分表中,我们需要把每个月的数据写入相应的数据表中比如test_201901 ,test_201902 所以在用kettle 中我们可以通过一以下方式实现: 首先我们知道 设置变量 在当前转换中引用 ,所以我们现在job中实现过程如下 在设置变量的转换中 设置变量: 然后在下面的数据转换中我们就可以直接用上...原创 2019-11-20 15:32:46 · 353 阅读 · 0 评论