Kettle使用规范

1、 命名规范

● 作业(job)：必须遵从驼峰形式。
● 转换(transfsormation）：都统一使用 lowerCamelCase 风格，单词间用下划线隔开，力求语义表达完整清楚，必须遵从驼峰形式。
● 中间表及中间列：“mid_”作为前缀。
● 临时表及临时列：“tmp_”作为前缀。
● 文件目录：/{项目名}/{业务主题名}/{功能}/{FILENAME}，功能根据文件的目的进行存放，例如EXF（抽取）、LD（装载）、REJ(拒绝)。
● 参数及变量：参数与变量的命名全部大写，单词或者简拼间用下划线（“”）连接。其中各个字后不要有空格，遵循参数名=参数值的写法，一行一个参数。
● 脚本：模块的启动和停止脚本统一命名为start_模块名.sh和stop_模块名_.sh

2、 任务调度

● 方式：通过Crontab进行调度shell脚本执行Kitchen命令行。

3、 监控

● 开源版：作业在远程的Carte上运行，通过http://ip:8080/kettle/status查看运行状态。
● Kettle任务监控：获取Kettle运行日志，通过检测错误日志并定时发送邮件的方式，监控Kettle任务的运行情况。

4、 错误处理

● 主作业流：每一个作业项当执行失败时都要配置发送邮件通知相关负责人。
● 作业：需要对于可预见的、已知的错误情况做逻辑循环判断。
● 转换：需要对于可预见的、已知的错误情况做逻辑循环判断。
● 策略：人工处理，修改错误重新跑作业。作业设计时不要依赖状态，保证发生错误后，作业可以随时重跑，因为失败中已提交数据不一定可回滚。

5、 数据安全

● 配置：Kettle中的所有数据源连接信息要提取到配置文件.properties中，在配置文件中具体的配置要加密。
● 例如： 命令执行 encr -kettle 123
得到“123”对应的密码是 “2be98afc86aa7f2e4cb79ce10bec3fd89”
直接在.properties文件里设置
Password=Encrypted 2be98afc86aa7f2e4cb79ce10bec3fd89