kettle从入门到精通 第三十四课 kettle 错误处理

本文介绍了如何在Kettle中实现数据迁移时的异常捕获,如唯一键冲突和死锁,以及如何设置错误处理属性并将错误信息保存到RDS表中,以便于问题排查和邮件预警。
摘要由CSDN通过智能技术生成
1、我们在平常写应用程序的时候,需要主动捕获异常或者错误,不然程序有可能异常退出。同样kettle 也支持异常或者错误处理,下图展示的是在批量插入数据的时候捕获异常,如唯一健冲突,死锁等,并将错误信息
保存到表里面,方便后续邮件预警和排查问题。



2、在需要异常处理的步骤上面右键,点击定义错误处理,如下图所示
 

3、设置错误处理属性

目标步骤:错误处理信息流向的下一个步骤,如表输出或者写日志等。

启用错误处理:可以关闭和开启该步骤的错误处理

错误数列名:自定义名称,如ERR_NUM

错误描述列名:自定义名称,如ERR_DESC

错误列列名:自定义名称,如ERR_NAME

错误编码列名:自定义名称,如ERR_CODE

4、把错误信息入库是个不错的选择,方便后续排查问题且可以根据错误信息表进行邮件预警,如下图所示。

5、创建一个表rds_error_records用于存储错误信息,如下脚步供参考

CREATE TABLE `rds_error_records` (
  `ID` int NOT NULL AUTO_INCREMENT COMMENT '唯一编号',
  `TABLE_NAME` varchar(50) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT '表名',
  `SERIAL_NO` varchar(50) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT '错误数据唯一编号',
  `ERR_NUM` varchar(20) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT '错误行',
  `ERR_NAME` varchar(20) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT '错误名称',
  `ERR_DESC` longtext CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT '错误描述',
  `ERR_CODE` varchar(20) CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci DEFAULT NULL COMMENT '错误码',
  `CREATE_TIME` datetime(0) NULL DEFAULT  CURRENT_TIMESTAMP COMMENT '创建时间 ',
  PRIMARY KEY (`ID`) USING BTREE,
  index  (CREATE_TIME)
) ENGINE=InnoDB AUTO_INCREMENT=182 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_general_ci ROW_FORMAT=DYNAMIC COMMENT='数据同步错误记录表';


 

 

  • 4
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值