sparkcore插入数据库数据时遇到的坑

1.Spark在运行出错时不能保证输出也是事务级别的。在Task执行一半的时候出错了，虽然在语义上做了事务处理，数据仅被处理一次，但是如果是输出到数据库中，那有空能将结果多次保存到数据库中。Spark在任务失败时会进行重试，这样会导致结果多次保存到数据库中。
今天的问题是创建hive表的时候创建错了,导致数据并发执行的时候因为插入hive库整个任务中断了,然后sparkcore默认的task重试四次,导致task再次重试的时候就会有些数据重复插入原先已经入库mysql的表中.导致主键唯一性冲突.所以将参数spark.yarn.maxAppAttempts设置为1,这样提交的时候任务不会重试,只是执行一次然后打印异常,这样就看到了真正的异常错误是因为hive表结构不正确.
2.在处理数据的filter中 因为次数据不需要处理而直接使用了true,似乎改为true被编译器优化为直接使用上一次数据处理的的数据缓存,两次的数据不一致,导致了不存在该列的错误.