palo平台报错持续汇总

1.节点数据量超过限制
采取只读取部分分片数据来减少数据量或者写入时分成更多文件

方法1
'base_url': 'hdfs://bdos/pfs/pingo/warehouse/dw/acoustics.db/2050_mea_f_t_analysisdata_bak/date={%Y%m%d}/hour={%H}/part-0001*',
方法2
set spark.sql.shuffle.partitions =600;

#成功运行的ETL日志
[INFO: 12-30 04:30:12: palo_data_load.py:491]: Task st