1.节点数据量超过限制
采取只读取部分分片数据来减少数据量或者写入时分成更多文件
方法1
'base_url': 'hdfs://bdos/pfs/pingo/warehouse/dw/acoustics.db/2050_mea_f_t_analysisdata_bak/date={%Y%m%d}/hour={%H}/part-0001*',
方法2
set spark.sql.shuffle.partitions =600;
1.节点数据量超过限制
采取只读取部分分片数据来减少数据量或者写入时分成更多文件
方法1
'base_url': 'hdfs://bdos/pfs/pingo/warehouse/dw/acoustics.db/2050_mea_f_t_analysisdata_bak/date={%Y%m%d}/hour={%H}/part-0001*',
方法2
set spark.sql.shuffle.partitions =600;