spark.write写出不使用压缩

有时候做一些测试，show打印在yarn日志，但是显示不全，我想到写出到文件是比较方便的。但是company 封装的spark config默认带了加密压缩，写出到文件后也不能方便打开。

在Spark中，可以通过设置输出文件的压缩格式来控制是否压缩输出文件。将输出文件写出而不压缩，可以使用以下代码：

spark.write.option("compression", "none").format("格式").save("output_path")

其中 格式 就是想要使用的输出文件格式，如"csv"、"parquet"等。“output_path"是输出文件的路径。通过将compression选项设置为"none”，可以指示Spark不压缩输出文件。

例如，如果想将数据以CSV格式写入到输出文件中，可以使用以下代码：

spark.write.option("compression", "none").format("csv").save("output_path")