spark 读写scv文件遇到换行问题

最新推荐文章于 2022-06-16 11:31:50 发布

玉羽凌风

最新推荐文章于 2022-06-16 11:31:50 发布

阅读量3.2k

点赞数 1

分类专栏： Java编程 SPARK 文章标签： csv

本文链接：https://blog.csdn.net/zhouyan8603/article/details/82936043

版权

Java编程同时被 2 个专栏收录

55 篇文章 1 订阅

订阅专栏

SPARK

51 篇文章 1 订阅

订阅专栏

val data = spark.read.
.option("header", "true")
.option("inferSchema", "true")
.option("multiLine", true)
.option("delimiter", ",")
.format("csv")
.load("hdfs://hadoop-master:9000/datasource/myfile.csv")
可使用multiline option解决读的多行问题
输出csv时，可使用apache的common包解决特殊符号问题：StringEscapeUtils.escapeCsv() 或者用option("quoteAll",true)
如若需要进一步移除特殊字符，可使用.replaceAll("[\b\r\n\t]*", "")方法替换字符