spark sql 将string 转成json array

demo数据结构：

val items = "[{\"skuId\": \"100101\", \"quantity\": 1},{\"skuId\": \"100104\", \"quantity\": 2}]"

假设dataframe中只有items一个字段，且为string类型，字段内容如上。那么现在的需求是希望能够获取到skuId和quantity的值。

可以使用spark map将row转成对应的字段值，如x.getAs[String]("items")，然后用json库（如gson,jackson,fastjson等）进行解析，但是这种需要引入第三方库，而且代码不是很优雅，所以我尝试了只用spark sql方式进行了解析，解析代码如下：

val jsonDF = df.select(explode(from_json($"items", ArrayType(StructType(StructField("skuId", StringType) :: StructField("quantity", IntegerType):: Nil))).as("items"))

解决思路：由于我们需要对json进行操作才能使用对应的function，但是原始schema是string类型，所以需要将string类型转成期望的json schema，所以就构造了ArrayType schema(是array类型)

接下来就可以使用如下方式轻易使用了：

jsonDF.select($"items.skuId".as("skuId"),$"items.quantity".as("quantity"))

map转成json string

jsonDF.select(to_json(struct($"items.map")).as("mapstring"))