demo数据结构:
val items = "[{\"skuId\": \"100101\", \"quantity\": 1},{\"skuId\": \"100104\", \"quantity\": 2}]"
假设dataframe中只有items一个字段,且为string类型,字段内容如上。那么现在的需求是希望能够获取到skuId和quantity的值。
可以使用spark map将row转成对应的字段值,如x.getAs[String]("items"),然后用json库(如gson,jackson,fastjson等)进行解析,但是这种需要引入第三方库,而且代码不是很优雅,所以我尝试了只用spark sql方式进行了解析,解析代码如下:
val jsonDF = df.select(explode(from_json($"items", ArrayType(StructType(StructField("skuId", StringType) :: StructField("quantity", IntegerType):: Nil))).as("items"))
解决思路:由于我们需要对json进行操作才能使用对应的function,但是原始schema是string类型,所以需要将string类型转成期望的json schema,所以就构造了ArrayType schema(是array类型)
接下来就可以使用如下方式轻易使用了:
jsonDF.select($"items.skuId".as("skuId"),$"items.quantity".as("quantity"))
map转成json string
jsonDF.select(to_json(struct($"items.map")).as("mapstring"))