Cannot resolve overloaded method ‘createDataFrame‘

最新推荐文章于 2024-08-21 16:45:43 发布

ZQ_ZHU

最新推荐文章于 2024-08-21 16:45:43 发布

阅读量5k

点赞数 3

分类专栏： Spark 文章标签： spark DataFrame RDD

本文链接：https://blog.csdn.net/zzq060143/article/details/108887419

版权

Spark 专栏收录该内容

3 篇文章 0 订阅

订阅专栏

博客讲述了在使用Spark处理数据时遇到的问题，具体是通过定义schema创建DataFrame时出现错误。作者首先读取orc格式数据，进行字段选择和join操作，然后将结果转换为RDD。在创建DataFrame时，由于传入的不是RDD[Row]类型，导致错误。解决方案是将数据转换为Row对象。博客重点讨论了Spark DataFrame的创建过程和问题排查。

摘要由CSDN通过智能技术生成

在spark中利用自己定义schema的方式创建dataframe遇到了rt所示的错误

原因分析：

首先定义rdd

val dCom = spark.read.orc(pth1+"/202006")
      .select("uid","publish_time","content_length")
      .join(isTrueUser, Seq("uid"))
      .rdd.map(row =>{
      val uid = row.getAs[String]("uid")
      val dtime = row.getAs[String]("publish_time")
      val dlength = row.getAs[Long]("content_length").toInt
      (uid, dtime, dlength, 0, "0")
    })

定义schema数据类型

val commSchema = StructType(List(
      StructField("uid", StringType, nullable = true),
      StructField("time", StringType, nullable = true),   
      StructField("length", IntegerType, nullable = true),
      StructField("topic", IntegerType, nullable = true),
      StructField("type", StringType, nullable = true)
    ))

    val df = spark.createDataFrame(dCom, commSchema)

最后出现rt所示的错误，最后发现在createDataFrame方法中第一个参数传入的是RDD[Row]形式的，于是在定义rdd中将(uid, dtime, dlength, 0, "0")修改为Row(uid, dtime, dlength, 0, "0")就可以了。