Spark之UDF（User Define Function）

什么是UDF

UDF（User Define Function 用户自定义函数），Spark SQL扩展接口用于定义新的基于列的函数，这些函数扩展了Spark SQL的DSL用于转换数据集的词汇表。

适用场景

单条记录，使用内置函数无法完成，或者进行比较复杂的操作时，都可以使用UDF。

如何使用UDF

在SQL语句中使用UDF

实现UDF，可以是case class，可以是匿名类。然后讲其注册到spark，在sql语句中调用UDF。

def main(args: Array[String]): Unit = {
  val spark = SparkSession.builder().master("local[*]").appName("SparkUdfStudy").getOrCreate()
  import spark.implicits._
  spark.udf.register("to_uppercase", (s: String) => s.toUpperCase())

  Seq((1, "iphone8"), (2, "huawei")).toDF("id", "name").createOrReplaceTempView("product")
  spark.sql("select id, to_uppercase(name) from product").show()

}

DataFrame

通过withColumn和select使用，withColumn的功能是实现增加一列，或者替换一个已存在的列，他会先判断DataFrame里有没有这个列名，如果有的话就会替换掉原来的列，没有的话就用调用select方法增加一列

def main(args: Array[String]): Unit = {
  val spark = SparkSession.builder().master("local[*]").appName("SparkUdfStudy").getOrCreate()
  import spark.implicits._

  Seq((1, "iphone8"), (2, "huawei")).toDF("id", "name").createOrReplaceTempView("product")
  val toUpperCase = functions.udf((s: String) => s.toUpperCase)
  ds.withColumn("text", toUpperCase('text)).show()

}