用户自定义函数
在Shell窗口中可以通过spark.udf功能用户可以自定义函数。
UDF
1)创建DataFrame
scala> val df = spark.read.json(“examples/src/main/resources/people.json”)
df: org.apache.spark.sql.DataFrame = [age: bigint, name: string]
2)打印数据
3)注册UDF,功能为在数据前添加字符串
scala> spark.udf.register(“addName”, (x:String)=> “Name:”+x)
res5: org.apache.spark.sql.expressions.UserDefinedFunction = UserDefinedFunction(<function1>,StringType,Some(List(StringType)))
4)创建临时表
scala> df.createOrReplaceTempView(“people”)
5)应用UDF