SQL风格语法(主要)_大数据培训

SQL风格语法(主要)

1）创建一个DataFrame

scala> val df = spark.read.json(“/opt/module/spark/examples/src/main/resources/people.json”)

df: org.apache.spark.sql.DataFrame = [age: bigint, name: string]

2）对DataFrame创建一个临时表

scala> df.createOrReplaceTempView(“people”)

3）通过SQL语句实现查询全表

scala> val sqlDF = spark.sql(“SELECT * FROM people”)

sqlDF: org.apache.spark.sql.DataFrame = [age: bigint, name: string]

4）结果展示

注意：普通临时表是Session范围内的，如果想应用范围内有效，可以使用全局临时表。使用全局临时表时需要全路径访问，如：global_temp.people

5）对于DataFrame创建一个全局表

scala> df.createGlobalTempView(“people”)

6）通过SQL语句实现查询全表