1.Spark SQL概述
1.1 什么是Spark SQL
Spark SQL是Spark用来处理结构化数据的一个模块,它提供了两个编程抽象分别叫做DataFrame和DataSet,它们用于作为分布式SQL查询引擎。从下图可以查看RDD、DataFrame与DataSet的关系。
1.2 为什么要学习Spark SQL
Hive,它是hive SQL转换成MapReduce,然后提交到集群上执行的,大大简化了编写MR程序的复杂性,而且MR这种计算模型执行效率比较慢,类比Hive,SparkSQL,它是将Spark SQL转换成RDD,然后提交集群上执行的,执行效率非常快。
2.DataFrame
2.1 什么是DataFrames
与RDD类似,DataFrame也是一个分布式数据容器。然而DataFrame更像传统数据库的二维表格,除了数据以外,还记录数据的结构信息,即schema。同时,与Hive类似,DataFrame也支持嵌套数据类型(struct、array和map)。从API易用性的角度上看,DataFrame API提供的是一套高层的关系操作,比函数式的RDD API要更加友好,门槛更低。由于与R和Pandas的DataFrame类似,Spark DataFrame很好地继承了传统单机数据分析的开发体验。
##2.2 创建DataFrames
在Spark SQL中SQLContext是创建DataFrames和执行SQL的入口,在spark中已经内置了一个sqlContext。
4.以编程方式执行Spark SQL查询
4.1 编写Spark SQL查询程序
前面我们学习了如何在Spark Shell中使用SQL完成查询,现在我们来实现在自定义的程序中编写Spark SQL查询程序。首先在maven项目的pom.xml中添加Spark SQL的依赖
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-sql_2.11</artifactId>
<version>2.1.0</version>
</dependency>
4.1.1 通过反射推断Schema
import org.apache.spark.sql.{SQLContext, SparkSession}
import org.apache.spark.{SparkConf, SparkContext}
/**
* @author y15079
* @create 2018-03-11 14:23
* @desc
**/
object SQLDemo {
def main(args: Array[String]): Unit = {
//本地运行
val conf = new SparkConf().setAppName("SQLDemo").setMaster("local[2]")
//val conf = new SparkConf().setAppName("SQLDemo") 要打包到spark集群上运行则不需要后面的setMaster("local[2]")
//SQLContext要依赖SparkContext
val sc = new SparkContext(conf)
//创建SQLContext spark1.6.1以下的写法
//val sqlContext = new SQLContext(sc)
//spark2.0 以上的写法
val sqlContext = SparkSession.builder().config(conf).getOrCreate()
//提交到spark集群上运行,需要设置用户,否则无权限执行,本地运行则无需
//System.setProperty("user.name", "bigdata")
//集群hdfs路径 hdfs://node-1.itcast.cn:9000/person.txt
//下面由于是本地运行,所以采用本地路径
//将RDD和case class关联
val personRdd = sc.textFile("D:\\IDEA\\HelloSpark\\src\\main\\files\\day4\\person.txt").map({line =>
val fields = line.split(",")
Person(fields(0).toLong, fields(1), fields(2).toInt)
})
//导入隐式转换,如果不导入无法将RDD转换成DataFrame
//将RDD转换成DataFrame
import sqlContext.implicits._
val personDf = personRdd.toDF()
//采用SQL编写风格 注册表
//personDf.registerTempTable("person") spark 1.6.1以下的写法
personDf.createOrReplaceTempView("person")
sqlContext.sql("select * from person where age >= 20 order by age desc limit 2").show()
}
}
//case class一定要放到外面
case class Person(id:Long, name:String, age:Int)
4.1.2 通过StructType直接指定Schema
import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.sql.{Row, SQLContext, SparkSession}
import org.apache.spark.sql.types.{IntegerType, StringType, StructField, StructType}
/**
* @author y15079
* @create 2018-05-12 2:12
* @desc
**/
object SQLSchemaDemo {
def main(args: Array[String]): Unit = {
//本地运行
val conf = new SparkConf().setAppName("SQLSchemaDemo").setMaster("local[2]")
//val conf = new SparkConf().setAppName("SQLDemo") 要打包到spark集群上运行则不需要后面的setMaster("local[2]")
//SQLContext要依赖SparkContext
val sc = new SparkContext(conf)
//创建SQLContext spark1.6.1以下的写法
//val sqlContext = new SQLContext(sc)
//spark2.0 以上的写法
val sqlContext = SparkSession.builder().config(conf).getOrCreate()
//提交到spark集群上运行,需要设置用户,否则无权限执行,本地运行则无需
//System.setProperty("user.name", "bigdata")
//集群hdfs路径 hdfs://node-1.itcast.cn:9000/person.txt
//下面由于是本地运行,所以采用本地路径
//从指定的地址创建RDD
val personRDD = sc.textFile("D:\\IDEA\\HelloSpark\\src\\main\\files\\day4\\person.txt").map(_.split(","))
//通过StructType直接指定每个字段的schema
val schema = StructType(
List(
StructField("id", IntegerType, true),
StructField("name", StringType, true),
StructField("age", IntegerType, true)
)
)
//将RDD映射到rowRDD
val rowRDD = personRDD.map(p=>Row(p(0).toInt, p(1).trim, p(2).toInt))
//将schema信息应用到rowRDD上
val personDataFrame = sqlContext.createDataFrame(rowRDD, schema)
//注册表
//personDataFrame.registerTempTable("person") spark 1.6.1以下的写法
personDataFrame.createOrReplaceTempView("person")
//执行SQL
val df = sqlContext.sql("select * from person where age >= 20 order by age desc limit 2").show()
sc.stop()
}
}