大数据-SparkSQL（一）

                                 大数据-SparkSQL（一）

目录

SparkSQL 基本概念

SparkSQL 四大特性

DataFrame 概述

读取文件构建 DataFrame

DataFrame 常用操作

---

Shark是专门针对于spark的构建大规模数据仓库系统的一个框架。Shark与Hive兼容、同时也依赖于Spark版本，Hivesql底层把sql解析成了mapreduce程序，Shark是把sql语句解析成了Spark任务；随着性能优化的上限，以及集成SQL的一些复杂的分析功能，发现Hive的MapReduce思想限制了Shark的发展。最后Databricks公司终止对Shark的开发决定单独开发一个框架，不在依赖hive，把重点转移到了sparksql框架上。

SparkSQL 基本概念

SparkSQL是apache Spark用来处理结构化数据的一个模块。 

SparkSQL 四大特性

易整合

统一的数据源访问

兼容hive

 

支持标准的数据库连接

DataFrame 概述

DataFrame发展

DataFrame前身是schemaRDD,这个schemaRDD是直接继承自RDD，它是RDD的一个实现类。在spark1.3.0之后把schemaRDD改名为DataFrame,它不在继承自RDD，而是自己实现RDD上的一些功能。也可以把dataFrame转换成一个rdd，调用rdd这个方法。例如 val rdd1=dataFrame.rdd

DataFrame是什么

在Spark中，DataFrame是一种以RDD为基础的分布式数据集，类似于传统数据库的二维表格。DataFrame带有Schema元信息，即DataFrame所表示的二维表数据集的每一列都带有名称和类型，但底层做了更多的优化。

DataFrame可以从很多数据源构建，比如：已经存在的RDD、结构化文件、外部数据库、Hive表。

RDD可以把它内部元素看成是一个java对象，DataFrame可以把内部是一个Row对象，它表示一行一行的数据。

可以把DataFrame理解为 RDD+schema元信息，DataFrame相比于rdd来说，多了对数据的描述信息（schema元信息）。

DataFrame和RDD的优缺点

RDD

• 优点：

1. 编译时类型安全，开发会进行类型检查，在编译的时候及时发现错误
2. 具有面向对象编程的风格

• 缺点：

1. 构建大量的java对象占用了大量heap堆空间，导致频繁的GC。
2. 数据的序列化和反序列性能开销很大。

DataFrame

DataFrame引入了schema元信息和off-heap(堆外)

• 优点：

1. DataFrame引入off-heap，大量的对象构建直接使用操作系统层面上的内存，不在使用heap堆中的内存，这样一来heap堆中的内存空间就比较充足，不会导致频繁GC，程序的运行效率比较高，它是解决了RDD构建大量的java对象占用了大量heap堆空间，导致频繁的GC这个缺点。
2. DataFrame引入了schema元信息---就是数据结构的描述信息，后期spark程序中的大量对象在进行网络传输的时候，只需要把数据的内容本身进行序列化就可以，数据结构信息可以省略掉。这样一来数据网络传输的数据量是有所减少，数据的序列化和反序列性能开销就不是很大了。它是解决了RDD数据的序列化和反序列性能开销很大这个缺点。

• 缺点：

DataFrame引入了schema元信息和off-heap(堆外)它是分别解决了RDD的缺点，同时它也丢失了RDD的优点。

1. 编译时类型不安全，编译时不会进行类型的检查，这里也就意味着前期是无法在编译的时候发现错误，只有在运行的时候才会发现。
2. 不在具有面向对象编程的风格。

读取文件构建 DataFrame

读取文本文件创建DataFrame

第一种方式

val personDF=spark.read.text("/person.txt")
//org.apache.spark.sql.DataFrame = [value: string]

//打印schema信息
personDF.printSchema

//展示数据
personDF.show

第二种方式

//加载数据
val rdd1=sc.textFile("/person.txt").map(x=>x.split(" "))
//定义一个样例类
case class Person(id:String,name:String,age:Int)
//把rdd与样例类进行关联
val personRDD=rdd1.map(x=>Person(x(0),x(1),x(2).toInt))
//把rdd转换成DataFrame
val personDF=personRDD.toDF

//打印schema信息
personDF.printSchema

//展示数据
personDF.show

读取json文件创建DataFrame

val peopleDF=spark.read.json("/people.json")
//打印schema信息
peopleDF.printSchema

//展示数据
peopleDF.show

读取parquet文件创建DataFrame

val usersDF=spark.read.parquet("/users.parquet")
//打印schema信息
usersDF.printSchema

//展示数据
usersDF.show

DataFrame 常用操作

DSL风格语法：

就是sparksql中的DataFrame自身提供了一套自己的Api，可以去使用这套api来做相应的处理。

//加载数据
val rdd1=sc.textFile("/person.txt").map(x=>x.split(" "))
//定义一个样例类
case class Person(id:String,name:String,age:Int)
//把rdd与样例类进行关联
val personRDD=rdd1.map(x=>Person(x(0),x(1),x(2).toInt))
//把rdd转换成DataFrame
val personDF=personRDD.toDF

//打印schema信息
personDF.printSchema

//展示数据
personDF.show

//查询指定的字段
personDF.select("name").show
personDF.select($"name").show
personDF.select(col("name").show
                
//实现age+1
 personDF.select($"name",$"age",$"age"+1)).show   

//实现age大于30过滤
 personDF.filter($"age" > 30).show
  
 //按照age分组统计次数
 personDF.groupBy("age").count.show 
   
//按照age分组统计次数降序
 personDF.groupBy("age").count().sort($"count".desc)show    

SQL风格语法：

可以把DataFrame注册成一张表，然后通过sparkSession.sql(sql语句)操作。

//DataFrame注册成表
personDF.createTempView("person")

//使用SparkSession调用sql方法统计查询
spark.sql("select * from person").show
spark.sql("select name from person").show
spark.sql("select name,age from person").show
spark.sql("select * from person where age >30").show
spark.sql("select count(*) from person where age >30").show
spark.sql("select age,count(*) from person group by age").show
spark.sql("select age,count(*) as count from person group by age").show
spark.sql("select * from person order by age desc").show

此博文仅供学习参考，如有错误欢迎指正。

上一篇《大数据-Spark（八）》

下一篇《大数据-SparkSQL（二）》

希望对大数据相关技术感兴趣的友友们关注一下，大家可以一起交流学习哦~