大数据-SparkSQL(一)

                                 大数据-SparkSQL(一)

Shark是专门针对于spark的构建大规模数据仓库系统的一个框架。Shark与Hive兼容、同时也依赖于Spark版本,Hivesql底层把sql解析成了mapreduce程序,Shark是把sql语句解析成了Spark任务;随着性能优化的上限,以及集成SQL的一些复杂的分析功能,发现Hive的MapReduce思想限制了Shark的发展。最后Databricks公司终止对Shark的开发决定单独开发一个框架,不在依赖hive,把重点转移到了sparksql框架上。

SparkSQL的概念

SparkSQL是apache Spark用来处理结构化数据的一个模块。 

SparkSQL的四大特性

易整合

统一的数据源访问

兼容hive

 

支持标准的数据库连接

DataFrame概述

DataFrame发展

DataFrame前身是schemaRDD,这个schemaRDD是直接继承自RDD,它是RDD的一个实现类。在spark1.3.0之后把schemaRDD改名为DataFrame,它不在继承自RDD,而是自己实现RDD上的一些功能。也可以把dataFrame转换成一个rdd,调用rdd这个方法。例如 val rdd1=dataFrame.rdd

DataFrame是什么

在Spark中,DataFrame是一种以RDD为基础的分布式数据集,类似于传统数据库的二维表格。DataFrame带有Schema元信息,即DataFrame所表示的二维表数据集的每一列都带有名称和类型,但底层做了更多的优化。

DataFrame可以从很多数据源构建,比如:已经存在的RDD、结构化文件、外部数据库、Hive表。

RDD可以把它内部元素看成是一个java对象,DataFrame可以把内部是一个Row对象,它表示一行一行的数据。

可以把DataFrame理解为 RDD+schema元信息,DataFrame相比于rdd来说,多了对数据的描述信息(schema元信息)。

DataFrame和RDD的优缺点

RDD

  • 优点:
  1. 编译时类型安全,开发会进行类型检查,在编译的时候及时发现错误
  2. 具有面向对象编程的风格
  • 缺点:
  1. 构建大量的java对象占用了大量heap堆空间,导致频繁的GC。
  2. 数据的序列化和反序列性能开销很大。

DataFrame

DataFrame引入了schema元信息和off-heap(堆外)

  • 优点:
  1. DataFrame引入off-heap,大量的对象构建直接使用操作系统层面上的内存,不在使用heap堆中的内存,这样一来heap堆中的内存空间就比较充足,不会导致频繁GC,程序的运行效率比较高,它是解决了RDD构建大量的java对象占用了大量heap堆空间,导致频繁的GC这个缺点。
  2. DataFrame引入了schema元信息---就是数据结构的描述信息,后期spark程序中的大量对象在进行网络传输的时候,只需要把数据的内容本身进行序列化就可以,数据结构信息可以省略掉。这样一来数据网络传输的数据量是有所减少,数据的序列化和反序列性能开销就不是很大了。它是解决了RDD数据的序列化和反序列性能开销很大这个缺点。
  • 缺点:

DataFrame引入了schema元信息和off-heap(堆外)它是分别解决了RDD的缺点,同时它也丢失了RDD的优点。

  1. 编译时类型不安全,编译时不会进行类型的检查,这里也就意味着前期是无法在编译的时候发现错误,只有在运行的时候才会发现。
  2. 不在具有面向对象编程的风格。

此博文仅供学习参考,如有错误欢迎指正。

上一篇《大数据-Spark(八)

下一篇《大数据-SparkSQL(二)

©️2020 CSDN 皮肤主题: 书香水墨 设计师:CSDN官方博客 返回首页