十、Spark SQL数据源 - Parquet文件

Parquet概述

Apache Parquet是Hadoop生态系统中任何项目都可以使用的列式存储格式，不受数据处理框架、数据模型和编程语言的影响。Spark SQL支持对Parquet文件的读写，并且可以自动保存源数据的Schema。当写入Parquet文件时，为了提高兼容性，所有列都会自动转换为“可为空”状态。

读取和写入Parquet的方法

加载和写入Parquet文件时，除了可以使用load()方法和save()方法外，还可以直接使用Spark SQL内置的parquet()方法

1、读取parquet文件

执行命令：val usersdf = spark.read.parquet(“hdfs://master:9000/input/users.parquet”)

2、显示数据帧内容

执行命令：usersdf.show()

提出任务

向HDFS的目录/students中首先写入两个学生的姓名和年龄信息，然后写入两个学生的姓名和成绩信息，最后读取/students目录中的所有学生数据并合并Schema。
package net.hw.sparksql

import org.apac