一、Spqrk-sql 架构
二、文件的转化
1、DataFrame
eg:
2、RDD 转换DataFrame
思路一:
反射机制 需要申明 case class
文本 ——加载到内存——RDD——DataFrame
注意:import spark.implicits._ 这个包支持将一个RDD隐式的转换为一个DataFrame
2、使用编程的方式定义RDDs
制作临时表:
一、Spqrk-sql 架构
二、文件的转化
1、DataFrame
eg:
2、RDD 转换DataFrame
思路一:
反射机制 需要申明 case class
文本 ——加载到内存——RDD——DataFrame
注意:import spark.implicits._ 这个包支持将一个RDD隐式的转换为一个DataFrame
2、使用编程的方式定义RDDs
制作临时表: