<p>Spark SQL窗口函数解密与实战</p><p>sparkSQL 窗口函数解析sparkSQL窗口函数实战</p>
package cn.db.scala.sparksql
import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.sql.hive.HiveContext
/**
* Created by ptbx on 2016/6/5.
*/
/**
* Created with IntelliJ IDEA.
* User: ptbx
* Date: 2016/6/5
* Time: 19:19
* To change this template use File | Settings | File Templates.
*/
object SparkOnWindoFunction {
def main(args: Array[String]) {
val conf = new SparkConf()
conf.setAppName("local").setMaster("local")
val sc = new SparkContext(conf)
val hiveContext = new HiveContext(sc)
hiveContext.sql("use hive") //使用名称weihive 的数据库
hiveContext.sql("DROP TABLE IF EXITS sources")
hiveContext.sql("CREATE TABLE IF NOT EXIT ")
//把需要处理的数据导入hive 表中
hiveContext.sql("LOAD DATA LOCAL INPATH '/root/'")
val results = hiveContext.sql("SELECT name, source ") //sql
results.show() //将数据在控制台打印显示
//数据保存在hive数据仓库中
hiveContext.sql("DROP TABLE IF EXITS sortByReduces")
results.saveAsTable("sortByReduces")
}
}