day71:Spark SQL窗口函数解密与实战



<p>Spark SQL窗口函数解密与实战</p><p>sparkSQL 窗口函数解析sparkSQL窗口函数实战</p>
package cn.db.scala.sparksql

import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.sql.hive.HiveContext

/**
 * Created by ptbx on 2016/6/5.
 */
/**
 * Created with IntelliJ IDEA.
 * User: ptbx
 * Date: 2016/6/5
 * Time: 19:19
 * To change this template use File | Settings | File Templates.

 */
object SparkOnWindoFunction {

  def main(args: Array[String]) {
    val conf = new SparkConf()
    conf.setAppName("local").setMaster("local")
    val sc = new SparkContext(conf)
    val hiveContext = new HiveContext(sc)
    hiveContext.sql("use hive") //使用名称weihive 的数据库
    hiveContext.sql("DROP TABLE IF EXITS sources")
    hiveContext.sql("CREATE TABLE IF NOT EXIT ")
    //把需要处理的数据导入hive 表中
    hiveContext.sql("LOAD DATA LOCAL INPATH '/root/'")
    val results = hiveContext.sql("SELECT name, source ") //sql 
    results.show()  //将数据在控制台打印显示
    //数据保存在hive数据仓库中
    hiveContext.sql("DROP TABLE IF EXITS sortByReduces")
    results.saveAsTable("sortByReduces")




  }

}

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值