- 博客(5)
- 资源 (2)
- 收藏
- 关注
RSS订阅转载 sparksql读取parquet格式hive表的配置
使用sparksql访问几个hive表join的情况时结果为空，且这个sql在hive里执行是成功的。 val sparkSession = SparkSession .builder() .config("jars","lib/*") .appName("Spark Hive Example") .enableHiveSupport() .getOrCreate() sparkSession.sql("select t1.
2021-01-22 14:29:51
679
转载 PySpark︱DataFrame操作指南：增/删/改/查/合并/统计与数据处理
文章目录 1、-------- 查 -------- --- 1.1 行元素查询操作 --- **像SQL那样打印列表前20元素** **以树的形式打印概要** **获取头几行到本地：** **查询总行数：** 取别名 **查询某列为null的行：** **输出list类型，list中每个元素是Row类：** 查询概况 去重set操作 随机抽样
2021-01-08 17:53:47
1493
转载 pyspark dataframe 字段类型转换 pandas和pyspark的dataframe互转
知识点： 1、使用pyspark读取csv：spark.read.format("csv").load('/user/data.csv',header=True, inferSchema="true") 2、dataframe补充空值：fillna() 3、dataframe字段表示方式："APP_HOBY_CASH_LOAN"或df.APP_HOBY_CASH_LOAN或data_df["APP_HOBY_CASH_LOAN"] pysparkdataframe使用astype实现data..
2021-01-08 17:47:28
1448
转载 Spark(Hive) SQL数据类型使用详解(Python)
Spark SQL使用时需要有若干“表”的存在，这些“表”可以来自于Hive，也可以来自“临时表”。如果“表”来自于Hive，它的模式（列名、列类型等）在创建时已经确定，一般情况下我们直接通过Spark SQL分析表中的数据即可；如果“表”来自“临时表”，我们就需要考虑两个问题： （1）“临时表”的数据是哪来的？ （2）“临时表”的模式是什么？ 通过Spark的官方文档可以了解到，生成一张“临时表”需要两个要素： （1）关联着数据的RDD； （2）数据模式； 也就是说，我...
2021-01-05 14:04:02
761
转载 pyspark建立RDD以及读取文件成dataframe
（2）pyspark建立RDD以及读取文件成dataframe 目录 别人的相关代码文件：https://github.com/bryanyang0528/hellobi/tree/master/pyspark Top~~ 1、启动spark （1）SparkSession是 Spark SQL 的入口。 （2）通过SparkSession.builder来创建一个 SparkSession 的实例,并通过 stop 函数来停止 SparkSession。 Builder 是 ...
2021-01-05 00:36:38
721
MobaXterm_Portable_v20.2.zip.7z
2020-09-02
Cloudera_HiveJDBC_2.5.4.1006-hive.zip.7z
2020-09-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人