![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
sql
ZhanYunQI
这个作者很懒,什么都没留下…
展开
-
sparkSql(hive) 复合数据类型的使用
在Hive中可以使用复合数据类型,有三种常用的类型:Array 数组,Map 字典,Struct结构。在sparkSql中RDD可以转换成非常灵活的DataFrame,但是如果需要将数据结构完整的存储为Hive表,那么在RDD到DataFrame转换中需要遵守一些规则。在Hive中创建复合数据类型的语法:create table plan(clientid string原创 2017-01-09 22:48:09 · 2983 阅读 · 0 评论 -
spark dataframe API 整理
1,从列表中创建dataframe 列表的每一个元素转换成Row对象,利用parallelize()函数将列表转换成RDD,toDF()函数将RDD转换成dataframe from pyspark.sql import Row l=[Row(name='jack',age=10),Row(name='lucy',age=12)] df=sc.parallelize原创 2017-04-27 14:52:00 · 4075 阅读 · 0 评论