在python中使用pyspark读写Hive数据操作 --转载

1、读Hive表数据

pyspark读取hive数据非常简单，因为它有专门的接口来读取，完全不需要像hbase那样，需要做很多配置，pyspark提供的操作hive的接口，使得程序可以直接使用SQL语句从hive里面查询需要的数据，代码如下：

1. from pyspark.sql import HiveContext,SparkSession
2.  
3. _SPARK_HOST = "spark://spark-master:7077"
4. _APP_NAME = "test"
5. spark_session = SparkSession.builder.master(_SPARK_HOST).appName(_APP_NAME).getOrCreate()
6.  
7. hive_context= HiveContext(spark_session )
8.  
9. # 生成查询的SQL语句，这个跟hive的查询语句一样，所以也可以加where等条件语句
10. hive_database = "database1"
11. hive_table = "test"
12. hive_read = "select * from {}.{}".format(hive_database, hive_table)
13.  
14. # 通过SQL语句在hive中查询的数据直接是dataframe的形式
15. read_df = hive_context.sql(hive_read)

2 、将数据写入hive表

pyspark写hive表有两种方式：

（1）通过SQL语句生成表

1. from pyspark.sql import SparkSession, HiveContext
2.  
3. _SPARK_HOST = "spark://spark-master:7077"
4. _APP_NAME = "test"
5.  
6. spark = SparkSession.builder.master(_SPARK_HOST).appName(_APP_NAME).getOrCreate()
7.  
8. data = [
9. (1,"3","145"),
10. (1,"4","146"),
11. (1,"5","25"),
12. (1,"6","26"),
13. (2,"32","32"),
14. (2,"8","134"),
15. (2,"8","134"),
16. (2,"9","137")
17. ]
18. df = spark.createDataFrame(data, ['id', "test_id", 'camera_id'])
19.  
20. # method one，default是默认数据库的名字，write_test 是要写到default中数据表的名字
21. df.registerTempTable('test_hive')
22. sqlContext.sql("create table default.write_test select * from test_hive")

（2）saveastable的方式

1. # method two
2.  
3. # "overwrite"是重写表的模式，如果表存在，就覆盖掉原始数据，如果不存在就重新生成一张表
4. # mode("append")是在原有表的基础上进行添加数据
5. df.write.format("hive").mode("overwrite").saveAsTable('default.write_test')
6.  

tips：

spark用上面几种方式读写hive时，需要在提交任务时加上相应的配置,不然会报错：

spark-submit --conf spark.sql.catalogImplementation=hive test.py

补充知识：PySpark基于SHC框架读取HBase数据并转成DataFrame

一、首先需要将HBase目录lib下的jar包以及SHC的jar包复制到所有节点的Spark目录lib下

二、修改spark-defaults.conf 在spark.driver.extraClassPath和spark.executor.extraClassPath把上述jar包所在路径加进去

三、重启集群

四、代码

1. #/usr/bin/python
2. #-*- coding:utf-8 –*-
3.  
4. from pyspark import SparkContext
5. from pyspark.sql import SQLContext,HiveContext,SparkSession
6. from pyspark.sql.types import Row,StringType,StructField,StringType,IntegerType
7. from pyspark.sql.dataframe import DataFrame
8.  
9. sc = SparkContext(appName="pyspark_hbase")
10. sql_sc = SQLContext(sc)
11.  
12. dep = "org.apache.spark.sql.execution.datasources.hbase"
13. #定义schema
14. catalog = """{
15. "table":{"namespace":"default", "name":"teacher"},
16. "rowkey":"key",
17. "columns":{
18. "id":{"cf":"rowkey", "col":"key", "type":"string"},
19. "name":{"cf":"teacherInfo", "col":"name", "type":"string"},
20. "age":{"cf":"teacherInfo", "col":"age", "type":"string"},
21. "gender":{"cf":"teacherInfo", "col":"gender","type":"string"},
22. "cat":{"cf":"teacherInfo", "col":"cat","type":"string"},
23. "tag":{"cf":"teacherInfo", "col":"tag", "type":"string"},
24. "level":{"cf":"teacherInfo", "col":"level","type":"string"} }
25. }"""
26.  
27. df = sql_sc.read.options(catalog = catalog).format(dep).load()
28.  
29. print ('***************************************************************')
30. print ('***************************************************************')
31. print ('***************************************************************')
32. df.show()
33. print ('***************************************************************')
34. print ('***************************************************************')
35. print ('***************************************************************')
36. sc.stop()

五、解释

数据来源参考请本人之前的文章，在此不做赘述

schema定义参考如图：

 

 

六、结果

 

以上这篇在python中使用pyspark读写Hive数据操作就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持我们。

本文标题: 在python中使用pyspark读写Hive数据操作

本文地址: http://www.cppcns.com/jiaoben/python/316974.html