配置idea spark sql连接hive
1.首先将/etc/hive/conf/的hive-site.xml复制到项目的resources下
2.添加maven依赖到pom.xml文件,不仅需要添加spark-sql,还需要添加spark-hive,spark版本2.2.0,scala版本2.10
<!-- https://mvnrepository.com/artifact/org.apache.spark/spark-sql -->
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-sql_2.10</artifactId>
<version>2.2.0</version>
</dependency>
<!-- https://mvnrepository.com/artifact/org.apache.spark/spark-hive -->
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-hive_2.10</artifactId>
<version>2.2.0</version>
</dependency>
3.在程序里设置
val spark = SparkSession
.builder()
.appName("test_note")
.master("local")
.enableHiveSupport()//设置支持hive
.getOrCreate()
到这本地就可以直接查询服务器的hive数据了
配置CDH集群
集群配置只需要将/etc/hive/conf/目录下的hive-site.xml复制到/etc/spark2/conf/目录下,就可以spark-submit了。