本地环境信息 spark2.1.0 hadoop:2.6.0 hive:2.1.1 scala:2.11.8 java:1.8.0_141 mysql
1 保证hive可用,配置hive-site.xml如下,下面的配置使用的是mysql作为元数据存储工具,所以还需要将mysql驱动包复制到hive安装路径的lib目录下,需要配置hive使用mysql座位底层存储工具schematool -initSchema -dbType mysql。
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://10.118.58.27:3306/hive?createDatabaseIfNotExist=true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>××××</value>
</propert