切换hive的默认数据库derby为MySQL

最新推荐文章于 2022-03-10 22:09:01 发布
最新推荐文章于 2022-03-10 22:09:01 发布
阅读量1.7k 收藏
点赞数
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhou_438/article/details/88944458
版权

derby是apache开发的基于java的文件型数据库，使用起来并不好用，很多限制

但是hive是支持MySQL的，所有替换掉：

首先要在Linux上安装好MySQL

然后配置一下MySQL的位置

在hive文件目录下的conf/

[root@localhost conf]# ls
beeline-log4j.properties.template  hive-env.sh.template                 hive-log4j.properties.template
hive-default.xml.template          hive-exec-log4j.properties.template  ivysettings.xml

 拷贝一下

cp hive-default.xml.template hive-site.xml

 编辑一下配置的内容：

vim hive-site.xml

 使用跨借鉴dG删去后面的配置，只需要拷贝如下的内容在

<configuration>

需要拷贝进去的内容

</configuration>

<property>
			  <name>javax.jdo.option.ConnectionURL</name>
			  <value>jdbc:mysql://hadoop01:3306/hive?createDatabaseIfNotExist=true</value>
			  <description>JDBC connect string for a JDBC metastore</description>
			</property>

			<property>
			  <name>javax.jdo.option.ConnectionDriverName</name>
			  <value>com.mysql.jdbc.Driver</value>
			  <description>Driver class name for a JDBC metastore</description>
			</property>

			<property>
			  <name>javax.jdo.option.ConnectionUserName</name>
			  <value>root</value>
			  <description>username to use against metastore database</description>
			</property>

			<property>
			  <name>javax.jdo.option.ConnectionPassword</name>
			  <value>root</value>
			  <description>password to use against metastore database</description>
			</property>

试一下：

[root@localhost bin]# ./hive

Logging initialized using configuration in jar:file:/soft/apache-hive-1.2.0-bin/lib/hive-common-1.2.0.jar!/hive-log4j.properties
Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
	at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:519)
	at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:677)
	at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:621)
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
	at java.lang.reflect.Method.invoke(Method.java:497)
	at org.apache.hadoop.util.RunJar.run(RunJar.java:221)
	at org.apache.hadoop.util.RunJar.main(RunJar.java:136)
Caused by: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
	at org.apache.hadoop.hive.metastore.MetaStoreUtils.newInstance(MetaStoreUtils.java:1523)
	at org.apache.hadoop.hive.metastore.RetryingMetaStoreClient.<init>(RetryingMetaStoreClient.java:86)
	at org.apache.hadoop.hive.metastore.RetryingMetaStoreClient.getProxy(RetryingMetaStoreClient.java:132)
	at org.apache.hadoop.hive.metastore.RetryingMetaStoreClient.getProxy(RetryingMetaStoreClient.java:104)
	at org.apache.hadoop.hive.ql.metadata.Hive.createMetaStoreClient(Hive.java:3000)
	at org.apache.hadoop.hive.ql.metadata.Hive.getMSC(Hive.java:3019)
	at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:500)
	... 8 more
Caused by: java.lang.reflect.InvocationTargetException
	at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
	at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
	at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
	at java.lang.reflect.Constructor.newInstance(Constructor.java:422)
	at org.apache.hadoop.hive.metastore.MetaStoreUtils.newInstance(MetaStoreUtils.java:1521)
	... 14 more
Caused by: javax.jdo.JDOFatalInternalException: Error creating transactional connection factory
NestedThrowables:
java.lang.reflect.InvocationTargetException
	at org.datanucleus.api.jdo.NucleusJDOHelper.getJDOExceptionForNucleusException(NucleusJDOHelper.java:587)
	at org.datanucleus.api.jdo.JDOPersistenceManagerFactory.freezeConfiguration(JDOPersistenceManagerFactory.java:788)
	at org.datanucleus.api.jdo.JDOPersistenceManagerFactory.createPersistenceManagerFactory(JDOPersistenceManagerFactory.java:333)
	at org.datanucleus.api.jdo.JDOPersistenceManagerFactory.getPersistenceManagerFactory(JDOPersistenceManagerFactory.java:202)
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
	at java.lang.reflect.Method.invoke(Method.java:497)
	at javax.jdo.JDOHelper$16.run(JDOHelper.java:1965)
	at java.security.AccessController.doPrivileged(Native Method)
	at javax.jdo.JDOHelper.invoke(JDOHelper.java:1960)
	at javax.jdo.JDOHelper.invokeGetPersistenceManagerFactoryOnImplementation(JDOHelper.java:1166)
	at javax.jdo.JDOHelper.getPersistenceManagerFactory(JDOHelper.java:808)
	at javax.jdo.JDOHelper.getPersistenceManagerFactory(JDOHelper.java:701)
	at org.apache.hadoop.hive.metastore.ObjectStore.getPMF(ObjectStore.java:365)
	at org.apache.hadoop.hive.metastore.ObjectStore.getPersistenceManager(ObjectStore.java:394)
	at org.apache.hadoop.hive.metastore.ObjectStore.initialize(ObjectStore.java:291)
	at org.apache.hadoop.hive.metastore.ObjectStore.setConf(ObjectStore.java:258)
	at org.apache.hadoop.util.ReflectionUtils.setConf(ReflectionUtils.java:76)
	at org.apache.hadoop.util.ReflectionUtils.newInstance(ReflectionUtils.java:136)
	at org.apache.hadoop.hive.metastore.RawStoreProxy.<init>(RawStoreProxy.java:57)
	at org.apache.hadoop.hive.metastore.RawStoreProxy.getProxy(RawStoreProxy.java:66)
	at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.newRawStore(HiveMetaStore.java:591)
	at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.getMS(HiveMetaStore.java:569)
	at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.createDefaultDB(HiveMetaStore.java:622)
	at org.apache.hadoop.hive.metastore.HiveMetaStore$HMSHandler.init(HiveMetaStore.java:459)
	at org.apache.hadoop.hive.metastore.RetryingHMSHandler.<init>(RetryingHMSHandler.java:66)
	at org.apache.hadoop.hive.metastore.RetryingHMSHandler.getProxy(RetryingHMSHandler.java:72)
	at org.apache.hadoop.hive.metastore.HiveMetaStore.newRetryingHMSHandler(HiveMetaStore.java:5730)
	at org.apache.hadoop.hive.metastore.HiveMetaStoreClient.<init>(HiveMetaStoreClient.java:199)
	at org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient.<init>(SessionHiveMetaStoreClient.java:74)
	... 19 more
Caused by: java.lang.reflect.InvocationTargetException
	at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
	at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
	at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
	at java.lang.reflect.Constructor.newInstance(Constructor.java:422)
	at org.datanucleus.plugin.NonManagedPluginRegistry.createExecutableExtension(NonManagedPluginRegistry.java:631)
	at org.datanucleus.plugin.PluginManager.createExecutableExtension(PluginManager.java:325)
	at org.datanucleus.store.AbstractStoreManager.registerConnectionFactory(AbstractStoreManager.java:282)
	at org.datanucleus.store.AbstractStoreManager.<init>(AbstractStoreManager.java:240)
	at org.datanucleus.store.rdbms.RDBMSStoreManager.<init>(RDBMSStoreManager.java:286)
	at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
	at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
	at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
	at java.lang.reflect.Constructor.newInstance(Constructor.java:422)
	at org.datanucleus.plugin.NonManagedPluginRegistry.createExecutableExtension(NonManagedPluginRegistry.java:631)
	at org.datanucleus.plugin.PluginManager.createExecutableExtension(PluginManager.java:301)
	at org.datanucleus.NucleusContext.createStoreManagerForProperties(NucleusContext.java:1187)
	at org.datanucleus.NucleusContext.initialise(NucleusContext.java:356)
	at org.datanucleus.api.jdo.JDOPersistenceManagerFactory.freezeConfiguration(JDOPersistenceManagerFactory.java:775)
	... 48 more
Caused by: org.datanucleus.exceptions.NucleusException: Attempt to invoke the "BONECP" plugin to create a ConnectionPool gave an error : The specified datastore driver ("com.mysql.jdbc.Driver") was not found in the CLASSPATH. Please check your CLASSPATH specification, and the name of the driver.
	at org.datanucleus.store.rdbms.ConnectionFactoryImpl.generateDataSources(ConnectionFactoryImpl.java:259)
	at org.datanucleus.store.rdbms.ConnectionFactoryImpl.initialiseDataSources(ConnectionFactoryImpl.java:131)
	at org.datanucleus.store.rdbms.ConnectionFactoryImpl.<init>(ConnectionFactoryImpl.java:85)
	... 66 more
Caused by: org.datanucleus.store.rdbms.connectionpool.DatastoreDriverNotFoundException: The specified datastore driver ("com.mysql.jdbc.Driver") was not found in the CLASSPATH. Please check your CLASSPATH specification, and the name of the driver.
	at org.datanucleus.store.rdbms.connectionpool.AbstractConnectionPoolFactory.loadDriver(AbstractConnectionPoolFactory.java:58)
	at org.datanucleus.store.rdbms.connectionpool.BoneCPConnectionPoolFactory.createConnectionPool(BoneCPConnectionPoolFactory.java:54)
	at org.datanucleus.store.rdbms.ConnectionFactoryImpl.generateDataSources(ConnectionFactoryImpl.java:238)
	... 68 more

发现不行，原因的因为hive的lib下没有jar包

在这里apache-hive-1.2.0-bin/lib上传一个jar包

再试一下就可以了

[root@localhost bin]# ./hive

Logging initialized using configuration in jar:file:/soft/apache-hive-1.2.0-bin/lib/hive-common-1.2.0.jar!/hive-log4j.properties
hive> show databases;
OK
default
Time taken: 5.26 seconds, Fetched: 1 row(s)
hive>

 

喝粥也会胖的唐僧
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hive怎么设置元数据库为mysql
xiaoweids的博客
08-15 922
创建一个hive用的数据库与数据库账号(可以直接用root),如果是远程数据库的话,需要修改mysql.user表,修改Host字段为hive机器所在ip,简单点直接改为*即可。修改hive_env.sh,设置HADOOP_HOME,HIVE_CONF_DIR,HIVE_AUX_JARS_PATH三项。库为derby,除了derby外,hive也可以设置元数据库为mysql。创建hive_sit.xml。...
配置Hive的元数据库为MYSQL
小楼秋风
08-16 596
安装MySQL # 检测主机是否安装了自带的mysql rpm -qa | grep 'mysql' # 卸载自带的mysql rpm -e --nodeps mysql-libs-5.1.71-1.el6.x86_64 # 使用yum安装mysql yum install -y mysql-server # 安装完毕启动mysql服务 service mysqld status service mysqld start # 重新设置root密码 /usr/bin/mysqladmin -u r
hive修改默认元数据存储数据库derby改为mysql
qq_26479655的博客
08-19 7276
进入mysqlmysql -uroot -p //默认没有密码为hive建立相应的用户以及密码 CREATE USER 'hive' IDENTIFIED BY 'mysql';授权hive用户访问权限 GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%' WITH GRANT OPTION;创建hive数据库mysql -uhive -pmysql//以hive用户进
HIVE元数据库改为mysql
sanms的专栏
09-06 1928
1.先安装mysql，并启动服务 2.为Hive建立相应的MySQL账户,并赋予足够的权限,执行命令如下: mysql -uroot -p123456 mysql> CREATE USER 'hive' IDENTIFIED BY 'hive'; mysql> GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%' WITH GRANT OPTION; mys
hive mysql主备切换_Hive 1.2.1&Spark&Sqoop安装指南
weixin_31951239的博客
02-01 343
Hive 1.2.1&Spark&Sqoop安装指南.pdf目录1.前言本文的安装参照《Hive0.12.0安装指南》，内容来源于官方的：GettingStarted，将Hive1.2.1安装在Hadoop2.7.1上。本文将Hive配置成Server模式，并且使用MySQL作为元数据数据库，远程连接MySQL。关于Hadoop2.7.1的安装，请参见《Hadoop-2....
Hive4——HIVE元数据库.pdf
07-11
然而，在开发和测试环境中，DERBY因其轻量级和易于管理的特性，常被选为默认的元数据存储系统。当从DERBY切换到MYSQL时，通常需要将数据从DERBY导入到MYSQL。 启动Hive的DERBY元数据库，需要进入Hive的安装目录，并...
Hive与HBase的兼容配置,.zip
04-19
1.我们采用MySQL数据库保存Hive的元数据，而不是采用Hive自带的derby来存储元数据，因此需要在Ubuntu里安装MySQL 使用以下命令即可进行mysql安装： 2.MySQL安装完成之后，可用以下命令启动和关闭mysql服务器
简单的hive demo 后续会加入新内容.zip
最新发布
04-19
1.我们采用MySQL数据库保存Hive的元数据，而不是采用Hive自带的derby来存储元数据，因此需要在Ubuntu里安装MySQL 使用以下命令即可进行mysql安装： 2.MySQL安装完成之后，可用以下命令启动和关闭mysql服务器
hive高可用1
08-08
1. **Local/Embedded Metastore Database (Derby)**：默认的轻量级模式，元数据存储在内嵌的Derby数据库中，适合开发和测试环境。 2. **Remote Metastore Database**：元数据存储在外部数据库，如MySQL，适合生产...
Hive是一个基于Hadoop的数据仓库平台.zip
04-19
1.我们采用MySQL数据库保存Hive的元数据，而不是采用Hive自带的derby来存储元数据，因此需要在Ubuntu里安装MySQL 使用以下命令即可进行mysql安装： 2.MySQL安装完成之后，可用以下命令启动和关闭mysql服务器
Hive：从derby数据库切换为mysql数据库
编程学习者的博客
06-23 1267
1.声明 当前内容主要用于本人学习和复习，当前的内容为，切换数据库为mysql数据库，并实现hive连接 介绍： 当前的Hive部署到Linux中 使用windows10中的putty操作Linux中的Hive，实现Linux中连接Windos10中的Mysql mysql 部署在Windows10中 mysql部署在192.168.1.109(windows10中)，hive部署在192.168.1.107(Linux中) 2.修改hive的配置和配置jar包 1.在conf中创建配置文件hive-s
数据仓库之Hive与MySQL关系
weixin_43854618的博客
08-05 2629
Hive可以分析结构化数据，它提供了一种HiveSQL来帮助用户处理数据，HiveSQL会转化成MapReduce程序，因为MapReduce效率是基于磁盘的，所以效率会比较低。但是它在离线数据处理方面还是有优势的，可以处理数据量非常大的数据，所以数据仓库的离线部分还是会基于Hive做计算的。 Hive与MySQL关系：在配置Hive之后一般都会安装和配置MySQL，那它们到底什么关系呢？如果默认不配置mysql的话，hive的元数据是存储在微型数据库Derby中，真正的数据是存储在HDFS上。 先来说一下
HIve+Mysql安装配置
www666_的博客
06-02 552
替换Hive自带的derby数据库为Mysql问题汇总
03-10 346
本地Hive环境搭建 替换自带的derby数据库为Mysql问题解决
Hive(2)-Hive的安装,使用Mysql替换derby,以及一丢丢基本的HQL
weixin_30783629的博客
12-17 111
一. Hive下载 1. Hive官网地址 http://hive.apache.org/ 2. 文档查看地址 https://cwiki.apache.org/confluence/display/Hive/GettingStarted 3. 下载地址 http://archive.apache.org/dist/hive/ 4. github地址 https://github...
Hive 使用derby作为元数据库
IreneByron的博客
03-24 1782
Hive内置存储元数据的数据库为derby。但是使用时会有问题，开启Hive之后会占用元数据库，而derby不与其他客户端共享数据。所以一次只能有一个客户端在使用，如果开了另一个客户端就会连接不上。 另外，启动hive时，会在启动的目录创建metasore_db。 假设我在bin目录启动hive，因为本地配了HIVE_HOME，所以直接输 hive就可以启动。此时bin目录就有metasore_db。 如果我再进入其他目录，如conf，输出hive，能成功启动。但是当输入命令时，会报错如下：
hive mysql derby_Hive修改derby为mysql数据库
weixin_39835607的博客
01-19 196
一、概述hive可以管理hdfs上的文件，用表的形式来管理文件数据。而表名、表里有哪些字段，字段类型、哪张表存在哪个数据下等这些表信息，称之为hive的元数据信息默认情况下，hive的元数据信息不是存在hdfs上的，而是存在hive自带的derby关系型数据库里的Hive安装完成之后，通常都需要替换元数据库，目前Hive只支持derby和mysql两种元数据库，需要将元数据库替换为MySQL元数据...
Hive基本原理及配置Mysql作为Hive的默认数据库
yihuliunian的博客
04-22 1252
转载自品略图书馆http://www.pinlue.com/article/2020/04/2020/1610205986359.html Hive是什么？ Hive是基于Hadoop之上的数据仓库； Hive是一种可以存储、查询、分析存储在hadoop中的大规模数据 Hive定义了简单的类SQL查询语言，成为HQL,它允许熟悉SQL的用户查询数据 允许熟悉MapReduce开发...
大数据之Hive总结（上）
MrTreeson的博客
11-10 1280
什么是Hive Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。 Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系...
mysql作为hive元数据库
07-27
MySQL作为Hive元数据库是一种常见的配置选择。Hive是建立在Hadoop之上的数据仓库工具，用于处理大规模数据集。Hive通过将数据存储在Hadoop分布式文件系统（HDFS）中，并使用元数据库来管理元数据，从而提供了类似于...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值