jdbc远程连接hiveserver2

最新推荐文章于 2022-12-21 21:12:40 发布
最新推荐文章于 2022-12-21 21:12:40 发布
阅读量810 收藏
点赞数
分类专栏： hive 文章标签： java hive

在之前的学习和实践Hive中，使用的都是CLI或者hive –e的方式，该方式仅允许使用HiveQL执行查询、更新等操作，并且该方式比较笨拙单一。幸好Hive提供了轻客户端的实现，通过HiveServer或者HiveServer2，客户端可以在不启动CLI的情况下对Hive中的数据进行操作，两者都允许远程客户端使用多种编程语言如Java、Python向Hive提交请求，取回结果。HiveServer或者HiveServer2都是基于Thrift的，但HiveSever有时被称为Thrift server，而HiveServer2却不会。既然已经存在HiveServer为什么还需要HiveServer2呢？这是因为HiveServer不能处理多于一个客户端的并发请求，这是由于HiveServer使用的Thrift接口所导致的限制，不能通过修改HiveServer的代码修正。因此在Hive-0.11.0版本中重写了HiveServer代码得到了HiveServer2，进而解决了该问题。HiveServer2支持多客户端的并发和认证，为开放API客户端如JDBC、ODBC提供了更好的支持。

所以本文将以HiveServer2为例，介绍并编写远程操作的Hive的Java API。

首先先列出并本文使用的hive的关键的配置信息：

[java] view plain copy
print ?
  1. <property>  
  2.   <name>hive.metastore.warehouse.dir</name>  
  3.   <value>/usr/hive/warehouse</value>               //（hive中的数据库和表在HDFS中存放的文件夹的位置）  
  4.   <description>location of default database for the warehouse</description>  
  5. </property>  
  6. <property>  
  7.   <name>hive.server2.thrift.port</name>  
  8.   <value>10000</value>                               //（HiveServer2远程连接的端口，默认为10000）  
  9.   <description>Port number of HiveServer2 Thrift interface.  
  10.   Can be overridden by setting $HIVE_SERVER2_THRIFT_PORT</description>  
  11. </property>  
  12.   
  13. <property>  
  14.   <name>hive.server2.thrift.bind.host</name>  
  15.   <value>**.**.**.**</value>                          //（hive所在集群的IP地址）  
  16.   <description>Bind host on which to run the HiveServer2 Thrift interface.  
  17.   Can be overridden by setting $HIVE_SERVER2_THRIFT_BIND_HOST</description>  
  18. </property>  
  19. <property>  
  20.   <name>hive.server2.long.polling.timeout</name>  
  21.   <value>5000</value>                                // (默认为5000L,此处修改为5000，不然程序会报错)  
  22.   <description>Time in milliseconds that HiveServer2 will wait, before responding to asynchronous calls that use long polling</description>  
  23. </property>  
  24. <property>  
  25.   <name>javax.jdo.option.ConnectionURL</name>  
  26.   <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>  //（Hive的元数据库，我采用的是本地Mysql作为元数据库）  
  27.   <description>JDBC connect string for a JDBC metastore</description>  
  28. </property>  
  29.   
  30. <property>                           
  31.   <name>javax.jdo.option.ConnectionDriverName</name>          //（连接元数据的驱动名）  
  32.   <value>com.mysql.jdbc.Driver</value>  
  33.   <description>Driver class name for a JDBC metastore</description>  
  34. </property>  
  35. <property>  
  36.   <name>javax.jdo.option.ConnectionUserName</name>             //（连接元数据库用户名）  
  37.   <value>hive</value>  
  38.   <description>username to use against metastore database</description>  
  39. </property>  
  40.   
  41. <property>  
  42.   <name>javax.jdo.option.ConnectionPassword</name>             // （连接元数据库密码）  
  43.   <value>hive</value>  
  44.   <description>password to use against metastore database</description>  
  45. </property>  
<property>
  <name>hive.metastore.warehouse.dir</name>
  <value>/usr/hive/warehouse</value>               //（hive中的数据库和表在HDFS中存放的文件夹的位置）
  <description>location of default database for the warehouse</description>
</property>
<property>
  <name>hive.server2.thrift.port</name>
  <value>10000</value>                               //（HiveServer2远程连接的端口，默认为10000）
  <description>Port number of HiveServer2 Thrift interface.
  Can be overridden by setting $HIVE_SERVER2_THRIFT_PORT</description>
</property>

<property>
  <name>hive.server2.thrift.bind.host</name>
  <value>**.**.**.**</value>                          //（hive所在集群的IP地址）
  <description>Bind host on which to run the HiveServer2 Thrift interface.
  Can be overridden by setting $HIVE_SERVER2_THRIFT_BIND_HOST</description>
</property>
<property>
  <name>hive.server2.long.polling.timeout</name>
  <value>5000</value>                                // (默认为5000L,此处修改为5000，不然程序会报错)
  <description>Time in milliseconds that HiveServer2 will wait, before responding to asynchronous calls that use long polling</description>
</property>
<property>
  <name>javax.jdo.option.ConnectionURL</name>
  <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>  //（Hive的元数据库，我采用的是本地Mysql作为元数据库）
  <description>JDBC connect string for a JDBC metastore</description>
</property>

<property>                         
  <name>javax.jdo.option.ConnectionDriverName</name>          //（连接元数据的驱动名）
  <value>com.mysql.jdbc.Driver</value>
  <description>Driver class name for a JDBC metastore</description>
</property>
<property>
  <name>javax.jdo.option.ConnectionUserName</name>             //（连接元数据库用户名）
  <value>hive</value>
  <description>username to use against metastore database</description>
</property>

<property>
  <name>javax.jdo.option.ConnectionPassword</name>             // （连接元数据库密码）
  <value>hive</value>
  <description>password to use against metastore database</description>
</property>


 

 

 

确保上述正确配置后，下面启动HiveServer2服务：
 

先启动元数据库，在命令行中键入：hive --service metastore &      （&符号表示该进程将在后台运行，因为执行此命令后命令行会卡住，如果没加此符号，用ctrl+C退回命令行输入界面后会自动shotdown 该服务）
 

如下图：
 

 

之后命令行会卡住，此时查看日志文件hive.log，显示如下：
 

 

 
 
 
  
 
   [java] 
    view plain 
     copy 
   
 
   
 
   print 
   ? 
  
 
 
 
 
  1. 2016-04-26 04:44:53,956 INFO  [main]: metastore.HiveMetaStore (HiveMetaStore.java:main(5060)) - Starting hive metastore on port 9083  
  2. 2016-04-26 04:44:54,174 WARN  [main]: conf.HiveConf (HiveConf.java:initialize(1390)) - DEPRECATED: hive.metastore.ds.retry.* no longer has any effect.  Use hive.hmshandler.retry.* instead  
  3. 2016-04-26 04:44:54,326 INFO  [main]: metastore.HiveMetaStore (HiveMetaStore.java:newRawStore(494)) - 0: Opening raw store with implemenation class:org.apache.hadoop.hive.metastore.ObjectStore  
  4. 2016-04-26 04:44:54,412 INFO  [main]: metastore.ObjectStore (ObjectStore.java:initialize(245)) - ObjectStore, initialize called  
  5. 2016-04-26 04:44:57,240 WARN  [main]: conf.HiveConf (HiveConf.java:initialize(1390)) - DEPRECATED: hive.metastore.ds.retry.* no longer has any effect.  Use hive.hmshandler.retry.* instead  
  6. 2016-04-26 04:44:57,246 INFO  [main]: metastore.ObjectStore (ObjectStore.java:getPMF(314)) - Setting MetaStore object pin classes with hive.metastore.cache.pinobjtypes="Table,StorageDescriptor,SerDeInfo,Partition,Database,Type,FieldSchema,Order"  
  7. 2016-04-26 04:45:03,597 INFO  [main]: metastore.ObjectStore (ObjectStore.java:setConf(228)) - Initialized ObjectStore  
  8. 2016-04-26 04:45:03,806 WARN  [main]: metastore.ObjectStore (ObjectStore.java:checkSchema(6273)) - Version information not found in metastore. hive.metastore.schema.verification is not enabled so recording the schema version 0.13.0  
  9. 2016-04-26 04:45:04,811 INFO  [main]: metastore.HiveMetaStore (HiveMetaStore.java:createDefaultRoles(552)) - Added admin role in metastore  
  10. 2016-04-26 04:45:04,828 INFO  [main]: metastore.HiveMetaStore (HiveMetaStore.java:createDefaultRoles(561)) - Added public role in metastore  
  11. 2016-04-26 04:45:04,984 INFO  [main]: metastore.HiveMetaStore (HiveMetaStore.java:addAdminUsers(589)) - No user is added in admin role, since config is empty  
  12. 2016-04-26 04:45:05,361 INFO  [main]: metastore.HiveMetaStore (HiveMetaStore.java:startMetaStore(5182)) - Starting DB backed MetaStore Server  
  13. 2016-04-26 04:45:05,369 INFO  [main]: metastore.HiveMetaStore (HiveMetaStore.java:startMetaStore(5194)) - Started the new metaserver on port [9083]...  
  14. 2016-04-26 04:45:05,369 INFO  [main]: metastore.HiveMetaStore (HiveMetaStore.java:startMetaStore(5196)) - Options.minWorkerThreads = 200  
  15. 2016-04-26 04:45:05,370 INFO  [main]: metastore.HiveMetaStore (HiveMetaStore.java:startMetaStore(5198)) - Options.maxWorkerThreads = 100000  
  16. 2016-04-26 04:45:05,370 INFO  [main]: metastore.HiveMetaStore (HiveMetaStore.java:startMetaStore(5200)) - TCP keepalive = true  
 
 
 
   
 
 

 

2016-04-26 04:44:53,956 INFO  [main]: metastore.HiveMetaStore (HiveMetaStore.java:main(5060)) - Starting hive metastore on port 9083
2016-04-26 04:44:54,174 WARN  [main]: conf.HiveConf (HiveConf.java:initialize(1390)) - DEPRECATED: hive.metastore.ds.retry.* no longer has any effect.  Use hive.hmshandler.retry.* instead
2016-04-26 04:44:54,326 INFO  [main]: metastore.HiveMetaStore (HiveMetaStore.java:newRawStore(494)) - 0: Opening raw store with implemenation class:org.apache.hadoop.hive.metastore.ObjectStore
2016-04-26 04:44:54,412 INFO  [main]: metastore.ObjectStore (ObjectStore.java:initialize(245)) - ObjectStore, initialize called
2016-04-26 04:44:57,240 WARN  [main]: conf.HiveConf (HiveConf.java:initialize(1390)) - DEPRECATED: hive.metastore.ds.retry.* no longer has any effect.  Use hive.hmshandler.retry.* instead
2016-04-26 04:44:57,246 INFO  [main]: metastore.ObjectStore (ObjectStore.java:getPMF(314)) - Setting MetaStore object pin classes with hive.metastore.cache.pinobjtypes="Table,StorageDescriptor,SerDeInfo,Partition,Database,Type,FieldSchema,Order"
2016-04-26 04:45:03,597 INFO  [main]: metastore.ObjectStore (ObjectStore.java:setConf(228)) - Initialized ObjectStore
2016-04-26 04:45:03,806 WARN  [main]: metastore.ObjectStore (ObjectStore.java:checkSchema(6273)) - Version information not found in metastore. hive.metastore.schema.verification is not enabled so recording the schema version 0.13.0
2016-04-26 04:45:04,811 INFO  [main]: metastore.HiveMetaStore (HiveMetaStore.java:createDefaultRoles(552)) - Added admin role in metastore
2016-04-26 04:45:04,828 INFO  [main]: metastore.HiveMetaStore (HiveMetaStore.java:createDefaultRoles(561)) - Added public role in metastore
2016-04-26 04:45:04,984 INFO  [main]: metastore.HiveMetaStore (HiveMetaStore.java:addAdminUsers(589)) - No user is added in admin role, since config is empty
2016-04-26 04:45:05,361 INFO  [main]: metastore.HiveMetaStore (HiveMetaStore.java:startMetaStore(5182)) - Starting DB backed MetaStore Server
2016-04-26 04:45:05,369 INFO  [main]: metastore.HiveMetaStore (HiveMetaStore.java:startMetaStore(5194)) - Started the new metaserver on port [9083]...
2016-04-26 04:45:05,369 INFO  [main]: metastore.HiveMetaStore (HiveMetaStore.java:startMetaStore(5196)) - Options.minWorkerThreads = 200
2016-04-26 04:45:05,370 INFO  [main]: metastore.HiveMetaStore (HiveMetaStore.java:startMetaStore(5198)) - Options.maxWorkerThreads = 100000
2016-04-26 04:45:05,370 INFO  [main]: metastore.HiveMetaStore (HiveMetaStore.java:startMetaStore(5200)) - TCP keepalive = true
此时证明metastore已经开启。 

 

 

 

接下来开启hiveserver2服务：
 

在命令行中键入：hive --service hiveserver2 &
 

同上，也会出现命令行卡住的现象。查看日志文件如下：
 

 

 
 
 
  
 
   [java] 
    view plain 
     copy 
   
 
   
 
   print 
   ? 
  
 
 
 
 
  1. 2016-04-26 04:53:24,212 INFO  [main]: server.HiveServer2 (HiveStringUtils.java:startupShutdownMessage(605)) - STARTUP_MSG:   
  2. /************************************************************ 
  3. STARTUP_MSG: Starting HiveServer2 
  4. STARTUP_MSG:   host = master/（你之前配置的IP） 
  5. STARTUP_MSG:   args = [] 
  6. STARTUP_MSG:   version = 0.13.0 
  7. STARTUP_MSG:   classpath = /opt/modules/hadoop-2.2.0/etc/hadoop:/opt/modules/hadoop-2.2.0/share/hadoop/common/lib 
  8. //（……中间略掉classpath内容，日志信息太长……） 
  9. STARTUP_MSG:   build = file:///Users/hbutani/svn/branch-0.13 -r Unknown; compiled by 'hbutani' on Tue Apr 15 13:55:42 PDT 2014 
  10. ************************************************************/  
  11. 2016-04-26 04:53:24,553 WARN  [main]: conf.HiveConf (HiveConf.java:initialize(1390)) - DEPRECATED: hive.metastore.ds.retry.* no longer has any effect.  Use hive.hmshandler.retry.* instead  
  12. 2016-04-26 04:53:25,258 INFO  [main]: metastore.HiveMetaStore (HiveMetaStore.java:newRawStore(494)) - 0: Opening raw store with implemenation class:org.apache.hadoop.hive.metastore.ObjectStore  
  13. 2016-04-26 04:53:25,325 INFO  [main]: metastore.ObjectStore (ObjectStore.java:initialize(245)) - ObjectStore, initialize called  
  14. 2016-04-26 04:53:28,312 WARN  [main]: conf.HiveConf (HiveConf.java:initialize(1390)) - DEPRECATED: hive.metastore.ds.retry.* no longer has any effect.  Use hive.hmshandler.retry.* instead  
  15. 2016-04-26 04:53:28,313 INFO  [main]: metastore.ObjectStore (ObjectStore.java:getPMF(314)) - Setting MetaStore object pin classes with hive.metastore.cache.pinobjtypes="Table,StorageDescriptor,SerDeInfo,Partition,Database,Type,FieldSchema,Order"  
  16. 2016-04-26 04:53:31,537 INFO  [main]: metastore.ObjectStore (ObjectStore.java:setConf(228)) - Initialized ObjectStore  
  17. 2016-04-26 04:53:32,064 INFO  [main]: metastore.HiveMetaStore (HiveMetaStore.java:createDefaultRoles(552)) - Added admin role in metastore  
  18. 2016-04-26 04:53:32,079 INFO  [main]: metastore.HiveMetaStore (HiveMetaStore.java:createDefaultRoles(561)) - Added public role in metastore  
  19. 2016-04-26 04:53:32,205 INFO  [main]: metastore.HiveMetaStore (HiveMetaStore.java:addAdminUsers(589)) - No user is added in admin role, since config is empty  
  20. 2016-04-26 04:53:33,887 INFO  [main]: session.SessionState (SessionState.java:start(358)) - No Tez session required at this point. hive.execution.engine=mr.  
  21. 2016-04-26 04:53:34,168 WARN  [main]: conf.HiveConf (HiveConf.java:initialize(1390)) - DEPRECATED: hive.metastore.ds.retry.* no longer has any effect.  Use hive.hmshandler.retry.* instead  
  22. 2016-04-26 04:53:34,241 INFO  [main]: service.CompositeService (SessionManager.java:init(70)) - HiveServer2: Async execution thread pool size: 100  
  23. 2016-04-26 04:53:34,241 INFO  [main]: service.CompositeService (SessionManager.java:init(72)) - HiveServer2: Async execution wait queue size: 100  
  24. 2016-04-26 04:53:34,242 INFO  [main]: service.CompositeService (SessionManager.java:init(74)) - HiveServer2: Async execution thread keepalive time: 10  
  25. 2016-04-26 04:53:34,244 INFO  [main]: service.AbstractService (AbstractService.java:init(89)) - Service:OperationManager is inited.  
  26. 2016-04-26 04:53:34,247 INFO  [main]: service.AbstractService (AbstractService.java:init(89)) - Service:SessionManager is inited.  
  27. 2016-04-26 04:53:34,247 INFO  [main]: service.AbstractService (AbstractService.java:init(89)) - Service:CLIService is inited.  
  28. 2016-04-26 04:53:34,247 INFO  [main]: service.AbstractService (AbstractService.java:init(89)) - Service:ThriftBinaryCLIService is inited.  
  29. 2016-04-26 04:53:34,247 INFO  [main]: service.AbstractService (AbstractService.java:init(89)) - Service:HiveServer2 is inited.  
  30. 2016-04-26 04:53:34,248 INFO  [main]: service.AbstractService (AbstractService.java:start(104)) - Service:OperationManager is started.  
  31. 2016-04-26 04:53:34,248 INFO  [main]: service.AbstractService (AbstractService.java:start(104)) - Service:SessionManager is started.  
  32. 2016-04-26 04:53:34,248 INFO  [main]: service.AbstractService (AbstractService.java:start(104)) - Service:CLIService is started.  
  33. 2016-04-26 04:53:34,698 INFO  [main]: metastore.HiveMetaStore (HiveMetaStore.java:addAdminUsers(589)) - No user is added in admin role, since config is empty  
  34. 2016-04-26 04:53:34,699 INFO  [main]: metastore.HiveMetaStore (HiveMetaStore.java:logInfo(624)) - 0: get_databases: default  
  35. 2016-04-26 04:53:34,701 INFO  [main]: HiveMetaStore.audit (HiveMetaStore.java:logAuditEvent(306)) - ugi=hh  ip=unknown-ip-addr  cmd=get_databases: default    
  36. 2016-04-26 04:53:34,725 INFO  [main]: metastore.HiveMetaStore (HiveMetaStore.java:newRawStore(494)) - 0: Opening raw store with implemenation class:org.apache.hadoop.hive.metastore.ObjectStore  
  37. 2016-04-26 04:53:34,728 INFO  [main]: metastore.ObjectStore (ObjectStore.java:initialize(245)) - ObjectStore, initialize called  
  38. 2016-04-26 04:53:34,745 INFO  [main]: metastore.ObjectStore (ObjectStore.java:setConf(228)) - Initialized ObjectStore  
  39. 2016-04-26 04:53:34,795 INFO  [main]: service.AbstractService (AbstractService.java:start(104)) - Service:ThriftBinaryCLIService is started.  
  40. 2016-04-26 04:53:34,796 INFO  [main]: service.AbstractService (AbstractService.java:start(104)) - Service:HiveServer2 is started.  
  41. 2016-04-26 04:53:34,947 WARN  [Thread-5]: conf.HiveConf (HiveConf.java:initialize(1390)) - DEPRECATED: hive.metastore.ds.retry.* no longer has any effect.  Use hive.hmshandler.retry.* instead  
  42. 2016-04-26 04:53:35,584 INFO  [Thread-5]: thrift.ThriftCLIService (ThriftBinaryCLIService.java:run(88)) - ThriftBinaryCLIService listening on /（你的IP）:10000  
 
 
 
   
 
 

 

2016-04-26 04:53:24,212 INFO  [main]: server.HiveServer2 (HiveStringUtils.java:startupShutdownMessage(605)) - STARTUP_MSG: 
/************************************************************
STARTUP_MSG: Starting HiveServer2
STARTUP_MSG:   host = master/（你之前配置的IP）
STARTUP_MSG:   args = []
STARTUP_MSG:   version = 0.13.0
STARTUP_MSG:   classpath = /opt/modules/hadoop-2.2.0/etc/hadoop:/opt/modules/hadoop-2.2.0/share/hadoop/common/lib
//（……中间略掉classpath内容，日志信息太长……）
STARTUP_MSG:   build = file:///Users/hbutani/svn/branch-0.13 -r Unknown; compiled by 'hbutani' on Tue Apr 15 13:55:42 PDT 2014
************************************************************/
2016-04-26 04:53:24,553 WARN  [main]: conf.HiveConf (HiveConf.java:initialize(1390)) - DEPRECATED: hive.metastore.ds.retry.* no longer has any effect.  Use hive.hmshandler.retry.* instead
2016-04-26 04:53:25,258 INFO  [main]: metastore.HiveMetaStore (HiveMetaStore.java:newRawStore(494)) - 0: Opening raw store with implemenation class:org.apache.hadoop.hive.metastore.ObjectStore
2016-04-26 04:53:25,325 INFO  [main]: metastore.ObjectStore (ObjectStore.java:initialize(245)) - ObjectStore, initialize called
2016-04-26 04:53:28,312 WARN  [main]: conf.HiveConf (HiveConf.java:initialize(1390)) - DEPRECATED: hive.metastore.ds.retry.* no longer has any effect.  Use hive.hmshandler.retry.* instead
2016-04-26 04:53:28,313 INFO  [main]: metastore.ObjectStore (ObjectStore.java:getPMF(314)) - Setting MetaStore object pin classes with hive.metastore.cache.pinobjtypes="Table,StorageDescriptor,SerDeInfo,Partition,Database,Type,FieldSchema,Order"
2016-04-26 04:53:31,537 INFO  [main]: metastore.ObjectStore (ObjectStore.java:setConf(228)) - Initialized ObjectStore
2016-04-26 04:53:32,064 INFO  [main]: metastore.HiveMetaStore (HiveMetaStore.java:createDefaultRoles(552)) - Added admin role in metastore
2016-04-26 04:53:32,079 INFO  [main]: metastore.HiveMetaStore (HiveMetaStore.java:createDefaultRoles(561)) - Added public role in metastore
2016-04-26 04:53:32,205 INFO  [main]: metastore.HiveMetaStore (HiveMetaStore.java:addAdminUsers(589)) - No user is added in admin role, since config is empty
2016-04-26 04:53:33,887 INFO  [main]: session.SessionState (SessionState.java:start(358)) - No Tez session required at this point. hive.execution.engine=mr.
2016-04-26 04:53:34,168 WARN  [main]: conf.HiveConf (HiveConf.java:initialize(1390)) - DEPRECATED: hive.metastore.ds.retry.* no longer has any effect.  Use hive.hmshandler.retry.* instead
2016-04-26 04:53:34,241 INFO  [main]: service.CompositeService (SessionManager.java:init(70)) - HiveServer2: Async execution thread pool size: 100
2016-04-26 04:53:34,241 INFO  [main]: service.CompositeService (SessionManager.java:init(72)) - HiveServer2: Async execution wait queue size: 100
2016-04-26 04:53:34,242 INFO  [main]: service.CompositeService (SessionManager.java:init(74)) - HiveServer2: Async execution thread keepalive time: 10
2016-04-26 04:53:34,244 INFO  [main]: service.AbstractService (AbstractService.java:init(89)) - Service:OperationManager is inited.
2016-04-26 04:53:34,247 INFO  [main]: service.AbstractService (AbstractService.java:init(89)) - Service:SessionManager is inited.
2016-04-26 04:53:34,247 INFO  [main]: service.AbstractService (AbstractService.java:init(89)) - Service:CLIService is inited.
2016-04-26 04:53:34,247 INFO  [main]: service.AbstractService (AbstractService.java:init(89)) - Service:ThriftBinaryCLIService is inited.
2016-04-26 04:53:34,247 INFO  [main]: service.AbstractService (AbstractService.java:init(89)) - Service:HiveServer2 is inited.
2016-04-26 04:53:34,248 INFO  [main]: service.AbstractService (AbstractService.java:start(104)) - Service:OperationManager is started.
2016-04-26 04:53:34,248 INFO  [main]: service.AbstractService (AbstractService.java:start(104)) - Service:SessionManager is started.
2016-04-26 04:53:34,248 INFO  [main]: service.AbstractService (AbstractService.java:start(104)) - Service:CLIService is started.
2016-04-26 04:53:34,698 INFO  [main]: metastore.HiveMetaStore (HiveMetaStore.java:addAdminUsers(589)) - No user is added in admin role, since config is empty
2016-04-26 04:53:34,699 INFO  [main]: metastore.HiveMetaStore (HiveMetaStore.java:logInfo(624)) - 0: get_databases: default
2016-04-26 04:53:34,701 INFO  [main]: HiveMetaStore.audit (HiveMetaStore.java:logAuditEvent(306)) - ugi=hh	ip=unknown-ip-addr	cmd=get_databases: default	
2016-04-26 04:53:34,725 INFO  [main]: metastore.HiveMetaStore (HiveMetaStore.java:newRawStore(494)) - 0: Opening raw store with implemenation class:org.apache.hadoop.hive.metastore.ObjectStore
2016-04-26 04:53:34,728 INFO  [main]: metastore.ObjectStore (ObjectStore.java:initialize(245)) - ObjectStore, initialize called
2016-04-26 04:53:34,745 INFO  [main]: metastore.ObjectStore (ObjectStore.java:setConf(228)) - Initialized ObjectStore
2016-04-26 04:53:34,795 INFO  [main]: service.AbstractService (AbstractService.java:start(104)) - Service:ThriftBinaryCLIService is started.
2016-04-26 04:53:34,796 INFO  [main]: service.AbstractService (AbstractService.java:start(104)) - Service:HiveServer2 is started.
2016-04-26 04:53:34,947 WARN  [Thread-5]: conf.HiveConf (HiveConf.java:initialize(1390)) - DEPRECATED: hive.metastore.ds.retry.* no longer has any effect.  Use hive.hmshandler.retry.* instead
2016-04-26 04:53:35,584 INFO  [Thread-5]: thrift.ThriftCLIService (ThriftBinaryCLIService.java:run(88)) - ThriftBinaryCLIService listening on /（你的IP）:10000
 

你也可以通过下述命令查看hiveserver2是否已经开启：
 

 

 
 
 
  
 
   [java] 
    view plain 
     copy 
   
 
   
 
   print 
   ? 
  
 
 
 
 
  1. [hh@master Desktop]$ netstat -nl |grep 10000  
  2. tcp        0      0 （你的IP）:10000        0.0.0.0:*                   LISTEN    
 
 
 
   
 
 

 

[hh@master Desktop]$ netstat -nl |grep 10000
tcp        0      0 （你的IP）:10000        0.0.0.0:*                   LISTEN  
 

 

 此时证明hiveserver2服务已经开启！ 

（注意：一定要去查看日志信息，因为命令行并不会报错，如果启动失败，相应的异常会在日志信息中显示，日志文件hive.log的路径在$HIVE_HOME/conf/hive-log4j.properties中配置）
 

 

下面开始编写java API：
 

首先列出本程序依赖的Jar包：
 

 

 
 
 
  
 
   [java] 
    view plain 
     copy 
   
 
   
 
   print 
   ? 
  
 
 
 
 
  1. hadoop-2.2.0/share/hadoop/common/hadoop-common-2.2.0.jar  
  2. $HIVE_HOME/lib/hive-exec-0.11.0.jar   
  3. $HIVE_HOME/lib/hive-jdbc-0.11.0.jar   
  4. $HIVE_HOME/lib/hive-metastore-0.11.0.jar   
  5. $HIVE_HOME/lib/hive-service-0.11.0.jar   
  6. $HIVE_HOME/lib/libfb303-0.9.0.jar   
  7. $HIVE_HOME/lib/commons-logging-1.0.4.jar   
  8. $HIVE_HOME/lib/slf4j-api-1.6.1.jar  
 
 
 
   
 
 

 

hadoop-2.2.0/share/hadoop/common/hadoop-common-2.2.0.jar
$HIVE_HOME/lib/hive-exec-0.11.0.jar 
$HIVE_HOME/lib/hive-jdbc-0.11.0.jar 
$HIVE_HOME/lib/hive-metastore-0.11.0.jar 
$HIVE_HOME/lib/hive-service-0.11.0.jar 
$HIVE_HOME/lib/libfb303-0.9.0.jar 
$HIVE_HOME/lib/commons-logging-1.0.4.jar 
$HIVE_HOME/lib/slf4j-api-1.6.1.jar
 

 下面贴出java代码： 

 

JDBCToHiveUtils.java
 

 

 
 
 
  
 
   [java] 
    view plain 
     copy 
   
 
   
 
   print 
   ? 
  
 
 
 
 
  1. import java.sql.Connection;  
  2. import java.sql.DriverManager;  
  3. import java.sql.PreparedStatement;  
  4. import java.sql.SQLException;  
  5.   
  6.   
  7. public class JDBCToHiveUtils {  
  8.     private static String driverName ="org.apache.hive.jdbc.HiveDriver";  
  9.     private static String Url="jdbc:hive2://**.**.**.**:10000/default";    //填写hive的IP，之前在配置文件中配置的IP  
  10.     private static Connection conn;  
  11.     public static Connection getConnnection()  
  12.     {  
  13.         try  
  14.                {  
  15.                   Class.forName(driverName);  
  16.                   conn = DriverManager.getConnection(Url,"hh","");        //此处的用户名一定是有权限操作HDFS的用户，否则程序会提示"permission deny"异常  
  17.                }  
  18.         catch(ClassNotFoundException e)  {  
  19.                    e.printStackTrace();  
  20.                    System.exit(1);  
  21.                 }  
  22.          catch (SQLException e) {  
  23.             e.printStackTrace();  
  24.         }  
  25.         return conn;  
  26.     }  
  27.     public static PreparedStatement prepare(Connection conn, String sql) {  
  28.         PreparedStatement ps = null;  
  29.         try {  
  30.             ps = conn.prepareStatement(sql);  
  31.         } catch (SQLException e) {  
  32.             e.printStackTrace();  
  33.         }  
  34.         return ps;  
  35.     }  
  36. }  
 
 
 
   
 
 

 

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.sql.SQLException;


public class JDBCToHiveUtils {
	private static String driverName ="org.apache.hive.jdbc.HiveDriver";
	private static String Url="jdbc:hive2://**.**.**.**:10000/default";    //填写hive的IP，之前在配置文件中配置的IP
	private static Connection conn;
	public static Connection getConnnection()
	{
		try
               {
    	          Class.forName(driverName);
    	          conn = DriverManager.getConnection(Url,"hh","");        //此处的用户名一定是有权限操作HDFS的用户，否则程序会提示"permission deny"异常
               }
		catch(ClassNotFoundException e)  {
    	           e.printStackTrace();
    	           System.exit(1);
                }
		 catch (SQLException e) {
			e.printStackTrace();
		}
		return conn;
	}
	public static PreparedStatement prepare(Connection conn, String sql) {
		PreparedStatement ps = null;
		try {
			ps = conn.prepareStatement(sql);
		} catch (SQLException e) {
			e.printStackTrace();
		}
		return ps;
	}
}
 

 

QueryHiveUtils.java
 

 

 
 
 
  
 
   [java] 
    view plain 
     copy 
   
 
   
 
   print 
   ? 
  
 
 
 
 
  1. import java.sql.Connection;  
  2. import java.sql.PreparedStatement;  
  3. import java.sql.ResultSet;  
  4. import java.sql.SQLException;  
  5. import java.sql.Statement;  
  6.   
  7. public class QueryHiveUtils {  
  8.     private static Connection conn=JDBCToHiveUtils.getConnnection();  
  9.     private static PreparedStatement ps;  
  10.     private static ResultSet rs;  
  11.     public static void getAll(String tablename)  
  12.     {  
  13.         String sql="select * from "+tablename;  
  14.         System.out.println(sql);  
  15.         try {  
  16.             ps=JDBCToHiveUtils.prepare(conn, sql);  
  17.             rs=ps.executeQuery();  
  18.             int columns=rs.getMetaData().getColumnCount();  
  19.             while(rs.next())  
  20.             {  
  21.                 for(int i=1;i<=columns;i++)  
  22.                 {  
  23.                     System.out.print(rs.getString(i));  
  24.                     System.out.print("\t\t");  
  25.                 }  
  26.                 System.out.println();  
  27.             }  
  28.         } catch (SQLException e) {  
  29.             // TODO Auto-generated catch block  
  30.             e.printStackTrace();  
  31.         }  
  32.   
  33.     }  
  34.   
  35. }  
 
 
 
   
 
 

 

import java.sql.Connection;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.sql.Statement;

public class QueryHiveUtils {
	private static Connection conn=JDBCToHiveUtils.getConnnection();
	private static PreparedStatement ps;
	private static ResultSet rs;
	public static void getAll(String tablename)
	{
		String sql="select * from "+tablename;
		System.out.println(sql);
		try {
			ps=JDBCToHiveUtils.prepare(conn, sql);
			rs=ps.executeQuery();
			int columns=rs.getMetaData().getColumnCount();
			while(rs.next())
		    {
			    for(int i=1;i<=columns;i++)
			    {
			        System.out.print(rs.getString(i));
			        System.out.print("\t\t");
			    }
			    System.out.println();
			}
		} catch (SQLException e) {
			// TODO Auto-generated catch block
			e.printStackTrace();
		}

	}

}
 

 

 

 

 

QuerHiveTest.java
 

 
 
 
  
 
   [java] 
    view plain 
     copy 
   
 
   
 
   print 
   ? 
  
 
 
 
 
  1. public class QueryHiveTest {  
  2.   
  3.     public static void main(String[] args) {  
  4.         String tablename="test1";  
  5.                 QueryHiveUtils.getAll(tablename);  
  6.     }  
  7.   
  8. }  
 
 
 
   
 
 

 

public class QueryHiveTest {

	public static void main(String[] args) {
		String tablename="test1";
                QueryHiveUtils.getAll(tablename);
	}

}
 

 

 运行结果如下： 

 

 
 
 
  
 
   [java] 
    view plain 
     copy 
   
 
   
 
   print 
   ? 
  
 
 
 
 
  1. select * from test1  
  2. 1       张三      男       20.0                  
  3. 2       李四      女       35.0                  
  4. 3       王五      男       null                  
  5. 4       赵六      null        70.0                  
 
 
 
   
 
 

 

select * from test1
1		张三		男		20.0				
2		李四		女		35.0				
3		王五		男		null				
4		赵六		null		70.0				
 

 

 

 


 
 

 

 

 

 

 


 
 


 
 


 
 


 

                

        

        

    




    

      

        

            

              
                
                  zwbill
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                      0
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    0
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                    0
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          










                



	

		

			

				
					
使用JDBC连接hiveserver2

				
			

			

				

					zhuzuwei的博客
				

				

					08-19
					
					6404
					
				

			

		

		

			
				
1. 先在linux中启动hiveserver2

命令：hive --service hiverserver2

 

2. 使用Eclipse创建java项目，并在项目中导入以下jar包（可在hadoop/share/lib和hive/lib中找）



3. Hive的JDVC客户端操作步骤



 

4. Java代码

(1) JDBCUtils


import java.sql.C...

			
		

	



                

              
                



	

		

			

				
					
【JDBC-Hive】使用JDBC操作Hive数据库_jdbc操作hive到本地

					
最新发布

				
			

			

				

					2401_84183492的博客
				

				

					04-17
					
					956
					
				

			

		

		

			
				
【代码】【JDBC-Hive】使用JDBC操作Hive数据库_jdbc操作hive到本地。

			
		

	



                


  
              

                


	

		

			

				
					
通过JDBC连接Hive Server2

				
			

			

				

					陆云子安的专栏
				

				

					05-17
					
					6050
					
				

			

		

		

			
				
通过JDBC连接Hive Server2的若干个步骤

			
		

	





	

		

			

				
					
通过JDBC连接HiveServer2

				
			

			

				

					weixin_30725467的博客
				

				

					05-31
					
					249
					
				

			

		

		

			
				
如果通过JDBC连接HiveServer2时提示：User： hive is not allowed to impersonate hive，需要在core-site.xml中新增如下配置：
　　hadoop.proxyuser.hive.hosts=*
　　hadoop.proxyuser.hive.groups=*
红色部分表示可通过代理用户hive操作的主机和用户组，蓝色部分表示所...

			
		

	



		

			
		



	

		

			

				
					
使用JDBC连接和操作hive（hiveserver2）

				
			

			

				

					逆天骚年的博客
				

				

					04-14
					
					5112
					
				

			

		

		

			
				
第一步：创建项目 并导入hive相关jar包第二步：编写代码如下：import java.sql.Statement;import java.sql.DriverManager;import org.apache.tools.ant.taskdefs.Echo;public class TestHive2 {	 private static String driverName = "org.apa...

			
		

	





	

		

			

				
					
HiveServer2-JDBC及用户权限测试

				
			

			

				

					07-16
				

			

		

		

			
				
HiveServer2 是 Hive 的一种服务形式，能够提供 JDBC 连接方式，用户可以通过 JDBC.Driver 来连接 HiveServer2，从而访问 Hive 数据库。HiveServer2 提供了强大的安全机制，能够实现身份验证和授权管理。本文将详细...

			
		

	





	

		

			

				
					
hive jdbc连接Demo

				
			

			

				

					07-08
				

			

		

		

			
				
jdbc连接hive的小示例程序，使用方法： 1、在Hadoop服务器上启动远程服务接口，命令： nohup hive --service hiveserver 10000 & （指定端口启动） 2、将test主程序里的IP改为自己用的Hadoop服务器ip，即可使用。

			
		

	





	

		

			

				
					
hive jdbc必用jar包

				
			

			

				

					10-21
				

			

		

		

			
				
当需要在Java应用中远程连接到Hive进行数据操作时，Hive JDBC就扮演了关键角色。  Hive JDBC允许Java应用通过标准的JDBC API与Hive服务器进行通信，从而实现对Hive的数据读取、写入和管理。在Hive 1.2.1版本中，提供...

			
		

	





	

		

			

				
					
hive2_auth-1.0.jar

				
			

			

				

					08-14
				

			

		

		

			
				
Hiveserver2 Beeline连接设置用户名和密码，通用jar包。放到hive lib路径下即可。用户名密码在配置文件hive-site.xml中配置，具体的配置方式，请参考本站博文。   	<name>hive.jdbc_passwd.auth.root</name><!--用户...

			
		

	





	

		

			

				
					
基于SpringBoot+hiveJDBC+echarts的数据大屏可视化和大数据分析源码+项目使用说明.zip

				
			

			

				

					12-27
				

			

		

		

			
				
SpringBoot整合HiveJdbc, 远程连接HiveServer2，并结合Java和HiveSQL 对存储在Hadoop 的6万条电商数据，进行数据分析。后端生成Json 格式，前端解析Json格式，并实现数据大屏可视化。 通过大数据分析，生成有价值...

			
		

	





	

		

			

				
					
hiveserver2 jdbc

				
			

			

				

					07-06
				

			

		

		

			
				
hive1.2.1使用jdbc连接hive server2的所有jar包

			
		

	





	

		

			

				
					
hive2-jdbc:Hive JDBC连接示例，包括简单和kerberos身份验证方法

				
			

			

				

					04-28
				

			

		

		

			
				
Hive JDBC连接示例
该项目展示了如何使用各种不同的方法连接到Hiveserver2。 所有类仅适用于Hiveserver2。 正在使用Cloudera JDBC驱动程序，可以从下载。 在撰写本文时，最新版本为v2.5.15 。
要求：
 您需要下载驱动程序并将其复制到lib文件夹。
 从下载zip，以获取正确的操作系统和体系结构。
 解压缩并转到Cloudera_HiveJDBC41_xxx文件夹。
 将所有罐子从那里复制到lib文件夹。
 JDBC API v3.x支持JRE v4.0或v5.0
 JDBC API v4.x支持JRE v6.0或更高版本
JDBC API v4.1.x支持JRE v7.0或更高版本
适用于Apache Hive的Cloudera JDBC驱动程序支持Hive 0.11、0.12、0.13、0.14、1.0和1.1。
 有关更多信息，请参阅下载的z

			
		

	





	

		

			

				
					
Java调用hiveServer2,用Java代码通过JDBC连接Hiveserver2

				
			

			

				

					weixin_39519619的博客
				

				

					03-16
					
					191
					
				

			

		

		

			
				
1.在终端启动hiveserver2#hiveserver22.使用beeline连接hive另外打开一个终端，输入如下命令(xavierdb必须是已经存在的数据库)#beeline -u jdbc:hive2://localhost:10000/xavierdb -n hive -p hive3.添加maven依赖  org.apache.hivehive-jdbc1.1.0junitjunit...

			
		

	





	

		

			

				
					
JDBC远程连接hiveserver2

				
			

			

				

					ChayCao
				

				

					11-13
					
					680
					
				

			

		

		

			
				
转自http://www.mamicode.com/info-detail-1563222.html我在 JDBC 连接 Hive 的过程中遇到了很多问题，主要是两大问题：
第一个问题: 没有开启 hiveserver2 服务,对该概念理解不到位，以为像 CLI 一样直接就能连接 Hive；
第二个问题：缺少了　hadoop-2.2.0/share/hadoop/common/hadoop-comm

			
		

	





	

		

			

				
					
Java JDBC方式连接HIVE2

					
热门推荐

				
			

			

				

					遥望......
				

				

					09-09
					
					2万+
					
				

			

		

		

			
				
一般连接hive的方式有CLI（登录到服务器或者本地切换到hive环境），Client(SQUIREEL SQL客户端)，Web UI(hive --service hwi )等
Java 操作JDBC同普通JDBC数据库一样，首先需要启动Hive 服务打开bin/hive --service hiveserver -p 10000
public List getDocIds(String r

			
		

	





	

		

			

				
					
Hive 通过 Jdbc 连接 HiveServer2

				
			

			

				

					SmartSi
				

				

					12-21
					
					758
					
				

			

		

		

			
				
如果想通过 JDBC 来访问 HiveServer2，需要开启 HiveServer2 服务

			
		

	





	

		

			

				
					
java本地使用JDBC连接Spark SQL（HiveServer2）

				
			

			

				

					Deegue
				

				

					02-06
					
					9041
					
				

			

		

		

			
				
根据Spark官网所述，Spark SQL实现了Thrift JDBC/ODBC server：

 

The Thrift JDBC/ODBC server implemented here corresponds to the HiveServer2 in Hive 1.2.1 You can test the JDBC server with the beeline script that...

			
		

	





	

		

			

				
					
java 连接hive2,java jdbc连接hiveserver2

				
			

			

				

					weixin_30945845的博客
				

				

					03-14
					
					619
					
				

			

		

		

			
				
1 首先修改 hive-site.xml配置端口(默认就是10000)hive.server2.thrift.port10000hive.server2.thrift.bind.hostlocalhost 2 启动hiveserver2服务$HIVE_HOME/bin/hive --service hiveserver23测试连接是否以连上不用写jdbc程序,运行 bin/beeline.sh然...

			
		

	





	

		

			

				
					
要开启hive的远程连接一定要开启hiveserver2吗

				
			

			

				

					05-30
				

			

		

		

			
				
是的，要开启Hive的远程连接，必须要启动HiveServer2。HiveServer2是Hive的一个服务，它提供了一个标准的ODBC/JDBC接口，使得用户可以通过各种编程语言或工具（如Java、Python、Tableau等）连接到Hive，并执行SQL语句。启动HiveServer2后，客户端可以通过TCP/IP协议连接到HiveServer2，并使用ODBC/JDBC接口执行SQL查询。

			
		

	



              



  
“相关推荐”对你有帮助么？

  

      
    
          
  • 
              
    
                  
                  
              
    
              
    非常没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    一般
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    有帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    非常有帮助
    
          
    • 
      

      

      

          
          提交
      

      

  




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值