hbase和hive数据同步

首先，我们在hbase中创建一张表

create 'user_sysc', {NAME => 'info'}

 

然后，我们在hive中执行

[root@bd-130 ~]# beeline -u 'jdbc:hive2://192.168.128.130:10000/default' -n hive -p hive

 

CREATE EXTERNAL TABLE user_sysc (key int, value string) ROW FORMAT SERDE  'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'

STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'

WITH SERDEPROPERTIES ( 'serialization.format'='\t', 'hbase.columns.mapping'=':key,info:name', 'field.delim'='\t')

TBLPROPERTIES ('hbase.table.name'='user_sysc');

 

注意:

说明:默认第一个字段为rowkey，即为id。info为列簇，name为列名。

hbase.table.name为hive表在habse中的名称,

创建的是外部表(external),hbase该表必须存在，否则报错(内部表不必在hbase中先创建)

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:MetaException(message:HBase table tbl_hive_test doesn't exist while the table is declared as an external table.)

在hbase shell中先创建create 'user_sysc ','info'

 

 

创建一张外部表指向hbase中的表，然后，我们在hive执行

insert into table user_sysc select id,name from user_info;

入一步份数据到user_sysc可以看到：

 

然后，我们在hbase里面执行scan 'user_sysc' 可以看到：

 

接下来，我们在hbase里面执行 deleteall 'user_sysc', '11'

删掉一条数据，如下： 

 

然后，我在hive里面查询看看，如下：

 

说明自动同步过来了。因此，只要创建hive表时，与hbase中的表做了映射，表名和字段名可以不一致，之后无论在hbase中新增删除数据还是在hive中，都会自动同步。 

 

如果在hive里面是创建的外部表需要在hbase中先创建，内部表则会在hbase中自动创建指定的表名。

因为hive不支持删除等操作，而hbase里面比较方便，所以我们可以采用这种方式。

 

---

 

问题：

1、在hive上创建表和hbase映射报错：java.lang.NoClassDefFoundError: com/yammer/metrics/core/Gauge

解决方法：

表明hbase中metrics-core-3.0.2.jar包没有在集群的classpath中，查看该job的syslog logs "conf classpath =..."确实不存在该包，需要将protobuf-java-2.4.0a.jar包copy至所有节点$HADOOP_HOME/lib下，并需要重启集群（不重启该包不会被加载进classpath）