首先,我们在hbase中创建一张表
create 'user_sysc', {NAME => 'info'}
然后,我们在hive中执行
[root@bd-130 ~]# beeline -u 'jdbc:hive2://192.168.128.130:10000/default' -n hive -p hive
CREATE EXTERNAL TABLE user_sysc (key int, value string) ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ( 'serialization.format'='\t', 'hbase.columns.mapping'=':key,info:name', 'field.delim'='\t')
TBLPROPERTIES ('hbase.table.name'='user_sysc');
注意:
说明:默认第一个字段为rowkey,即为id。info为列簇,name为列名。
hbase.table.name为hive表在habse中的名称,
创建的是外部表(external),hbase该表必须存在,否则报错(内部表不必在hbase中先创建)
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:MetaException(message:HBase table tbl_hive_test doesn't exist while the table is declared as an external table.)
在hbase shell中先创建create 'user_sysc ','info'
创建一张外部表指向hbase中的表,然后,我们在hive执行
insert into table user_sysc select id,name from user_info;
入一步份数据到user_sysc可以看到:
然后,我们在hbase里面执行scan 'user_sysc' 可以看到:
接下来,我们在hbase里面执行 deleteall 'user_sysc', '11'
删掉一条数据,如下:
然后,我在hive里面查询看看,如下:
说明自动同步过来了。因此,只要创建hive表时,与hbase中的表做了映射,表名和字段名可以不一致,之后无论在hbase中新增删除数据还是在hive中,都会自动同步。
如果在hive里面是创建的外部表需要在hbase中先创建,内部表则会在hbase中自动创建指定的表名。
因为hive不支持删除等操作,而hbase里面比较方便,所以我们可以采用这种方式。
问题:
1、在hive上创建表和hbase映射报错:java.lang.NoClassDefFoundError: com/yammer/metrics/core/Gauge
解决方法:
表明hbase中metrics-core-3.0.2.jar包没有在集群的classpath中,查看该job的syslog logs "conf classpath =..."确实不存在该包,需要将protobuf-java-2.4.0a.jar包copy至所有节点$HADOOP_HOME/lib下,并需要重启集群(不重启该包不会被加载进classpath)