使用Mapreduce将hbase 1.1.2 数据导入elasticsearch 2.3.4 中所遇到的坑

最新推荐文章于 2024-06-30 21:03:25 发布
最新推荐文章于 2024-06-30 21:03:25 发布
阅读量1.3k 收藏
点赞数
分类专栏： hbase elasticsearch mapreduce 文章标签： hbase elasticsearch mapreduce hbase es jackson
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zxz306418932/article/details/81700271
版权

由于上级领导给的需求，让把hbase中的数据通过mapreduce导入到es中，并且需要重新设计es中存储的结构。因为本人菜鸟一名，初次接触es就遇到了以下的坑，在此总结出来：

首先，先推荐两个博客，我就是参考这两个博客加上自己上百次的实验，最终完成了任务，非常感谢这两位博主的分享。

1.https://blog.csdn.net/fxsdbt520/article/details/53893421?utm_source=itdadao&utm_medium=referral 

2.https://blog.csdn.net/u014231523/article/details/52816218 

下面就是我本人遇到的坑：

通过博客一将基本的项目搭建好了，但是运行就会报下面的错

Exception in thread "main" org.apache.hadoop.hbase.DoNotRetryIOException: java.lang.IllegalAccessError: tried to access method com.google.common.base.Stopwatch.<init>()V from class org.apache.hadoop.hbase.zookeeper.MetaTableLocator
	at org.apache.hadoop.hbase.client.RpcRetryingCaller.translateException(RpcRetryingCaller.java:229)
	at org.apache.hadoop.hbase.client.RpcRetryingCaller.callWithoutRetries(RpcRetryingCaller.java:202)
	at org.apache.hadoop.hbase.client.ClientScanner.call(ClientScanner.java:320)
	at org.apache.hadoop.hbase.client.ClientScanner.nextScanner(ClientScanner.java:295)
	at org.apache.hadoop.hbase.client.ClientScanner.initializeScannerInConstruction(ClientScanner.java:160)
	at org.apache.hadoop.hbase.client.ClientScanner.<init>(ClientScanner.java:155)
	at org.apache.hadoop.hbase.client.HTable.getScanner(HTable.java:821)
	at org.apache.hadoop.hbase.client.MetaScanner.metaScan(MetaScanner.java:193)
	at org.apache.hadoop.hbase.client.MetaScanner.metaScan(MetaScanner.java:89)
	at org.apache.hadoop.hbase.client.MetaScanner.allTableRegions(MetaScanner.java:324)
	at org.apache.hadoop.hbase.client.HRegionLocator.getAllRegionLocations(HRegionLocator.java:88)
	at org.apache.hadoop.hbase.util.RegionSizeCalculator.init(RegionSizeCalculator.java:94)
	at org.apache.hadoop.hbase.util.RegionSizeCalculator.<init>(RegionSizeCalculator.java:81)
	at org.apache.hadoop.hbase.mapreduce.TableInputFormatBase.getSplits(TableInputFormatBase.java:256)
	at org.apache.hadoop.hbase.mapreduce.TableInputFormat.getSplits(TableInputFormat.java:237)
	at org.apache.hadoop.mapreduce.JobSubmitter.writeNewSplits(JobSubmitter.java:301)
	at org.apache.hadoop.mapreduce.JobSubmitter.writeSplits(JobSubmitter.java:318)
	at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:196)
	at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1290)
	at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1287)
	at java.security.AccessController.doPrivileged(Native Method)
	at javax.security.auth.Subject.doAs(Unknown Source)
	at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1698)
	at org.apache.hadoop.mapreduce.Job.submit(Job.java:1287)
	at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:1308)
	at org.eminem.hadoop.ESInitCall.run(ESInitCall.java:51)
	at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
	at org.eminem.hadoop.ESInitCall.main(ESInitCall.java:75)
Caused by: java.lang.IllegalAccessError: tried to access method com.google.common.base.Stopwatch.<init>()V from class org.apache.hadoop.hbase.zookeeper.MetaTableLocator
	at org.apache.hadoop.hbase.zookeeper.MetaTableLocator.blockUntilAvailable(MetaTableLocator.java:596)
	at org.apache.hadoop.hbase.zookeeper.MetaTableLocator.blockUntilAvailable(MetaTableLocator.java:580)
	at org.apache.hadoop.hbase.zookeeper.MetaTableLocator.blockUntilAvailable(MetaTableLocator.java:559)
	at org.apache.hadoop.hbase.client.ZooKeeperRegistry.getMetaRegionLocation(ZooKeeperRegistry.java:61)
	at org.apache.hadoop.hbase.client.ConnectionManager$HConnectionImplementation.locateMeta(ConnectionManager.java:1185)
	at org.apache.hadoop.hbase.client.ConnectionManager$HConnectionImplementation.locateRegion(ConnectionManager.java:1152)
	at org.apache.hadoop.hbase.client.RpcRetryingCallerWithReadReplicas.getRegionLocations(RpcRetryingCallerWithReadReplicas.java:300)
	at org.apache.hadoop.hbase.client.ScannerCallableWithReplicas.call(ScannerCallableWithReplicas.java:151)
	at org.apache.hadoop.hbase.client.ScannerCallableWithReplicas.call(ScannerCallableWithReplicas.java:59)
	at org.apache.hadoop.hbase.client.RpcRetryingCaller.callWithoutRetries(RpcRetryingCaller.java:200)
	... 26 more

这是由于hbase和es中的guava包冲突报的错，hbase用的是guava-12.0.1，es用的是guava-18，在网上找了半天的解决办法，最终是通过另建一个只引es包的maven项目，然后将hbase和es分开如下

这是一个空项目，只配置了pom.xml文件，以下是pom.xml文件的配置

<project xmlns="http://maven.apache.org/POM/4.0.0"
	xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
	xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
	<modelVersion>4.0.0</modelVersion>

	<groupId>my.elasticsearch</groupId>
	<artifactId>es-shaded</artifactId>
	<version>1.0-SNAPSHOT</version>
	<packaging>jar</packaging>

	<name>es-shaded</name>
	<url>http://maven.apache.org</url>

	<properties>
		<project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
		<elasticsearch.version>2.3.4</elasticsearch.version>
	</properties>

	<dependencies>
		<dependency>
			<groupId>org.elasticsearch</groupId>
			<artifactId>elasticsearch</artifactId>
			<version>${elasticsearch.version}</version>
		</dependency>
	</dependencies>
	
	<build>
		<plugins>
			<plugin>
				<artifactId>maven-compiler-plugin</artifactId>
				<version>2.3.2</version>
				<configuration>
					<source>1.8</source>
					<target>1.8</target>
				</configuration>
			</plugin>
			<plugin>
				<groupId>org.apache.maven.plugins</groupId>
				<artifactId>maven-shade-plugin</artifactId>
				<version>2.4.1</version>
				<configuration>
					<createDependencyReducedPom>false</createDependencyReducedPom>
				</configuration>
				<executions>
					<execution>
						<phase>package</phase>
						<goals>
							<goal>shade</goal>
						</goals>
						<configuration>
							<relocations>
								<relocation>
									<pattern>com.google.guava</pattern>
									<shadedPattern>my.elasticsearch.guava</shadedPattern>
								</relocation>
								<relocation>
									<pattern>org.joda</pattern>
									<shadedPattern>my.elasticsearch.joda</shadedPattern>
								</relocation>
								<relocation>
									<pattern>com.google.common</pattern>
									<shadedPattern>my.elasticsearch.common</shadedPattern>
								</relocation>
								<relocation>
									<pattern>org.elasticsearch</pattern>
									<shadedPattern>my.elasticsearch</shadedPattern>
								</relocation>
							</relocations>
							<transformers>
								<transformer implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer" />
							</transformers>
						</configuration>
					</execution>
				</executions>
			</plugin>
		</plugins>
	</build>
</project>

配置好后，利用maven 清理，更新，打包，会在maven的源路径下生成一个jar包，然后关闭这个编译好的项目，在主项目中的pom.xml中引用这个jar包。

注：

这一段配置是非常重要的，你在主项目中需要更换导入类的包名。例如：

基本的问题解决了，在eclipse中运行程序没有问题，但是在集群中运行却一直报

Error: FAIL_ON_SYMBOL_HASH_OVERFLOW 

这个错误。这让我很头疼，查看集群的日志，错误如下：

2018-08-14 14:51:15,802 FATAL [main] org.apache.hadoop.mapred.YarnChild: Error running child : java.lang.NoSuchFieldError: FAIL_ON_SYMBOL_HASH_OVERFLOW
	at my.elasticsearch.common.xcontent.json.JsonXContent.<clinit>(JsonXContent.java:49)
	at my.elasticsearch.common.xcontent.XContentFactory.contentBuilder(XContentFactory.java:122)
	at my.elasticsearch.action.index.IndexRequest.source(IndexRequest.java:382)
	at my.elasticsearch.action.index.IndexRequest.source(IndexRequest.java:372)
	at my.elasticsearch.action.update.UpdateRequest.doc(UpdateRequest.java:472)
	at my.elasticsearch.action.update.UpdateRequestBuilder.setDoc(UpdateRequestBuilder.java:163)
	at org.eminem.hadoop.mapper.ESInitMapper.map(ESInitMapper.java:135)
	at org.eminem.hadoop.mapper.ESInitMapper.map(ESInitMapper.java:1)
	at org.apache.hadoop.mapreduce.Mapper.run(Mapper.java:146)
	at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:787)
	at org.apache.hadoop.mapred.MapTask.run(MapTask.java:341)
	at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:168)
	at java.security.AccessController.doPrivileged(Native Method)
	at javax.security.auth.Subject.doAs(Subject.java:422)
	at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1724)
	at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:162)

在网上查找解决方法，都是在说jackson版本不对，但是我在两个项目的pom文件中加了各种版本jackson但是都不行，最后尝试之前的maven映射引用，就在es的那个项目的配置文件中加入了

                                <relocation>
                                    <pattern>com.fasterxml.jackson</pattern>
                                    <shadedPattern>my.elasticsearch</shadedPattern>
                                </relocation>

这个配置，结果文件是：

加入了这个配置，然后将项目重新打包编译，放到集群上运行，结果成功！

 

下面是我在码云上面分享的自己根据博客一修改好的代码：

https://gitee.com/zhangxiaoze/hbaseToEs

爱码师
关注
专栏目录
hbase 导入到es_HBase数据同步到ElasticSearch的方案
weixin_39883091的博客
12-22 856
ElasticSearch的River机制ElasticSearch自身提供了一个River机制，用于同步数据。这里能够找到官方眼下推荐的River：可是官方没有提供HBase的River。事实上ES的River很easy，就是一个用户打包好的jar包，ES负责找到一个node，并启动这个River。假设node失效了。会自己主动找另外一个node来启动这个River。public interfa...
hbase 导入到es_elasticsearch+hbase整合步骤
weixin_39572152的博客
12-22 778
1:设计索引库的settings信息的mappings信息，并把这些配置信息保存到一个配置文件中。vibjsxt.json{"settings":{"number_of_shards":5,"number_of_replicas":0},"mappings":{"doc":{"dynamic":"strict","properties":{"id":{"type":"integer","stor...
Elasticsearch结合hbase的应用
10-16
Elasticsearch结合hbase的应用 是一个分布式nosql的非关系数据库. 基于HDFS适合海量数据存储 根据RowKey查询数据,效率高 模糊查询效率非常差 随意组合的多条件查询非常差
百亿级存储架构： ElasticSearch+HBase 海量存储架构与实现
最新发布
架构师尼恩
06-30 3091
先看一下整体架构，整个数智枢纽(Data Intelligence Hub)服务 核心主要分为：数据统一接入层数据统一查询层元数据管理索引建立平台监控在线与离线数据存储层先看一下整体架构图，如下图：下面将分别对其进行介绍。尼恩提示： 以上内容比较复杂， 如果需要深入了解， 请参见尼恩后续的《百亿级海量数据存储架构和实操》配套视频。
MapReduce 中如何处理HBase中的数据？如何读取HBase数据给Map？如何将结果存储到HBase中？...
云计算?
07-05 488
MapReduce 中如何处理HBase中的数据？如何读取HBase数据给Map？如何将结果存储到HBase中？ Mapper类：包括一个内部类(Context)和四个方法(setup,map,cleanup,run)； setup,cleanup用于管理Mapper生命周期中的资源。setup -&gt; map -&gt; cleanup ， run方法执行了这个过程； map方法用...
hbase 导入到es_ES+Hbase对接方案概述
weixin_39809584的博客
12-22 938
方案背景Hbase的索引方案有很多，越来越多的人开始选择ES+Hbase的方案，其实该方案并没有想象中那么完美，ES并发低，同时查询速度相对Hbase也慢很多,那为什么会选择他呢，它的写入比较快，如果一个宽表需要建20个索引，在数据导入时，hbase每秒导入20W，那么ES压力就是每秒400W，solr和hindex都不能解决该问题。所以对并发高的业务场景，还是使用华为HIndex这种方案，也可以...
HBase
helloworld999999的博客
01-21 3677
一、初始HBase 1.1 HBase简介 1.1.1 HBase是什么 HBase是Goole的BigTable论文而来，是一个分布式海量列示非关系型数据库系统，可以提供超大规模数据集的实时随机读写。 认识HBase列存储 如下是MySql存储机制，空值字段浪费存储空间 如果是列存储的话： 列存储的优点： 1.减少存储空间的占用。 ...
数据中台建设方案-基于大数据平台
2301_76549664的博客
03-14 4465
通过对客户大数据应用平台服务需求的理解，根据建设目标、设计原则的多方面考虑，建议采用星环科技Transwarp Data Hub（TDH）大数据基础平台的架构方案，基于Transwarp Operating System（简称TOS）云平台方式部署构建。 通过建立大数据集成平台、大数据计算平台、大数据开发平台及大数据运维平台来满足客户大数据应用平台服务建设的要求。
tp5 php ES的使用
SunNang的博客
11-25 1923
分布式全文搜索解决方案 1.解决方案介绍 ElasticSearch是一个基于RESTful web接口的分布式全文搜索引擎。 本解决方案是基于Mysql数据库 、 Hadoop生态（可选）、 ElasticSearch搜索引擎三大数据系统实现一个分布式全文搜索系统。 主要包括数据接入、数据索引和全文搜索3个模块。适用于各种项目的各种搜索场景。 1.1 三大数据系统 1.1.1关系型数据库 用于对商品，用户等各种数据进行结构化存储。 关系型数据库对于事务性非常高的OLTP1操作(比如订单，结.
海量数据分析平台方案设计.docx
10-14
在构建海量数据分析挖掘平台时，应充分考虑数据的特性，选择适合的技术栈，如HDFS用于大规模数据存储，HBase或Cassandra提供实时查询服务，Hadoop MapReduce或Spark进行大数据处理，以及Elasticsearch用于非结构化...
hbase 导入到es_HBase 2.0 协处理器实现 ES 数据同步
weixin_27603469的博客
12-31 610
标签：hbase 2.0、elasticsearch、Coprocessor、协处理器在正式进行讲述实现之前，我觉得有必要说一下出发点。团队期初数据都是基于 HBase+Phoenix 这样架构进行持久化。随着业务的复杂性增加，对部分表的查询效率和查询条件多样性，提出了更高的要求。HBase+Phoenix 就会出现索引滥用。变更索引变的特别的频繁，同时一些数据客观的表，变更索引的代价是非常大的。...
hbase to elasticsearch
01-19
Hbase本身只有一级索引rowkey，现在通过Hbase coprocessor协处理器把Hbase的数据索引存储到Elasticsearch，从而建立二级索引；ppt中讲述了一些注意事项，挺有用的，希望能有所帮忙！
使用Hbase协作器(Coprocessor)同步数据到ElasticSearch（hbase 版本 1.2.0-cdh5.8.0, es 2.4.0 版本）
11-28
使用Hbase协作器(Coprocessor)同步数据到ElasticSearch（hbase 版本 1.2.0-cdh5.8.0, es 2.4.0 版本）源代码
Elasticsearch-HBase-replication同步
05-11
用于hbase同步数据到es(replication机制)
HBase+ElasticSearch搭建过程详解
08-09
HBase+ElasticSearch搭建过程详解
elasticsearch hbase
zimuxin的专栏
05-13 1007
elasticsearchhbase 接下来是学习时间 hbase 是一个分布式的数据库 主要作用：海量数据的存储和准实时查询 一.Hbase的应用场景和特点 大数据类的场景、容量大、列式存储 多版本 扩展性 HBase 设计目标（特点）： 海量数据存储：如果预估到记录最多只有上百万行，那么传统的RDBMS完全就可以解决，没必要使用 HBase 了，HBase 被设计用来存储海量数据...
HBase + ES 插入查询测试
Crystal的专栏
05-24 1181
原始数据5千万
Hbase VS ElasticSearch
wuzd的专栏
08-29 939
从关系数据库的视角观察ElasticSearch和Hbase的读写， 若ElasticSearch是AK47，那Hbase就是马克沁。 运行环境：同一台笔记本电脑，虚拟的3节点的Centos7 环境 数据：一百万条数据的高表测试。（电脑弱，就做个试验） 结论： 全件写入：Hbase快 全件遍历：ES快 单行读出：都在0.5秒内 详细： 一、Hbase 1.用Python操作Hbase 2.Python写入100万行耗时，37分 3...
hbase 协处理器同步elasticsearch
siwangxiaoxuesheng的博客
04-25 279
协处理器代码 package com.***.hbase.coprocessors; import com.***.es.util.ESClient; import com.***.es.util.ElasticSearchBulkOperator; import org.apache.hadoop.hbase.Cell; import org.apache.hadoop.hbase.CellUtil; import org.apache.hadoop.hbase.CoprocessorEnvironme
MapReduce操作HBase数据导入HDFS的实验
本实验旨在通过使用MapReduce将HBase表中的数据批量导入到HDFS上，学习如何使用MapReduce连接并读取HBase数据表，并了解HBase在分布式计算中的应用。 实验环境：Centos 7.5操作系统，Apache Hadoop 2.7.3版本，...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值