HBase 实现二级索引

最新推荐文章于 2024-06-05 01:38:23 发布
最新推荐文章于 2024-06-05 01:38:23 发布
阅读量1.9k 收藏 1
点赞数
分类专栏： hbase
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhanglin200508/article/details/52451784
版权

MapReduce方式创建二级索引

使用整合MapReduce的方式创建hbase索引。主要的流程如下：

1.1扫描输入表，使用hbase继承类TableMapper

1.2获取rowkey和指定字段名称和字段值

1.3创建Put实例， value=rowkey, rowkey=columnName +"_" +columnValue

1.4使用IdentityTableReducer将数据写入索引表

 

1.1 继承TableMapper

GenerateIndexMapper继承TableMapper类

LoadIndexMapper类数据批量导入hbase

SecondIndexMain是驱动类

二级索引种类：

2.1创建单列索引

2.2同时创建多个单列索引

2.3创建联合索引（最多同时支持3个列）

2.4只根据rowkey创建索引


黄色沙琪玛
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
使用Phoenix创建二级索引
vicleev的博客
09-25 3620
1. 为什么需要用二级索引? 对于HBase而言，如果想精确地定位到某行记录，唯一的办法是通过rowkey来查询。如果不通过rowkey来查找数据，就必须逐行地比较每一列的值，即全表扫瞄。对于较大的表，全表扫描的代价是不可接受的。但是，很多情况下，需要从多个角度查询数据。例如，在定位某个人的时候，可以通过姓名、身份证号、学籍号等不同的角度来查询，要想把这么多角度的数据都放到rowkey中几乎不可能...
hbase(coprocessor)-es构建二级索引(完整版)
The_Inertia的博客
12-25 1212
hbase(coprocessor)整合es构建二级索引 一.简介 HBase包含两种协处理器：Observers和Endpoint 1.RegionObserver: eg:可以在客户端进行get操作时，通过preGet进行权限控制 //主要方法： preOpen, postOpen: Called before and after the region is reported as onlin...
HBase二级索引原理与代码实例讲解
最新发布
AI大模型应用之禅
06-05 369
HBase二级索引原理与代码实例讲解 1.背景介绍 Apache HBase是一个分布式、可伸缩、面向列的开源数据库。它是一个适合于非结构化数据存储的数据库系统。HBase基于Google的Bigtable构建,运行在HDFS之上,目的是为了节省存储空间和处理海量数据。 然
HBase二级索引与Join
kindy的开发工作室
05-29 956
<br />来自： http://rdc.taobao.com/team/jm/archives/951<br /> <br />二级索引与索引Join是多数业务系统要求存储引擎提供的基本特性，RDBMS早已支持，NOSQL阵营也在摸索着符合自身特点的最佳解决方案。<br />这篇文章会以HBase做为对象来讨论如何基于Hbase构建二级索引与实现索引join。文末同时会列出目前已知的包括0.19.3版secondary index, ITHbase, Facebook方案和官方Coprocessor的介绍
hbase创建二级索引
01-22
public class IndexBuilder3 extends Configured{ public static class MapperIndex extends TableMapper<ImmutableBytesWritable,Put>{ private String tableName; private String columnFamily; private String[] qualifiers; //列为key，索引表表名为value private Map<byte[],ImmutableBytesWritable> indexs = new HashMap<byte[],ImmutableBytesWritable>(); @SuppressWarnings("deprecation") @Override protected void map(ImmutableBytesWritable key, Result value, Context context) throws IOException, InterruptedException { //获取所有需要建索引的列 Set<byte[]> keys = indexs.keySet(); for (byte[] k:keys){ // 该列对应的索引表名字
hbase+solr创建二级索引完整操作
09-04
楼主实操的步骤整理的，只需要将Zookeeper的ip换成自己集群的就可以一步步地跟着文档实现，感兴趣的同学可以看看。
HBase二级索引实现方案
04-12
本方案主要参照了华为公布的HBase二级索引实现方案。为每个DataTable创建一个与之对应的IndexTable，通过各种途径，保证IndexTable Region与DataTable Region一一对应，并且存储在同一个RegionServer上。
HBase二级索引 简易理解
01-07
一、解决的问题 1、RowKey 例子 ...二、对于上面需求 简单解决方案（二级索引 相当于添加一层映射关系到 原RowKey） 增加新的Hbase表 RowKey：hive_table__date___date__hive_table (解释：hive_tabl
HBase二级索引
01-21
根据华为公布的 HBase 二级索引实现方案，本方案主要参照了该方案，设计了 HBase 的二级索引机制。 知识点一：HBase 二级索引实现方案的概要设计 HBase 二级索引实现方案的主要思路是，为每个 DataTable 创建一个...
hbase+Coprocesser+solr实现二级索引
09-06
为了解决这个问题，我们可以结合HBase的Coprocessor机制和Solr来构建二级索引，实现更高效的查询性能。 首先，我们来理解一下“二级索引”。在HBase中，一级索引是基于行键（Row Key）的，它是默认的、快速的访问...
HBase二级索引的设计与应用（详解）
热门推荐
BigData_Mining的博客
09-04 1万+
最近面试，涉及到了HBase的多条件组合查询，数据存储用的是HBase，恰恰HBase对于这种场景的查询特别不给力，一般HBase的查询都是通过RowKey(要把多条件组合查询的字段都拼接在RowKey中显然不太可能)，或者全表扫描再结合过滤器筛选出目标数据(太低效)，所以通过设计HBase的二级索引来解决这个问题。 查询需求 多个查询条件构成了多维度的组合查询，需要根据不同组合查询出符合...
Hbase中的二级索引
weixin_42796403的博客
01-31 4067
Hbase中的二级索引 一、什么是索引 索引是一种数据结构，为了加速查询！ HBase中的一级索引指，数据在写入region时，会根据rowkey进行排序后写入，之后regionserver在加载region时，会自动为当前region的rowkey创建一个LSM树的索引！方便对当前region，rowkey的查询！ HBase 里面只有 rowkey 作为一级索引， 如果要对库里的非 rowkey 字段进行数据检索和查询， 往往要通过 MapReduce/Spark 等分布式计算框架进行，硬件资源消
HBase学习之二级索引
dhtx_wzgl的博客
10-26 5964
1.引言         随着大数据时代的来临，数据的规模越来越大，TB级已经成为常态。对于海量的数据，如何对其进行有效的处理，是一个挑战。开源分布式数据库HBase数据库很好的解决了海量数据的存储问题，但是HBase只支持Rowkey作为索引检索数据，所以HBase在检索非Rowkey列的数据时，性能会很差。基于HBase这一特性，业界展开了对HBase二级索引的研究。业界对于HBase二级索
Phoenix创建Hbase二级索引
gggSam的博客
07-30 554
Phoenix创建Hbase二级索引 第1章 Phoenix简介 1.1 Phoenix定义 Phoenix是HBase的开源SQL皮肤。可以使用标准JDBC API代替HBase客户端API来创建表，插入数据和查询HBase数据。 1.2 Phoenix特点 容易集成：如Spark，Hive，Pig，Flume和Map Reduce。 性能好：直接使用HBase API以及协处理器和自定义过滤器，可以为小型查询提供毫秒级的性能，或者为数千万行提供数秒的性能。 操作简单：DML命令以及通过DDL
构建HBase二级索引和工具----学习笔记
PeixinYe的博客
03-14 760
HBase只针对行键索引，访问HBase表中的行只用三种方式；（原生产品中）行键访问；行键区间访问；全表扫描；其他产品：Hindex二级索引HBase+RedisHBase+solrCoprocessor构建二级索引；Coprocessor提供了两个实现：endpoint和observer，endpoint相当于关系型数据库的存储过程，而observer则相当于触发器observer允许我们在记录...
hbase如何构建二级索引 14
啊策策大数据社区
04-25 586
1. 现有实例数据 现有原始hbase表如下， rowkey： hbase的主键 F1：列簇F1 C1：列簇F1下的列C1 F2：列簇F2 C2：列簇F2下的列C2 C11：列簇F1，列名C1对应的列值C11 C21：列簇F2，列名C2对应的列值C21 2. 需求 查询hbase中，符合条件F1:C1=C11的F2:C2的值 3. 分析 如实查询就像mysql中，select name f...
hbase二级索引
#include<?>
04-11 2169
概述 HBase 是一款基于 Hadoop 的 key-value 数据库，它提供了对 HDFS 上数据的高效随机读写服务，完美地填补了 Hadoop MapReduce 仅适于批处理的缺陷，正在被越来越多的用户使用。作为 HBase 的一项重要特性，Coprocessor 在 HBase 0.92 版本中被加入，并广受欢迎 利用协处理器，用户可以编写运行在 HBase Server 端的代
hbase 二级索引实现
mllhxn的专栏
10-16 1137
问题导读 1.如何建立全局二级索引？ 2.如何对一个表建立二级索引？ 3.如何卸载二级索引？ 环境：hadoop2.2+hbase0.94不过同样应该适用于hadoop2.4及hbase0.985，未测试 二级索引可以对单个表建立索引，也可以全局建立索引，也就是对所有表： 1.全局建立索引，可以修改hbase-site.xml文件
Hbase 二级索引
fwk19840301的博客
07-02 991
Hbase 使用二级索引原因： 目前 HBase 主要应用在结构化和半结构化的大数据存储上，其在插入和读取上都具有极高的性能表现，这与它的数据组织方式有着密切的关系，在逻辑上，HBase 的表数据按RowKey 进行字典排序， RowKey 实际上是数据表的一级索引（Primary Index），由于HBase 本身没有二级索引（Secondary Index）机制，基于索引检索...
360 HBase二级索引设计：挑战与实践
《HBASE二级索引的设计与实践.ppt》是赵健博于2015年4月24日针对奇虎360在实际业务场景中对HBase进行二级索引设计和应用的一份分享。HBase作为一种NoSQL数据库，主要用于海量数据存储，其原生设计并不支持高效的多...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值