![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hbase
文章平均质量分 68
Hbase知识
依晴无旧
专注大数据、Java后端、软件测试、Linux端的技术研究
展开
-
HBase基础知识(七):HBase 性能优化示例全解
在 HBase 中 HMaster 负责监控 HRegionServer 的生命周期,均衡 RegionServer 的负载, 如果 HMaster 挂掉了,那么整个 HBase 集群将陷入不健康的状态,并且此时的工作状态并不会维持太久。所以 HBase 支持对 HMaster 的高可用配置。1.关闭 HBase 集群(如果没有开启则跳过此步)2.在 conf 目录下创建 backup-masters 文件3.在 backup-masters 文件中配置高可用 HMaster 节点。原创 2023-12-26 18:58:12 · 1663 阅读 · 0 评论 -
HBase基础知识(四):HBase API
【代码】HBase基础知识(四):HBase API。原创 2023-12-25 08:14:47 · 1158 阅读 · 0 评论 -
HBase基础知识(一):HBase简介、HBase数据模型与基本架构
HBase是一种分布式、可扩展、支持海量数据存储的NoSQL数据库。原创 2023-12-21 15:59:58 · 1884 阅读 · 0 评论 -
HBase基础知识(五):HBase 对接 Hadoop 的 MapReduce
目标:将 fruit 表中的一部分数据,通过 MR 迁入到 fruit_mr 表中。分步实现:1.构建 ReadFruitMapper 类,用于读取 fruit 表中的数据@Override2. 构建 WriteFruitMRReducer 类,用于将读取到的 fruit 表中的数据写入到 fruit_mr 表中//可以进行动态传参String cf1;@Override@Override//1.遍历values。原创 2023-12-25 14:04:16 · 1608 阅读 · 0 评论 -
HBase基础知识(六):HBase 对接 Hive
1.Hive(1) 数据仓库 Hive 的本质其实就相当于将 HDFS 中已经存储的文件在 Mysql 中做了一个双射关系,以 方便使用 HQL 去管理查询。(2) 用于数据分析、清洗 Hive 适用于离线的数据分析和清洗,延迟较高。(3) 基于 HDFS、MapReduce Hive 存储的数据依旧在 DataNode 上,编写的 HQL 语句终将是转换为 MapReduce 代码执 行。2.HBase(1) 数据库 是一种面向列族存储的非关系型数据库。原创 2023-12-26 18:51:43 · 849 阅读 · 0 评论 -
HBase基础知识(二):HBase集群部署、HBaseShell操作
首先保证Zookeeper集群的正常部署,并启动之:创建集群启动脚本:Hadoop集群的正常部署并启动:解压Hbase到指定目录:修改HBase对应的配置文件。先获取自己环境的java信息注释下面的信息:修改一下信息:可以看到两个文件都做好了引用:提示:如果集群之间的节点时间不同步,会导致regionserver无法启动,抛出ClockOutOfSyncException异常。修复提示:a、同步时间服务请参看帮助文档:《尚硅谷大数据技术原创 2023-12-21 16:28:48 · 1233 阅读 · 0 评论 -
HBase基础知识(三):HBase架构进阶、读写流程、MemStoreFlush、StoreFile Compaction、Region Split
保存实际数据的物理文件,StoreFile以HFile的形式存储在HDFS上。每个Store会有一个或多个StoreFile(HFile),数据在每个StoreFile中都是有序的。2)MemStore写缓存,由于HFile中的数据要求是有序的,所以数据是先存储在MemStore中,排好序后,等到达刷写时机才会刷写到HFile,每次刷写都会形成一个新的HFile。3)WAL。原创 2023-12-23 17:47:05 · 1074 阅读 · 1 评论