Hbase
文章平均质量分 50
曾阿伦
不成修士,终为蝼蚁
展开
-
hdp2.5升级phoenix版本为4.8+
升级其他版本亦可用如下的操作方式。23、将修改后的/usr/hdp/2.5.0.0-1245/phoenix拷贝到其他所有节点中/usr/hdp/2.5.0.0-1245目录下。4、解压tar -zxvf apache-phoenix-4.8.2-HBase-1.2-bin.tar.gz。15、将上级目录以phoenix-pherf-4.8.2-HBase-1.1开头的jar包拷贝到当前目录。6、修改apache-phoenix-4.8.2-HBase-1.2-bin目录名为phoenix。原创 2023-06-01 10:06:04 · 182 阅读 · 0 评论 -
hbase集群部分异常问题解决
连不上zookeeper,查看zookeeper的日志文件有报too many connections from host - max is 10 的错误,因为hbase连接zookeeper的连接数太多,默认zookeeper给每个客户端IP使用的连接数为10个,目前每个regionserver有三百个region,stop zookeeper修改zoo.cfg:maxClientCnxns=300,重启zookeeper。就是有节点的标识可能重复。3).还有可能是防火墙的限制集群间的互相通信。原创 2023-05-23 09:24:44 · 719 阅读 · 0 评论 -
hbase 线程池问题处理
解决办法:关掉hbase集群,在每个RegionServer上的hbase-site.xml配置文件里面增加如下。phoenix报错:is opening on hadoop78,60020。Table PT_LABREPORT is okay.所有表都ok。注:hbase hbck -fix可以修复hbase数据不一致。命令hbase hbck:出现大量异常信息。原创 2023-05-18 14:26:59 · 227 阅读 · 0 评论 -
Hbase压缩的实现
(2) 读写性能:因为数据写入是先将kv数据值写到缓存,最后再统一flush的硬盘,而压缩是在flush这个阶段执行的,因此会影响flush的操作,对写性能本身并不会有太大影响;(1) 资源使用情况:压缩最直接、最重要的作用即是减少数据硬盘容量,理论上snappy压缩率可以达到5:1,但是根据测试数据不同,压缩率可能并没有理论上理想;根据读路径来看,数据读取到缓存之前block块会先被解压,缓存到内存中的block是解压后的,因此和不压缩情况相比,内存前后基本没有任何影响。原创 2023-05-16 11:33:03 · 283 阅读 · 0 评论 -
hbase并发问题
原因及修改方法:由于 Linux系统最大可打开文件数一般默认的参数值是1024,通过 ulimit -n 65535 可即时修改,但重启后就无效了。1.在/etc/rc.local 中增加一行 ulimit -SHn 65535。2.在/etc/profile 中增加一行 ulimit -SHn 65535。3.在/etc/security/limits.conf最后增加如下两行记录。原创 2023-05-12 09:27:00 · 92 阅读 · 0 评论 -
hbase预分区建表
【代码】hbase预分区建表。原创 2023-05-10 17:20:40 · 165 阅读 · 0 评论 -
hbase升级
配置conf下的hbase-site.xml和hbase-env.sh,拷贝core-site.xml和hdfs-site.xml到conf。因phoenix全局索引需要加入防死锁配置,将hbase0.98.21升级到hbase0.98.4版本。将phoenix的jar包拷贝到hbase0.98.4的lib目录下。将配置好的hbase0.98.4拷贝到每一个hadoop节点。执行升级检查:hbase upgrade -check。执行升级:hbase upgrade -execute。原创 2023-05-10 17:19:12 · 190 阅读 · 0 评论 -
hbase-0.96.x相对hbase-0.94.x的改变
类org.apache.hadoop.hbase.HTableDescriptor的构造方法public HTableDescriptor(String name)已被弃用(Deprecated)之前版本使用conf.set(TableInputFormat.SCAN, StatUtils.convertScanToString(scan));类org.apache.hadoop.hbase.client.HTablePool整个被弃用(Deprecated)原创 2023-04-27 16:54:24 · 76 阅读 · 0 评论