- 博客(9)
- 收藏
- 关注
RSS订阅原创 高效删除HBase指定列族下的指定列
最近遇到的问题，需要删除指定列族下的指定列，考虑到原理就是扫描hbase表，获取rowkey，进行删除，value值的返回没有意义。但是怎么能快速扫描呢？高性能肯定是第一考虑点，废话不说，上代码：public static void delete(Configuration config, String tableName, String cf, String qualifier) { Connection connection = null; HTable hTabl
2020-08-05 10:41:21
1025
转载 HBase配置参数
hbase.rootdir：这个目录是region server的共享目录，用来持久化Hbase。URL需要是'完全正确'的，还要包含文件系统的scheme。例如，要表示hdfs中的 '/hbase'目录，namenode 运行在namenode.example.org的9090端口。则需要设置为hdfs://namenode.example.org:9000 /hbase。默认情况下Hbase是写到/tmp的。不改这个配置，数据会在重启的时候丢失。默认:file:///tmp/hbase-${use...
2020-05-29 11:52:14
361
原创 稀疏数组
忽然心血来潮，看了一下简单的数据结构，入门级别的，不要介意！定义稀疏数组又可以叫做稀疏矩阵。 稀疏数组是一个二维数组中有效信息较少，或者说非0元素远少于值为0的元素的数组。这里的0元素可以自己定义,找一个元素比较集中的就可以。通常认为一个矩阵中非零元素的总数比上矩阵所有元素总数的值小于等于5%时， 则称该矩阵为稀疏矩阵，该比值称为这个矩阵的稠密度。存在的意义当一个大型二维...
2019-11-01 20:03:42
360
原创 HIVE企业级优化
基本出发点1、考虑环境 (硬件服务器、配置)2、业务 (统计指标的实现思路)3、代码或者配置属性 （hive-default.xml中的属性）具体优化方案1.查看执行计划 explain 和 explain extended2.join3.limit的优化4.本地模式5.并行执行6.严格模式7.mapper和reducer的个数8.配置jvm重用9.数据倾斜...
2019-09-20 15:13:51
213
转载 HIVE函数大全
1.内置运算符1.1关系运算符运算符 类型 说明A = B 所有原始类型 如果A与B相等,返回TRUE,否则返回FALSEA == B 无 失败，因为无效的语法。 SQL使用”=”，不使用”==”。A <> B 所有原始类型 如果A不等于B返回TRUE,否则返回FALSE。如果A或B值为”NULL”，结果返回”NULL”。A < B 所有原始类型 如果...
2019-09-11 11:56:09
1226
原创 Nginx服务开启，浏览器输入Ip无法访问
理想状态：在浏览器输入虚拟机IP即可访问到Welcome to nginx! 页面我的nginx已经启动，但是在浏览器无法访问但是，在浏览器输入IP后，无法访问。然后我去查看我的80端口有没有开放发现有结果输出，证明nginx配置与启动没有问题。感觉就是出在防火墙配置文件，有没有配80端口，进去发现，果然没有，现在配置进去然后重启防火墙，再从浏览器上输入I...
2019-08-27 16:11:07
2988
原创 NoSql 非关系型数据库基础讲解
NoSQL指的是非关系型数据库。用于超大数据的存储。例如谷歌和FaceBook.这些类型的数据存储不需要固定的模式，无需多于操作就可以横向扩展。使用NoSql的好处可以对数据量比较大的数据，比如用户个人信息，日志等数据进行挖掘。因为数据量比较大，SQL数据库已经不适合这些应用，NoSql数据库的发展却能很好的处理这些数据。关系型数据库和非关系型数据库比较关系型数据库 RDBMS...
2019-08-20 13:07:55
206
原创 MySql数据库优化
MySql调优准备工作查看慢 SQL 日志是否启用（on 表示启用）:show variables like 'slow_query_log';查看执行慢于多少秒的 SQL 会记录到日志文件中show variables like 'long_query_time';修改MySql的配置文件需要重启服务，但是同命令行不用重启服务，但只是临时性的，关掉后再打开还是原来的配置...
2019-08-19 21:54:19
309
原创 设置VMWare与SecureCRT连接
设置虚拟机网络进入 /etc/sysconfig/network-scripts/ cd /etc/sysconfig/network-scripts/里面有个ifcfg-eth0文件 去修改这个文件修改后为：DEVICE=eth0HWADDR=00:0C:29:0E:A7:8ATYPE=EthernetUUID=b55529a3-6d5a-4128-960e-a...
2019-08-15 15:42:53
987
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人