大数据
小白请教IT
这个作者很懒,什么都没留下…
展开
-
高效删除HBase指定列族下的指定列
最近遇到的问题,需要删除指定列族下的指定列,考虑到原理就是扫描hbase表,获取rowkey,进行删除,value值的返回没有意义。但是怎么能快速扫描呢?高性能肯定是第一考虑点,废话不说,上代码:public static void delete(Configuration config, String tableName, String cf, String qualifier) { Connection connection = null; HTable hTabl原创 2020-08-05 10:41:21 · 1075 阅读 · 0 评论 -
HBase配置参数
hbase.rootdir:这个目录是region server的共享目录,用来持久化Hbase。URL需要是'完全正确'的,还要包含文件系统的scheme。例如,要表示hdfs中的 '/hbase'目录,namenode 运行在namenode.example.org的9090端口。则需要设置为hdfs://namenode.example.org:9000 /hbase。默认情况下Hbase是写到/tmp的。不改这个配置,数据会在重启的时候丢失。默认:file:///tmp/hbase-${use...转载 2020-05-29 11:52:14 · 387 阅读 · 0 评论 -
稀疏数组
忽然心血来潮,看了一下简单的数据结构,入门级别的,不要介意!定义稀疏数组又可以叫做稀疏矩阵。 稀疏数组是一个二维数组中有效信息较少,或者说非0元素远少于值为0的元素的数组。这里的0元素可以自己定义,找一个元素比较集中的就可以。通常认为一个矩阵中非零元素的总数比上矩阵所有元素总数的值小于等于5%时, 则称该矩阵为稀疏矩阵,该比值称为这个矩阵的稠密度。存在的意义当一个大型二维...原创 2019-11-01 20:03:42 · 409 阅读 · 0 评论 -
Nginx服务开启,浏览器输入Ip无法访问
理想状态:在浏览器输入虚拟机IP即可访问到Welcome to nginx! 页面我的nginx已经启动,但是在浏览器无法访问但是,在浏览器输入IP后,无法访问。然后我去查看我的80端口有没有开放发现有结果输出,证明nginx配置与启动没有问题。感觉就是出在防火墙配置文件,有没有配80端口,进去发现,果然没有,现在配置进去然后重启防火墙,再从浏览器上输入I...原创 2019-08-27 16:11:07 · 3060 阅读 · 0 评论 -
HIVE函数大全
1.内置运算符1.1关系运算符运算符 类型 说明A = B 所有原始类型 如果A与B相等,返回TRUE,否则返回FALSEA == B 无 失败,因为无效的语法。 SQL使用”=”,不使用”==”。A <> B 所有原始类型 如果A不等于B返回TRUE,否则返回FALSE。如果A或B值为”NULL”,结果返回”NULL”。A < B 所有原始类型 如果...转载 2019-09-11 11:56:09 · 1242 阅读 · 0 评论 -
HIVE企业级优化
基本出发点1、考虑环境 (硬件服务器、配置)2、业务 (统计指标的实现思路)3、代码或者配置属性 (hive-default.xml中的属性)具体优化方案1.查看执行计划 explain 和 explain extended2.join3.limit的优化4.本地模式5.并行执行6.严格模式7.mapper和reducer的个数8.配置jvm重用9.数据倾斜...原创 2019-09-20 15:13:51 · 259 阅读 · 0 评论