![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
问题总结
文章平均质量分 69
七月流火_2567
人的一切痛苦,都是对自己无能的愤怒!
展开
-
MAVEN手动导包,解决依赖报错
1.定位问题定位缺失的jar包2.找到对应的jar包到网上找到对应的jar包,down下来可以参考一下几个网址https://mvnrepository.com/https://public.nexus.pentaho.org/3.导入jar包下载之后,cmd(win+R 输入cmd)格式进入该jar包目录下运行mvn install:install-file -Dfile=jar包的路径 -DgroupId=gruopId中的内容 -DartifactId=actifactId的内容原创 2021-08-30 09:54:12 · 697 阅读 · 0 评论 -
hive小文件过多问题解决
起因数据中台当前有一张流水类表,存在3200个分区,230w个数据文件,150亿条数据,导致该表查询起来及其麻烦,更令人糟心的是,业务人员不懂查询方式,经常有人使用select *的方式查询该表,导致hiveserver2经常炸掉,极大影响集群的使用,因此,我们决定处理掉这个问题。我们来看下是什么原因导致这个问题首先,文件数量和大小会影响Mapper任务的数量,所以小文件越多,mapper任务越多,每个mapper任务会启动一个JVM,所以这些任务初始化和运行会消耗大量资源。而且在NameNode中每原创 2021-01-18 21:06:40 · 1595 阅读 · 4 评论 -
向HBASE传输数据时出现:java.io.IOException: 远程主机强迫关闭了一个现有的连接 错误
18/11/21 22:31:01 INFO ClientCnxn: Opening socket connection to server 192.168.85.133/192.168.85.133:2181. Will not attempt to authenticate using SASL (unknown error)18/11/21 22:31:01 INFO ClientCnxn...原创 2018-11-21 22:52:29 · 3717 阅读 · 0 评论 -
yum安装mongodb报错
今天在尝试yum安装mongodb时,发现了问题:这是因为你以前用的是CENTOS现在是redhat 红帽的yum安装软件的时候要验证的看是不是红帽的软件,是红帽的软件可以安装不是就失败.因此,我们需要将gpgcheck=1改成gpgcheck=0即可。gpgcheck=1表示需要验证,0表示不需要验证。成功!...原创 2019-01-22 11:02:10 · 433 阅读 · 0 评论 -
使用非等值自连接实现类窗口排序函数
前言在使用Hive的时候,我们经常使用窗口函数来实现对查询内容的排序操作,其中经常使用Rank() OVER() ,DENSE_RANK() 等,但是,在mysql中,8.0以下版本并不支持窗口函数的使用,因此,为了实现类似的效果,我们可以使用非等值自连接(真的很实用)来进行查询。数据准备CREATE TABLE Products(name VARCHAR(16) PRIMARY KEY,...原创 2019-03-24 17:48:08 · 239 阅读 · 1 评论