msck repair table修复分区和datax的一些问题

最新推荐文章于 2024-04-11 14:14:58 发布
最新推荐文章于 2024-04-11 14:14:58 发布
阅读量522 收藏
点赞数
文章标签： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zs1238520/article/details/121932845
版权
在Hive中，当使用MSCK REPAIR TABLE命令修复分区的同时，DataX正在向表中写入数据，可能导致临时目录被错误地修复为分区。这会产生大量无用的元数据记录。解决方法是改用ALTER TABLE ADD PARTITION来手动增加分区，以避免这种冲突。
摘要由CSDN通过智能技术生成

并发补分区表数据的时候用msck repair table命令修复分区的时候,正好datax也在往表里面写数据,datax是先写入临时目比如pt=20211011_xxxxx,这样这个命令就会把这个临时目录也修复成分区了,就会多了很多没有意义的分区写入元数据,解决办法,还是用alter table add partition去增加分区

白小山
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
msck repair命令 修复表分区
cuituancheng9378的博客
01-04 1180
msckrepairtable 表名； 该命令会把没添加进partition的数据，都增加对应的partition。同步源数据信息metadata。 场景： ...
hive msck repair table 报错
Lorenzo's Oil
04-16 3469
hive msck repair table 报错 1.问题描述 msck repair table 库名.表名; 报错： FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask 2.解决办法 set hive.msck.path.validation=ignore; 先使用上述命令后，再执行：msck repair table 库名.表名; ...
hive msck repair table 报错return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask
石榴姐yyds
06-23 2648
hive msck repair table 报错return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask
hive执行msck repair报错msck is missing partition columns under hdfs：//表分区路径
zx1414iang的博客
03-26 2419
排查： 查看hiveserver日志报以下异常 msck is missing partition columns under hdfs：//表分区路径 查看hdfs该表分区目录，存在分区=$%xxxx的分区名 机制： 在hive中执行msck repair table分区目录名必须为partition_name=partition_value结构 因此正确的hdfs目录名称应该为day=XXXXX/hour=XXXX 由于目前表目录格式为非标准格式，因此使用此命令无效 解决办法：
Hive 修复分区 MSCK REPAIR TABLE
大数据技术分享
11-07 1万+
转载自：润土1030 MSCK REPAIR TABLE 命令是做啥的 MSCK REPAIR TABLE命令主要是用来： 解决通过hdfs dfs -put或者hdfs api写入hive分区表的数据在hive中无法被查询到的问题。 我们知道hive有个服务叫metastore， 这个服务主要是存储一些元数据信息， 比如数据库名，表名或者表的分区等等信息。 如果不是通过hive的...
hive执行分区修复语句（MSCK REPAIR TABLE）时报FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.
zcs2312852665的博客
01-12 1359
hive执行分区修复语句（MSCK REPAIR TABLE）时报FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.
hive添加分区字段
hah123456654的博客
12-12 3万+
静态分区表： 一级分区表： CREATE TABLE order_created_partition ( orderNumber STRING , event_time STRING ) PARTITIONED BY (event_month string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';
【黑马甄选离线数仓day09_会员主题域开发_DWD和DWM层】
LKL的博客
12-04 940
会员主题域开发会员主题域开发_DWD和DWM层
hive误删表，数据恢复
mACID_lys的博客
02-16 2437
本文删除的表时hive的分区表，parquet格式snappy压缩。有分桶 首先你要知道你的hdfs回收站是否开启 找到你的回收站里的刚才删除的hive表数据的文件，前提是你的表示drop的，而不是truncate的，truncate的表数据我暂时不知道能不能恢复 我们hive表删除的数据是在 标记1 的这个文件里（Current）这个需要看你的配置和个人的登陆服务器情况，但是一定不会在标记2这里 新建原表 CREATE TABLE `hive_na
Hive知识点（一）详细网罗之---基础篇
weixin_45484707的博客
09-03 258
1、hive概念： （1）hive是一个处理结构化数据的数仓工具； （2）用户可以在客户端上写HQL语句（是一种类SQL语句），hive将HQL语句转为MR程序，将maptask和reducetask提交到yarn上，分布式运行； （3）hive是一个工具，只需要在一台机器上安装，指定元数据位置等信息即可。 2、hive处理数据的简易流程： （1）解析SQL语句； （2）优化SQL语句； （3）将SQL语句转化成MR逻辑； （4）读取数据； （5）找到元数据的位置； （6）加载元数据信息。 注： ​ ①元数
Hive面试题汇总
weixin_41367158的博客
03-08 438
Hive 在加载数据过程中不会对数据进行任何的修改，只是将数据移动到HDFS 中Hive 设定的目录下，因此，Hive 不支持对数据的改写和添加，所有的数据都是在加载的时候确定的。当按照类型进行group by的时候，会将相同的group by字段的reduce任务需要的数据拉取到同一个节点进行聚合，而当其中每一组的数据量过大时，会出现其他组的计算已经完成而这个reduce还没有计算完成，其他的节点一直等待这个节点的任务执行完成，所以会一直看到map 100% reduce99%的情况；
使用MSCK命令修复Hive表分区
yisun123456的博客
12-03 3022
一、介绍 我们平时通常是通过alter table add partition方式增加Hive的分区的，但有时候会通过HDFS put/cp命令往表目录下拷贝分区目录，如果目录多，需要执行多条alter语句，非常麻烦。Hive提供了一个"Recover Partition"的功能。 具体语法如下： MSCK REPAIR TABLE table_name; 原理相当简单，执行后，Hive会检...
hive Recover Partitions命令MSCK REPAIR TABLE table_name
亚信联创大数据平台Li
02-18 9470
直接用hadoop命令复制删除hive存储数据后，需要add partition或alter来同步源数据信息，否则drop表等操作时会查询元数据metastore，查到metastore信息和hdfs信息不一致，会报错。这个也可算是hive的bug，尚未修复，但也可以理解为初衷不建议直接操作hdfs数据。 目前，可以采用命令：  MSCK REPAIR TABLE table_name
hive 分区表（msck repair 、动态分区）、分桶表（Load语句不会分桶）、抽样查询
热门推荐
不是一枚开发
07-03 6万+
  （1）创建分区表语法 注：，可将分区字段视为表的伪列。   （2）加载本地文件数据到指定分区 1.2 增加删除多个分区、查看表的分区   （1）增加分区 注：无需隔开   （2）删除分区   （3）查看分区表的分区   （1）创建分区表语法   （2）加载本地文件数据到指定分区   （3）查询分区数据   命令用于修复表分区，常用于手动复制分区数据到hive表location下，此分区没有记录到Hive元数据，所以查不到数据如：   上传数据：   查询不到结果：   执行修复命令：   查询
【hive】hive修复分区或修复表 以及msck命令的使用
Mrerlou的博客
08-17 5063
我们知道hive有个服务叫metastore，这个服务主要是存储一些元数据信息，比如数据库名，表名或者表的分区等等信息。如果不是通过hive的insert等插入语句，很多分区信息在metastore中是没有的，如果插入分区数据量很多的话，你用。在 Hive 中，当您向分区表添加、删除或更改分区数据时，有时会导致分区元数据不一致的情况。数据库坏了，导致hive元数据信息丢失，但是hdfs上hive表的数据并没有丢失，重新建表后查看hive分区没有，数据也没有。之前hive里有数据，后面存储元数据信息的。
msck repair table注意事项
最新发布
唯有热爱 可抵万难
04-11 330
当我们遇到需要执行刷新hive数据语句msck repair table时。这个报错是因为如果表没有分区就不需要进行刷新数据。
HIVE常用命令之MSCK REPAIR TABLE命令简述
weixin_42326851的博客
03-08 1936
HIVE常用命令之MSCK REPAIR TABLE命令简述
Hive常用命令之MSCK REPAIR TABLE命令概述
张之海的博客
05-24 6269
对于MSCK REPAIR TABLE命令，小编在工作中初见时，只有简单的理解——“刷新分区”。细究其原理便不得而知了。现在来将学习的内容记录一下。 首先，Hive能检测到的分区信息，存储在哪里？怎么新建分区才会存储在这个可（被Hive）检测位置上？怎么新建分区不会存储在这个可（被Hive）检测的位置上？MASK REAPRE TABLE有什么作用？ Hive能检测到的分区信息，存储在哪里？ 分区同database、table等一样，是Hive的元数据信息之一，存储在Derby、MySQL等数据库中。
MSCK REPAIR TABLE
06-01
`MSCK REPAIR TABLE` 是 Hive 中的一个命令，用于修复外部表中的分区，以便可以查询到这些分区中的数据。如果使用`ALTER TABLE`命令添加了分区，但是这些分区并没有出现在表中，那么可以使用`MSCK REPAIR TABLE`命令...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值