Hive：drop partition与truncate partition用法和区别

最新推荐文章于 2024-05-07 22:06:05 发布
最新推荐文章于 2024-05-07 22:06:05 发布
阅读量1.1w 收藏 3
点赞数 2
分类专栏： 大数据 文章标签： hive mysql hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhengzaifeidelushang/article/details/122482936
版权
大数据 专栏收录该内容
527 篇文章 538 订阅 ¥49.90 ¥99.00
订阅专栏

Hive：drop partition与truncate partition用法和区别

一、drop partition与truncate partition用法

drop partition：

  • alter table dw.lens.2090_lens_bianzu_simulation_result drop partition(date=20200419,hour=11)

truncate partition:

  • truncate table dw.lens.2090_lens_bianzu_simulation_result drop partition(date=20200419,hour=11)

二、drop partition与truncate partition的区别

相同点：

  • 删除分区数据，即对应partition的数据文件会删除

不同点：

  • drop partition会删除数据文件，同时删除hive保存在mysql中的表结构信息
  • truncate partition只删除数据文件，保存在mysql中的metadata不会被删除，分区信息被保留下来了
最笨的羊羊
关注
  • 2
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
Hive_SQL 一次删除多个分区数据
Heng_bigdate_yan的博客
10-16 2万+
目录 1.删除语法 2.元数据及数据存储变化 3.示例 3.1 单个分区字段表 3.1.1 删除单个分区单个分区数据 3.1.2 删除单个分区字段多个分区数据 3.2多个分区字段表 3.2.1 删除多个分区字段 单个分区数据 3.2.2 删除多个分区字段 单个字段 多个分区范围数据 3.2.3删除多个分区字段 多个字段 多个分区范围数据 1.删除语法 ALTER TABLE table_name DROP [IF EXISTS] PARTITION partition...
hive分区表和分桶表
MicoOu的博客
12-07 823
目录1.分区表1.1静态分区小结1.2动态分区2.分桶表 先创建一个数据库myhive2019 create database if not exists myhive2019; 在myhive2019数据库下创建内部表 student： create table student(id int,name string,gender string,age int,department string...
最全hive数据库delete删除部分数据 删除分区内的数据_hive 删除数据，2024年最新大数据开发高级面试2024
最新发布
2401_84183753的博客
05-07 730
其中，my_table是要删除数据的表名，partition_column是分区列的名称，partition_value是要删除的分区的值。其中，my_table是要删除数据的表名，condition是一个表达式，用于指定哪些行应该被删除。如果只需要删除表中的所有数据而不删除表本身，可以使用TRUNCATE语句。TRUNCATE语句用于删除表中的所有行，但保留表的元数据。如果表是分区的，可以使用DELETE语句删除特定的分区。分区是根据表中的某些列进行划分的，因此可以只删除特定的分区而不影响其他分区。
【mysql表分区系】mysql表分区谨慎使用DROP PARTITION语法以及TRUNCATE PARTITION
run_boy_2022的博客
07-15 2188
首先声明下我这边使用的mysql版本是5.7.29版本，当然下面的问题我这边也是基于这个版本。这里因为没有考证其他版本是否也会有这些问题，可自行来查阅资料。
oracle drop分区 并行,[oracle]Oracle 12C-drop和truncate分区的异步全局索引维护
weixin_31068491的博客
04-07 432
分区维护操作DROP partition和TRUNCATE partition通过只对元数据进行索引维护而得到优化。DROP和TRUNCATE操作默认进行异步全局索引维护；但是，为了向后兼容，仍然需要update indexes子句。异步全局索引维护的限制：仅在堆表上执行不支持具有对象类型的表不支持带有域索引的表sys系统用户无法执行索引的维护操作通过自动调度程序作业SYS.PMO_DEFERRE...
Hive - truncate partition、drop partition 区别
weixin_34112181的博客
12-19 1万+
2019独角兽企业重金招聘Python工程师标准>>> ...
【hive】清除分区表与非分区表指定内容
sodaloveer的博客
01-09 2141
【hive】清除分区表与非分区表指定内容。
Could not resolve dependencies for project org.apache.hive:hive-exec:jar:2.3.0:
09-10
hive 开发UDF 使用maven工程 引发jar包缺失 hive 开发UDF 使用maven工程 引发jar包缺失
Hive:一个开放的、基于docker的共享计算工具
06-17
自述文件概括Django 开放式计算工具版本：0.1 Hive 是一个试图帮助其他需要计算能力的项目的项目。 它是一个网络平台 ( )，它试图让任何人都可以使用高性能集群。 本项目使用docker运行计算程序。 这允许使安装过程...
hive:API驱动的OpenShift群集配置和管理
04-01
为了配置OpenShift，Hive使用。 受支持的云提供商 AWS 蔚蓝 Google Cloud Platform OpenStack的 视觉 的vSphere 将来，Hive将支持更多的云提供商。 文献资料 建筑学 工作时间 Hive小组在美国东部标准时间每个第...
hivezzy:添加partition支持正则表达式
06-04
在Hive中，Partition是数据组织的一种策略，用于提高查询性能和管理大量数据。通常，Partition是基于数据的某个或多个列（如日期、地区等）进行的，使得查询能够直接定位到特定的数据块，避免全表扫描。然而，原生的...
Transactional Operations in Apache Hive: Present and Future
03-01
Apache Hive事务操作设计及未来发展 Apache Hive是一款基于Hadoop的数据仓库工具，支持对大规模数据的存储...通过了解 Apache Hive 的事务操作设计和未来发展方向，用户可以更好地使用 Apache Hive 来满足他们的需求。
Hive分区表的分区操作
sowhat
06-27 3518
Hive 没有行级别的数据的增删改，往表中装载数据唯一途径就是 使用大量数据进行装载，可以通过load 可以 insert 动态分区，动态静态 所以hive提供了一个动态分区功能，其可以基于查询参数的位置去推断分区的名称，从而建立分区 注意：使用，insert...select 往表中导入数据时，查询的字段个数必须和目标的字段个数相同，不能多，也不能少,否则会报错。但是如果字段的类型不一致...
Hive分区partition详解
热门推荐
Liu_Arvin的芝士小栈
11-01 10万+
Hive分区partition详解
Hive删除分区
爱开发
06-07 3万+
学点关于大数据知识hive--删除指定分区 altertablemydw.dm_msg_push_sum_daydroppartition(dt=&...
SQL : hive sql 一些小语句记录[删除连续分区 drop partition]
LXP
04-09 3385
想要除个别字段外的剩余所有字段 这是HIVE中查询语句的一个小技巧，一个表有很多字段，我们想要除个别字段外的剩余所有字段，全部列出来不方便且不美观，实际上hive语句可以解决这个问题。 选择tableName表中除了name、id、pwd之外的所有字段： set hive.support.quoted.identifiers=None; select `(name|id|pwd)?+.+` ...
hive中按条件批量删除分区partition
Ru_ach的博客
08-07 1万+
alter table schema.table_name drop partition (ds<'2018-08-01') 注意： 使用beeline的方式可以执行成功，即hive原生hivesql能按条件删除； 而使用spark-sql，或者spark-beeline等方式执行会报错，应该是sparksql不支持按条件删除。 ...
Hive 删除分区的方法
HeatDeath的博客
05-25 5万+
ALTER TABLE table_name DROP IF EXISTS PARTITION(year = 2015, month = 10, day = 1); 1、HIVE表中分区的删除 https://blog.csdn.net/sparkexpert/article/details/51024392 2、hive如何删除分区一天的数据 http://www.about...
分区truncate操作的介绍
一天不进步，就是退步.
09-13 1万+
oracle技术资料 　分区truncate操作的介绍　         ① 马上回收空间： 　　alter table table_name truncate partition partition_name drop storage; 　　② 同时维护全局索引： 　　alter table table_name drop partition partition_name
hive partition by用法
08-21
在Hive中，`PARTITION BY`子句用于创建分区表和查询分区数据。Hive是建立在Hadoop上的数据仓库工具，它使用类似于SQL的语法进行查询和分析。 以下是在Hive中使用`PARTITION BY`的基本用法示例： 1. 创建分区表： ```sql CREATE TABLE table_name (column1 data_type, column2 data_type, ...) PARTITIONED BY (partition_column1 data_type, partition_column2 data_type, ...); ``` 在上述示例中，`PARTITIONED BY`子句指定了用于分区的列。创建的表将根据这些列的值进行分区。您可以根据需要指定多个分区列。 2. 加载数据到分区表： ```sql LOAD DATA INPATH 'path_to_data' INTO TABLE table_name PARTITION (partition_column1=value1, partition_column2=value2, ...); ``` 在上述示例中，`PARTITION`子句指定了要加载数据的分区。通过指定每个分区列的值，您可以将数据加载到相应的分区中。 3. 查询分区数据： ```sql SELECT column1, column2, ... FROM table_name WHERE partition_column1=value1 AND partition_column2=value2; ``` 在上述示例中，`WHERE`子句中的条件用于筛选特定的分区数据。通过指定每个分区列的值，您可以查询特定的分区数据。 通过使用`PARTITION BY`子句，您可以在Hive中创建分区表、加载数据到分区以及查询特定的分区数据。这有助于在大数据环境中更有效地组织和管理数据。请注意，具体的用法可能因Hive版本和配置而有所不同。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

最笨的羊羊

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值