HIVE存储和压缩

最新推荐文章于 2022-11-26 20:00:00 发布

zhangyuhang88

最新推荐文章于 2022-11-26 20:00:00 发布

阅读量276

点赞数

文章标签： hive java hadoop

本文链接：https://blog.csdn.net/zhangyuhang88/article/details/126098375

版权

本文介绍了在HIVE中创建并测试不同存储格式（如文本、ORC、Parquet）的表格，同时探讨了未压缩及使用ZLIB、SNAPPY压缩的ORC和Parquet表的数据导入和性能对比。

摘要由CSDN通过智能技术生成

存储和压缩

测试不同的存储格式

-- 新建一张未压缩的文本格式表
create table bigtable_text(
    id bigint, 
    t bigint, 
    uid string, 
    keyword string, 
    url_rank int, 
    click_num int, 
    click_url string
) 
row format delimited fields terminated by '\t';

-- 数据导入
load data local inpath '/opt/module/hive/datas/bigtable' into table bigtable;

-- 创建一张orc存储格式未压缩的表格
create table bigtable_orc(
    id bigint, 
    t bigint, 
    uid string, 
    keyword string, 
    url_rank int, 
    click_num int, 
    click_url string
) 
row format delimited fields terminated by '\t'
stored as orc
tblproperties('orc.compress'='NONE');

-- 数据导入
insert into bigtable_orc select * from bigtable_text;

-- 创建一张parquet存储格式未压缩的表格
create table bigtable_parquet(
    id bigint, 
    t bigint, 
    uid string, 
    keyword string, 
    url_rank int, 
    click_num int, 
    click_url string
) 
row format delimited fields terminated by &