Impala实践之十二：impala压缩方式测试

最新推荐文章于 2023-08-07 09:42:40 发布
最新推荐文章于 2023-08-07 09:42:40 发布
阅读量4.4k 收藏 2
点赞数
分类专栏： Impala实践 文章标签： impala 压缩 hdfs 存储
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhaodedong/article/details/52266438
版权
本文介绍了Impala中对Parquet、Snappy、Gzip和Textfile四种压缩方式的存储大小测试。在HDFS上，Snappy在速度上远超zlib，但压缩率较低。Impala创建Parquet表默认采用Snappy压缩，若需更改，需通过特定命令指定。
摘要由CSDN通过智能技术生成

前言

测一下parquet、snappy、gzip、textfile这些方式在hdfs中占用的存储大小。

在impala中直接建内部表。

测试

存储格式 压缩格式 文件大小 建表时间
textfile none 3.0 G 38.74s
parquet none 1.5 G 32.33s
parquet snappy 709.3 M 31.71s
parquet gzip 471.5 M 48.23s

snappy

snappy的官方描述。

Snappy is a compression/decompression library. It does not aim for maximum compression, or compatibility with any other compression library; instead, it aims for very high speeds and reasonable compre

最低0.47元/天 解锁文章
木东居士
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Impala
qq_33190134的博客
09-16 262
1. Impala基本介绍 impala是cloudera提供的一款高效率的sql查询工具，提供实时的查询效果，官方测试性能比hive快10到100倍，其sql查询比sparkSQL还要更加快速，号称是当前大数据领域最快的查询sql工具， impala是参照谷歌的新三篇论文（Caffeine–网络搜索引擎、Pregel–分布式图计算、Dremel–交互式分析工具）当中的Dremel实现而来，其中旧三篇论文分别是（BigTable，GFS，MapReduce）分别对应我们即将学的HBase和已经学过的HDFS
impala测试报告
空中的鱼
08-07 268
机器环境： 4个slave节点 10.200.187.86 cslave1 4核 3G 10.200.187.87 cslave2 2核 4G 10.200.187.88 cslave3 2核 4G 10.200.187.89 cslave4 2核 6G 测试效果： [img] [img]http://dl2.iteye.com/upload/attachment/0099/949...
impala测试
10-16 412
一、hdfs上的txt文件数据导入impala表中进行查询     1.1在impala创建表     create table impala_hive_table(rank_id stirng,bank_id string,bank_name string,area_id double,bank_type double);     或者是在hive创建表     create table
Impala优化，并发性能问题，压测
.
08-27 4915
在进行impala性能测试的过程中，从测试结果发现impala的并发性能非常差。1.1 环境信息测试的环境配置如下：服务器内存：250G;CPU ： 2个CPU，每cpu 6个物理核，逻辑核数24；带宽：万兆网口节点个数：3数据：TPC-DS生成的100G数据集，把数据导入parquet格式的hive表中。..........................................
Impala中的parquet存储压缩
王义凯 的博客
10-31 2289
在Impala中，parquet存储格式的默认压缩方式为snappy。通过以下命令可以修改该配置： set compression_code=snappy; (snappy,none,gzip...) 在hive中通过命令查看该表使用了哪种压缩方式： desc extended tablename; inputFormat:org.apache.hadoop.hive.ql.io.par...
Impala的信息仓库：解读TQueryExecRequest结构
02-26
相信很多做海量数据处理和大数据技术研发的朋友对Impala这个基于Hadoop的交互式MPP引擎都不陌生，尤其对Impala出色的数据处理能力印象深刻。在查询执行的整个生命周期内，Impala主要通过Frontend生成优化的查询计划...
使用python客户端访问impala的操作方式
12-20
在大数据分析领域，Impala是一种高效且实时的查询系统，常用于处理Hadoop集群上的大规模数据。当需要对Impala中的数据进行复杂分析时，Python因其丰富的数据分析库（如pandas）而成为理想的选择。本篇文章将详细介绍...
hadoop之impala简单使用共8页.pdf.zip
10-29
【标题】：“Hadoop之Impala简单使用共8页.pdf” 【内容概览】： 本资料主要涵盖了Hadoop生态系统中的Impala的简单使用方法。Impala是Cloudera公司开发的一种开源、分布式、大规模并行处理（MPP）查询引擎，它与...
Impala高性能探秘之HDFS数据访问
01-27
Impala是一个高性能的OLAP引擎，Impala本身只是一个OLAP-SQL引擎，它访问的数据存储在第三方引擎中，第三方引擎包括HDFS、Hbase、kudu。对于HDFS上的数据，Impala支持多种文件格式，目前可以访问Parquet、TEXT、avro...
和impala_Impala之存储和压缩
weixin_39908462的博客
12-06 180
注：impala不支持ORC格式1.创建parquet格式的表并插入数据进行查询[hadoop104:21000] > create table student2(id int, name string) > row format delimited > fields terminated by ‘t’ ...
impala存储和压缩
ITBOY_ITBOX博客
05-20 1205
文件格式 压缩编码 Impala是否可直接创建 是否可直接插入 Parquet Snappy（默认）, GZIP; Yes 支持：CREATE TABLE,INSERT, 查询 TextFile ...
Impala的存储和压缩
最新发布
互联网知识分享
08-07 299
在分区存储中，数据被分成不同的分区，每个分区存储在磁盘上的一个或多个文件中。的存储和压缩章节，包括存储原理、存储参数介绍、存储代码案例、压缩原理、压缩参数介绍和压缩代码案例。：指定压缩类型，可以是block或record，默认为block。支持在存储和传输数据时进行压缩，以减小数据的存储空间和传输带宽。：指定Impala默认使用的压缩编解码器，默认为snappy。：指定Impala使用的默认压缩编解码器，默认为snappy。：指定压缩级别，取值范围为1-9，默认为6。修改默认压缩编解码器和压缩级别。
Impala 介绍与使用指南
Focus on Lakehouse
07-10 3083
最近在梳理大数据相关技术栈，查询引擎篇中重点介绍了Phoenix、Impala及Presto，一时想起自己开始使用Impala时的一个笔记。请阅读参考
大数据培训Impala之存储和压缩
zjjcchina的博客
12-20 527
2.创建sequenceFile格式的表，插入数据时报错。1.创建parquet格式的表并插入数据进行查询。注：impala不支持ORC格式。
（44）Presto 命令行 Client 安装
song_quan_的博客
07-15 760
1.命令行 Client 安装 1）下载 Presto 的客户端 https://repo1.maven.org/maven2/com/facebook/presto/presto-cli/0.196/presto-cli-0.196- executable.jar 2）将 presto-cli-0.196-executable.jar 上传到 hadoop102 的/opt/module/presto 文件夹下 3）修改文件名称 [atguigu@hadoop102 presto]$
Jmeter测试Mysql、Impala、Elasticsearch相关案例
weixin_42687074的博客
08-18 697
Jmeter 测试案例1.1 前文： 主流压力测试工具，一些简单案例，希望大家能举一反三。 一、前提 必须有java环境。 1.1下载解压 https://mirror.bit.edu.cn/apache//jmeter/binaries/apache-jmeter-5.3.zip 1.2启动 1.3修改语言 二、组件说明 2.1线程组(必备) 2.1.1添加 2.1.2配置 2.2查看...
Impala简明调优手册
sinat_26174877的专栏
02-25 3041
Impala是Cloudera开发、开源的一个原生于Hadoop的交互式SQL引擎。本身Impala的出现并不是为了替代Hive、Pig等现有的、常用的ETL工具。实用的场景往往于商业智能密不可分，比如对数据进行聚合(Aggregation)、做一些简单的分析统计(比如window function)，通过JDBC/ODBC，集成到当今流行的BI工具中，例如Tableau等等。
Impala优化基本方案
Hello World
09-21 9274
Impala性能的调优是一个不断调整的过程，这里介绍了一些基本你的准则，当然对于具体的性能问题还是要借住实际的工具分析。
python 提取固定列名数据_python获取数据库列名
weixin_39806288的博客
12-01 6087
{"moduleinfo":{"card_count":[{"count_phone":1,"count":1}],"search_count":[{"count_phone":4,"count":4}]},"card":[{"des":"阿里云数据库专家保驾护航，为用户的数据库应用系统进行性能和风险评估，参与配合进行数据压测演练，提供数据库优化方面专业建议，在业务高峰期与用户共同保障数据库系统平...
Impala大数据分析：从概述到优化
Impala的分区设计也有一定的限制，实践中如果分区数量超过一万，可能会导致性能下降。 Impala作为一款实时分析查询引擎，是CDH平台上的首选工具，尤其适合需要快速响应查询的场景。然而，它并非没有竞争对手，如...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值