- 博客(4)
- 收藏
- 关注
RSS订阅原创 04章 HIVE性能优化之参数优化
HIVE性能优化之参数优化开启并行执行HIVE会将一个查询转换成一个或多个阶段，可以使MapReduce阶段、抽样阶段、合并阶段、limit阶段、或者其他阶段。默认情况下hive一次只执行一个阶段。不过某些job包含的多个stage并非完全依赖，可以并行执行，提高缩短作业的执行时间。调整hive的配置：# 控制在同一个sql中的不同的job是否可以同时运行,默认为falsehive.exec.parallel=true严格模式HIVE的严格模式可以防止用户执行某些产生不好影响的查询，hive
2020-09-07 12:13:02
245
原创 02章 HIVE基本表管理
HIVE表基本相关静态分区表创建分区表创建分区表CREATE [TEMPORARY] [EXTERNAL] TABLE t_emp()PARTITIONED BY COMMENT '员工信息表'ROW FORMAT DELIMITEDFIELDS TERMINATED BY ','LINES TERMINATED BY '\n'STORED AS TEXTFILE;添加分区alter table test.dw_user_orders add partition (dt=
2020-09-06 16:15:51
786
原创 01章 HIVE3.2.1常见异常处理
HIVE3.2.1常见异常处理The auxService:mapreduce_shuffle does not exist详细日志INFO mapreduce.Job: Task Id : attempt_1461808335315_0001_m_000000_1, Status : FAILEDContainer launch failed for container_1461808335315_0001_01_000003 : org.apache.hadoop.yarn.exception
2020-09-06 12:14:56
202
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人