![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hive
文章平均质量分 90
zhaorongsheng
这个作者很懒,什么都没留下…
展开
-
Hive现网内存问题定位总结
现网内存问题定位总结 前段时间,现网遇到一个很奇葩的问题,server会莫名其妙的重启。个人功力有限,这个问题搞了好久才找到问题原因,现在就把此类问题的基本定位方法梳理一下,也算是一个总结吧。 搞java(或其他JVM语言)的人都知道,jdk里自带了几个很牛逼的工具(jmap/jstack/jstat),是定位java问题的利器,首先要知道这几个工具的使用,然后结合linux的相原创 2016-01-01 23:36:09 · 1466 阅读 · 0 评论 -
TDW(Tencent Data Warehouse)之hive简介
1. 基本概念 Hive是由Facebook在2007年8月开始开发,并于2008年8月开源(https://issues.apache.org/jira/browse/HADOOP-3601)。它是建立在Hadoop上的数据仓库工具,它可以对存储在HDFS、HBase、PG等存储系统中的文件进行结构化分析等操作。 Hive提供了以下功能: 1)原创 2016-01-05 09:18:07 · 2795 阅读 · 0 评论 -
orcFile split和读数据原理总结(hive0.13)
官网关于orcfile的介绍背景Hive的rcfile格式已经使用多年,但是,它会将所有的列都当做二进制来处理,没有与类型挂钩。因此,Hive0.11版本引入orcFile。OrcFile有以下几点好处:每个task只生成一个文件,减轻hdfs压力保存列类型,支持datetime, decimal和负责类型(struct, list, map, and union)文件中保存轻量级索引 跳原创 2017-06-07 20:13:23 · 5426 阅读 · 0 评论