记录背景:工作中要对HIVE的元数据进行监控,对Hive的元数据调研过程中了解到一些,在此记录:
Hive的元数据一般都会存在MySQL,下面是我对mysql里hive库下各数据表的分析:
数据库相关的表
DBS
该表存储Hive中所有数据库的基本信息,字段如下:
元数据表字段 说明 示例数据
DB_ID 数据库ID 2
DESC 数据库描述 测试库
DB_LOCATION_URI 数据库HDFS路径 hdfs://namenode/user/hive/warehouse/testdb.db
NAME 数据库名 testdb
OWNER_NAME 数据库所有者用户名 testdb
OWNER_TYPE 所有者角色 USER
DATABASE_PARAMS
该表存储数据库的相关参数,在CREATE DATABASE时候用
WITH DBPROPERTIES (property_name=property_value, …)指定的参数。
元数据表字段 说明 示例数据
DB_ID 数据库ID 2
PARAM_KEY 参数名 createdby
PARAM_VALUE 参数值 testdb
DBS和DATABASE_PARAMS这两张表通过DB_ID字段关联。
表相关的表
TBLS
该表中存储Hive表、视图、索引表的基本信息。
元数据表字段 说明 示例数据
TBL_ID 表ID 1
CREATE_TIME 创建时间 1436317071
DB_ID 数据库ID 2,对应DBS中的DB_ID
LAST_ACCESS_TIME 上次访问时间 1436317071
OWNER 所有者 test
RETENTION 保留字段 0
SD_ID 序列化配置信息 86,对应SDS表中的SD_ID
TBL_NAME 表名 testdb
TBL_TYPE 表类型 MANAGED_TABLE、EXTERNAL_TABLE、INDEX_TABLE、VIRTUAL_VIEW
VIEW_EXPANDED_TEXT 视图的详细HQL语句 select testdb.pt, testdb.pcid from test.testdb
VIEW_ORIGINAL_TEXT 视图的原始HQL语句 select * from testdb
TABLE_PARAMS
该表存储表/视图的属性信息。
元数据表字段 说明 示例数据
TBL_ID 表ID 1
PARAM_KEY 属性名 totalSize、numRows、EXTERNAL
PARAM_VALUE 属性值 970107336、21231028、TRUE
TBL_PRIVS
该表存储表

最低0.47元/天 解锁文章
412

被折叠的 条评论
为什么被折叠?



