元数据管理学习

元数据管理

元数据管理覆盖数据生产、采集、加工、共享的全生命周期，贯穿整个数据价值流。无论结构化数据、非结构化数据、或者是外部数据，都可以通过元数据进行管理。

一、元数据管理的挑战

1、主要表现
  数据找不到、数据读不懂、数据不可信

2、根本原因
  1）业务元数据与技术元数据未打通，业务读不懂IT系统中的数据
  2）缺乏面向普通业务人员的准确、高效的搜索工具，无法快速获取可信数据。

3、解决方案
  制定统一的元数据管理方法、机制和平台，拉通业务语言与机器语言，确保数据“入湖有依据，出湖可检索”。基于高质量的元数据，通过数据地图实现方便的数据搜索。
  元数据的定义
  元数据是描述数据的数据。通常分为：业务、技术和操作三类。
  1）业务元数据：体现业务含义，如：资产目录、权属人、数据密级等；
  2）技术元数据：描述技术信息，如：表与字段信息、ETL规则、继承关系等；
  3）操作元数据：描述数据处理及运营情况，如：使用频度、访问记录等。

  元数据管理的价值
  1）数据应用：指标、报表的动态构建；
  2）数据服务：统一管理和运营，驱动敏捷开发；
  3）数据主题：统一管理分析模型，敏捷响应数据分析需求，支持数据赋能、数据增值变现；
  4）数据湖：数据欧名画、增强活性，主力数据治理等问题；
  5）数据源：落地管理制度，提升数据内容的标准化。

二、元数据管理架构

  通过制定元数据标准、规范、平台与管控机制，建立元数据管理体系，支撑数据底座建设与运营。元数据管理主要包含元数据产生、元数据采集、元数据注册和元数据运维。

  元数据产生：
    制定管理流程与规范，实现业务元数据与技术元数据的连接。
  元数据采集：
    构建统一的元模型，从系统中自动采集。
  元数据注册：
    制定元数据注册方法，实现增量和全量的元数据注册。
  元数据运维：
    实现对元数据的产生、采集和运维全过程的运维和管理。