一.1.1 数据治理子系统
建设大数据治理子平台,提供数据标准管理、元数据管理、数据质量管理能力,实现对数据的规范治理与管理;提供数据工厂能力,实现对归集的数据进行清洗、加工,支撑业务的数据应用需求。具体,在本次杨浦大数据资源平台建设项目中,数据治理子平台的建设内容包括:
Ø 资源目录管理:提供资源目录管理功能,包括:资源编目、目录提交、目录审核、目录发布、目录汇总、目录查询等;
Ø 数据标准管理:提供数据标准管理功能,包括:字典标准管理、命名标准管理、维度标准管理及数据项标准管理;
Ø 元数据管理:提供元数据管理功能,包括:元数据正向采集、元数据维护、元数据查询、元数据导入/导出、元数据血缘分析;
Ø 数据质量管理:提供数据质量管理功能,包括:质量模型配置、质量规则管理、方案配置调度、质检结果查看、质检分析报告;
Ø 数据开发平台:提供数据开发平台能力,支持可视化开发和原生态开发两种开发模式,实现原生态开发与可视化编排的互相转换;
Ø 统一调度管理:提供统一调度管理功能,提供流程设计与管理、调度策略管控、任务调度控制、等功能模块。
一.1.2 数据资源中心
在本次项目中,我们需要制定全区公共数据汇聚的标准规范和管理制度,归集全区各单位的政府公共数据,形成XX市的数据资源湖。同时经过对数据进行清洗、转换、融合、治理后,形成高质量的公共数据资源,构建形成杨浦标准化数据仓库。
基于全区的数据资源湖,利用经过治理后的数
智慧政务大数据资源平台数据治理与应用系统详解
本文详细介绍了智慧政务大数据资源平台的数据治理子系统、数据资源中心、数据共享子系统、门户子系统、统一运维子系统和数据安全管理子系统。数据治理子系统包括资源目录管理、数据标准管理、元数据管理等功能;数据资源中心则构建数据湖,提供数据对接和基础库、主题库建设;数据共享子系统实现数据交换和服务管理;门户子系统提供数据开放和业务流程管理;统一运维子系统保障平台稳定运行;数据安全管理子系统确保数据安全。此外,还探讨了大数据底座的技术架构,包括HDFS、YARN、Hive、Spark等组件的作用。
订阅专栏 解锁全文
498

被折叠的 条评论
为什么被折叠?



