数据血缘分析

已于 2023-06-26 13:33:08 修改
阅读量1.1k 收藏 1
点赞数
分类专栏： 数据仓库 文章标签： 大数据
于 2023-06-21 14:24:44 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zuochang_liu/article/details/131327085
版权

引入

做过大数据或者接触过数仓的同学，相信都有听到过数据治理、血缘分析的专业术语。不知道大家有没有思考过以下几个问题：
1、什么是血缘分析？主要分析什么东西？
2、为什么要做血缘分析，主要是为了解决什么痛点？做出来之后有什么价值？如何衡量这些价值？
3、如何做血缘分析？
关于第1，2个问题是需要结合每个企业实际的情况来思考，当然分析其本质就是方便数据梳理。那么本篇主要侧重于第3个问题，通过工程+方法论的方式来为读者们揭开血缘分析功能的神秘面纱。

效果展示

关于如何做血缘分析，其实每个企业的做法都大差不差，主要差别在于实现的深度。例如：有的企业是直接引用现有的开源工具，有的企业是结合自身的产品进行自研，有的企业可能只做到表级别，有的企业做到字段级别。那么本篇将会为读者们提供一种表级别粒度的分析功能，并通过可视化的方式为大家展示，当然本篇文章是属于抛砖引玉，主要是给大家提供一种思路。先为读者们展示最终效果图：

执行底层

在数仓工作职责内，大部分都是SQL化，因此血缘分析大多数都是基于SQL解析来做。当然也有非SQL的场景，不过其思想和做法都是一样的，只是API层面的调用不同而已。本篇就以Spa

了解本专栏 订阅专栏 解锁全文 超级会员免费看
大数据私房菜
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
HiveSqlBloodFigure:hive血缘关系解析工具
04-18
在数据仓库建设中，经常会使用到数据血缘追中方面的功能，本项目实现了对hql集合进行静态分析，获取hql对应的血缘图（表血缘 + 字段血缘） 项目升级内容 删除hive-exec与hadoop-common的maven依赖，使得项目更加的轻...
【开源项目推荐】通用SQL数据血缘分析工具——Sqllineage
大数据流动
12-05 2536
大家好，我是独孤风，从本周开始，争取每周为大家带来一个优秀的开源项目推荐。开源项目不仅促进了技术的发展和普及，还为全球范围内的开发者和用户社区建立了一个共享知识、协作和创新的平台。站在巨人的肩膀上才能看的更远，我们平时也应该多多关注开源项目，不仅学习其丰富的知识，也要找机会为开源事业做出自己的贡献。话不多说，今天为大家推荐的开源项目名为SQLLineage。SQLLineage 是一个使用 Pyt...
Hive SQL血缘解析
qq_40382400的博客
06-08 1502
Druid可以直接获得所有的列 http://t.csdn.cn/mO4TX 利用Hive提供的LineageLogger与Execution Hooks机制做血缘 https://blog.csdn.net/qq_44831907/article/details/123033137 Apache Calcite gudusoft 解析方案 商业 https://blog.csdn.net/qq_31557939/article/details/126277212 6.github开源项目： https:
第一次使用马哈鱼血缘分析工具（SQLFlow）
学习之余随便记记
08-24 9279
马哈鱼数据血缘分析工具（英文名称为 Gudu SQLFlow ）是一款用于分析 SQL 语句，并发现其中数据血缘关系的分析软件，经常和元数据管理工具一起使用，是企业数据治理的基础工具。如果你对 SQL 语言不熟悉，那么本文可能不适合你阅读。阅读本文无需事先有数据血缘相关的知识，只要把数据血缘关系简单的理解为数据库中两个或多个表之间的数据依赖关系即可。我们通过分析下面的 SQL 语句，来看看如何梳理出各个表/视图间的数据依赖关系。通过分析以上 INSERT SQL 语句，我们可以知道。
DataHub调研&数据血缘
美丽的毛毛草
04-04 5089
​ 在DataHub中可以通过GraphQL API轻松的创建和添加任何实体标签，这样随着时间的推移，实体的属性回越来越丰富。当有一天我们想要查看某一标签的相关实体信息时，只需要在标签位置点击该标签，就会将所有相关的实体数据 列出来。
数据治理：数据血缘关系分析
q1042960848的博客
07-16 2万+
数据治理：数据血缘关系分析 此文章由百度的多篇文章归纳总结而成，以供本人学习和记录方便，不做任何商务用途，如有侵权，请联系我删除，谢谢！ 参考列表： 微信 - 头哥侃码公众号：数据治理的大方向是Database Mesh？先把数据之间的血缘关系搞明白，咱再吹行吗？ 搜狐 - 数据大家：数据之间有血缘关系？数据治理不得不懂的血缘关系梳理方法 知乎 - NBI大数据可视化分析平台: 数据治理中的数据血缘关系是什么？用来解决什么问题 相亲相爱的数据：论数据血缘关系 文章目录数据治理：数据血缘关系分析前言
剖析 4.7k Star 的新一代元数据平台 Datahub
qq_34608620的博客
02-15 2300
随着数字化转型的工作推进，数据治理的工作已经被越来越多的公司提上了日程。作为新一代的元数据管理平台，Datahub在近一年的时间里发展迅猛，大有取代老牌元数据管理工具Atlas之势。国内Datahub的资料非常少，大部分公司想使用Datahub作为自己的元数据管理平台，但可参考的资料太少。 通过本文档，可以快速的入门Datahub，成功的搭建Datahub并且获取到数据库的元数据信息。是从0到1的入门文档，更多Datahub的高级功能，可以关注后续的文章更新。 正文共： 10289字 32图 预计阅读时间：
基于Druid的HiveSQL血缘解析
master_hunter的博客
11-02 4610
我说过做Python的SQL解析算是一个对AST解析树的深入理解。没想到的是基于sqlparse的工具做出sql解析是可行的，这涉及到较多的递归和判断，但是我写的程序应对的SQL语句应该是不多的1，很多条SQL语句都没有测试完还是有一定的风险的。如果大家有想要解析的SQL可以私信发我，将免费提供SQL解析，如果程序功能和兼容性足够完善的话，将再出一篇文章把所有的解析过程详解。本篇文章主要讲述的是直接利用Druid的功能直接实现血缘解析，就不再过多的去解析其底层AST树的解析了，大致的做法都是相同的。
SQL、Hive SQL等SQL血缘解析工具
01-14
// 设置元数据服务 Delegate.getDelegate().setMetaColumnService(new IMetaColumnService() { @Override public List<String> queryMetaColumn(String dbName, String tableName) { return Collections.empty...
Informatica元数据和血缘关系
08-03
梳理Informatic的元数据，理清ETL背后的数据加工流水线基础数据，基于SQL析可以获取目标表依赖的源表和映射，然后基于映射可以追溯到相应的会话、工作集、工作流，完成整个数据加工链的血缘
基于图数据库的元数据血缘关系分析技术研究与实践.docx
最新发布
04-26
基于图数据库的元数据血缘关系分析技术研究与实践.docx
关于血缘关系的演变
06-05
“血缘关系”是“博爱”或“悲伤”的性别中立术语。 最初，血缘关系包括M个男性成员和F个女性成员。 每周随机选择一个成员，选择一个新成员，该成员的性别始终与进行选择的成员相同。 这种进化模型与经典的Pólya...
数据血缘全方位理解&实施指南
Sunny的专栏
09-08 8807
假设一个任务实际的输入和产出与血缘中该任务的上游和下游相符，既不缺失也不多余，则认为这个任务的血缘是准确的，血缘准确的任务占全量任务的比例即为血缘准确率。准确率是数据血缘中最核心的指标，例如影响范围告警，血缘的缺失有可能会造成重要任务没有被通知，造成线上事故。
介绍一个数据血缘的项目 OpenLineage
java_beautiful的博客
06-28 2763
“大数据”这个概念逐渐深入人心，很多公司都面临的着： 工具和平台的数量爆炸式增长 越来越多的人开始使用数据、应用数据 对于一个大企业而言，每个子公司/部门可能都有着属于自己的数据团队...
数据血缘是什么？数据血缘都解决哪些问题
Foolforuuu的博客
05-20 4931
数据血缘，即对Sugar BI中各资源涉及的数据流经路径进⾏跟踪，类似于追踪数据的「⾎缘关系」。 其可针对数据向下做影响分析或向上做溯源分析，有助于⽤户管理资源和排查问题。具体为： 影响分析：了解资源（如数据源 / 数据表 / API / 数据模型 / SQL 模型等）被下游的使⽤情况，便于在更改资源时评估影响。 溯源分析：对资源（如图表 / 数据模型）的错误 / 疑问进⾏溯源，查明根因。 数据血缘 数据血缘支持两种查看方式： 图形模式（通过关系图的形式，用节点与有向连接线的可视化方式，展示当前空间
2022数据血缘关系详解
ytp552200ytp的博客
09-26 3597
2022数据血缘关系详解
数据血缘分析-Python代码的智能解析
Focus on Lakehouse
06-29 1651
如果你的工作是从事数据挖掘、数据仓库建设或者信息系统开发/维护，有没有曾经遇到过如下的烦恼？面对着几百上千张数据表，不知该如何关联，不知哪些表更有价值执行着长的令人绝望，慢的无法忍受的SQL脚本，却不敢挥刀整改准备着新功能上线，但总担心一行代码的修改会造成严重的生产事故有没有科学的办法，来管理表之间、代码之间的复杂关系？从而帮助开发人员更好地认识和理解业务系统业务与底层...
HIVE数仓数据血缘分析工具-SQL解析
热门推荐
thomas0yang的专栏
10-27 4万+
一、数仓经常会碰到的几类问题： 1、两个数据报表进行对比，结果差异很大，需要人工核对分析指标的维度信息，比如从头分析数据指标从哪里来，处理条件是什么，最后才能分析出问题原因。 2、基础数据表因某种原因需要修改字段，需要评估其对数仓的影响，费时费力，然后在做方案。二、问题分析： 数据源长途跋涉，经过大量的处理和组件来传递，呈现在业务用户面前，对数据进行回溯其实很难。元数据回溯在有效决策、策略制定
2023大数据面试真题(持续更新)
我的祖传代码
07-04 3万+
5.有两个数据源，一个记录的是广告投放给用户的日志，一个记录用户访问日志，另外还有一个固定的用户基础表记录用户基本信息（比如学历，年龄等等）。9.线上业务每天产生的业务日志（压缩后>=3G），每天需要加载到hive的log表中，将每天产生的业务日志在压缩之后load到hive的log表时，最好使用的压缩算法是哪个,并说明其原因。为什么不用 Hive 默认的分隔符，默认的分隔符是什么？41.有一千万条短信，有重复，以文本文件的形式保存，一行一条数据，请用五分钟时间，找出重复出现最多的前10条。
作为一个资深的py算法工程师，你需要对hivesql进行数据血缘分析解析得到输出源表、目标表和源字段、目标字段映射，输出一套完整的python代码
06-07
好的，针对HiveSQL进行数据血缘分析，可以按照以下步骤进行： 1. 连接Hive数据库并获取元数据 我们可以使用PyHive库连接到Hive数据库，并获取每个表的元数据信息，包括表名、字段名、数据类型等。例如，可以使用以下代码获取表的元数据信息： ```python from pyhive import hive conn = hive.Connection(host='localhost', port=10000, username='user', database='default') cursor = conn.cursor() cursor.execute('DESCRIBE my_table') metadata = cursor.fetchall() ``` 2. 解析HiveSQL语句 接下来，我们需要解析HiveSQL语句，得到SQL语句中涉及的所有表和字段。可以使用Python库sqlparse对HiveSQL语句进行解析。例如，对于以下HiveSQL语句： ```sql SELECT a.id, b.name FROM my_table a JOIN another_table b ON a.id = b.id WHERE a.age > 18 ``` 可以使用以下代码解析得到表名和字段名： ```python import sqlparse sql = 'SELECT a.id, b.name FROM my_table a JOIN another_table b ON a.id = b.id WHERE a.age > 18' parsed_sql = sqlparse.parse(sql)[0] tables = set() fields = set() for token in parsed_sql.tokens: if isinstance(token, sqlparse.sql.IdentifierList): for identifier in token.get_identifiers(): fields.add(identifier.get_name()) elif isinstance(token, sqlparse.sql.Identifier): tables.add(token.get_name()) tables = list(tables) fields = list(fields) ``` 3. 进行数据血缘关系分析 有了表名和字段名之后，我们可以根据字段在HiveSQL语句中的位置，判断它是源字段还是目标字段。例如，对于以下HiveSQL语句： ```sql SELECT a.id, b.name FROM my_table a JOIN another_table b ON a.id = b.id WHERE a.age > 18 ``` 可以判断出a.id是源字段，b.name是目标字段。然后，我们可以根据表名和字段名，将源字段和目标字段进行映射，得到源表、目标表和字段映射关系。具体实现可以使用Python字典来存储映射关系，例如： ```python mapping = {} for i, field in enumerate(fields): if tables[i] == 'my_table': mapping[field] = { 'source_table': 'my_table', 'source_field': field, 'target_table': 'another_table', 'target_field': fields[i+1] } print(mapping) ``` 4. 输出Python代码 最后，我们可以根据得到的映射关系，生成Python代码。具体实现可以使用字符串拼接的方式，生成包含源表、目标表和字段映射关系的Python代码。例如，对于上面的映射关系，我们可以生成如下代码： ```python mapping = { 'id': { 'source_table': 'my_table', 'source_field': 'id', 'target_table': 'another_table', 'target_field': 'id' } } source_table = 'my_table' source_fields = ['id'] target_table = 'another_table' target_fields = ['name'] source_to_target = {} for field in source_fields: source_to_target[field] = mapping[field]['target_field'] print('SELECT {} FROM {} WHERE {} > 18'.format(', '.join(target_fields), target_table, source_to_target['id'])) ``` 以上就是一个简单的HiveSQL数据血缘分析的Python代码。由于HiveSQL语法和元数据信息都有所不同，需要根据实际情况进行调整和优化。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大数据私房菜

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值