- 博客(7)
- 收藏
- 关注
RSS订阅原创 大数据组件及其性能
Spark：Spark是一个快速而通用的大数据处理引擎，它支持内存计算，并提供了一系列高级API，如Spark SQL、Spark Streaming和机器学习库。Hive：Hive是一个基于Hadoop的数据仓库工具，它提供了类似于SQL的查询语言HQL，可以将结构化数据映射到Hadoop集群上。HBase：HBase是一个分布式、可扩展的NoSQL数据库，它运行在Hadoop集群之上，并提供了对大量结构化和半结构化数据的实时读写访问。它的优点是能够快速随机访问大规模数据，并具有高可靠性和容错性。
2023-07-17 13:38:14
400
原创 Mysql学习笔记01
将select得到的结果，再通过中间表select一遍，这样就规避了错误，这个问题只出现于mysql，mssql和oracle不会出现此问题。在MYSQL里，不能先select一个表的记录，在按此条件进行更新和删除同一个表的记录。十、dense_rank() 函数，number相同则排名相同，不会继续+1。五、mysql中查找字符串中某个符号或字符出现的次数。
2023-03-24 17:10:23
105
原创 主数据管理体系规划
主数据管控体系是数据治理的一大板块，遵循数据治理的建设思路，wwh，怎么管，谁来管，管什么，首先是技术平台的选型，设计与构建主数据管控平台或主数据管理模块，然后是设计主数据管理体系，明确管理对象和组织，认责机制，制定制度流程与评估考核，最后就是主数据标准定义，数据属性，涉及到的部门和存在问题。在实际的项目过程中，很多企业有这方面的困扰，由于长期建立的组织架构权责没有明确导致数据管理的缺失，建立或完善数据管控组织架构，定义相关权责和协同制度，设计或完善数据管控的流程和规范，保证数据管控有据可查，有据可依。..
2022-09-28 14:41:00
2442
2
原创 ibm wkc-CP4D （watson knowledge catalog-cloud pak for data） 元数据
元数据：操作元数据技术元数据业务元数据
2022-01-14 16:48:14
695
原创 ibm wkc-CP4D概念梳理
第一阶段：提供业务就绪数据1.数据类别：分类嵌套，包含子类别，用于管理组织各种数据治理的工件：业务术语、数据类、政策、治理规则等。2.业务术语：可以理解为数据字典，定义了组织中使用的通用、标准化业务概念的定义，以便在整个企业中以统一且易于理解的方式描述数据。1>定义业务术语；2>业务术语遵循审批流程。3.政策：保存政策法规和公司数据策略。规则可以与策略相关联。例如：可以将数据保护规则添加到策略中，以便可以实施保护敏感数据的策略。例如：1>银行金融机构数据治理指引；2>创建
2022-01-14 16:07:03
1545
原创 统一身份认证
1、什么是统一身份认证系统？统一身份认证系统是企业或者组织建设的公共服务系统，包含一套独立的账号密码，用于为其他应用系统提供用户认证服务。2、统一身份认证系统的账号密码与业务系统的账号密码是什么关系？多数情况下，统一认证与业务系统账号密码完全独立，保存在不同的系统中。业务系统提供统一认证功能，也保留了自身独立认证功能，或因为业务需求，保留了账号密码修改功能。这种情况下，用户修改业务系统密码不会改变统一认证密码，同样，修改了统一认证密码也不会改变业务系统密码。也有部分业务系统并不存在密码，完全
2021-12-30 17:10:12
2525
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人