![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
手把手教你学AI
sss
展开
-
数据治理工程师CDGA内容大纲
●第三部分 数据架构、建模、集成与互操作。●第五部分 数据标准、主数据与参考数据。●第七部分 数据仓库、大数据与数据中台。●第四部分 数据伦理与数据安全。●第六部分 元数据与数据资产。●第八部分 非结构化数据管理。●第一部分 数字化转型概述。ETL与ELT的区别与联系。数据分类分级与数据安全管理。●第二部分 数据管理总论。CDGA考试注意事项简介。数据安全内容与体系建设。数据湖的定义与应用场景。数据中台建设及主要问题。数据管理与数字化转型。数据标准及其体系建设。主数据与参考数据建设。文件、档案与内容管理。原创 2023-02-09 11:21:53 · 438 阅读 · 0 评论 -
hive 修复分区 MSCK REPAIR TABLE
MSCK REPAIR TABLE 命令是做啥的MSCK REPAIR TABLE命令主要是用来:解决通过hdfs dfs -put或者hdfs api写入hive分区表的数据在hive中无法被查询到的问题。我们知道hive有个服务叫metastore,这个服务主要是存储一些元数据信息,比如数据库名,表名或者表的分区等等信息。如果不是通过hive的insert等插入语句,很多分区信息在metastore中是没有的,如果插入分区数据量很多的话,你用 ALTER TABLE table_na原创 2021-11-24 19:56:29 · 1952 阅读 · 0 评论 -
【无标题】
mysql8 各种问题怎么装一个mysql.571.yumcentos7.8安装mysql5.7时Error: Unable to find a match: mysql-community-server_你吃棒棒我吃糖(贺成)的博客-CSDN博客安装CentOS7 yum方式安装MySQL5.7 - 码头小渔夫 - 博客园...原创 2021-11-19 16:59:30 · 698 阅读 · 0 评论 -
flink-1.12(一)flink-1.12 搭建
Flink-1.12(一)flink-1.12 搭建 - 简书原创 2021-11-18 00:44:34 · 887 阅读 · 0 评论 -
jinfo使用
jinfo 顾名思义 就是java进程信息 参数查看和修改jinfo 进程号如项目很多信息,Java代码可以通过System.getProperties()获取。C:\Users\Administrator>jinfo 10448Attaching to process ID 10448, please wait...Debugger attached successfully.Server compiler detected.JVM version is 25.29...原创 2021-11-05 17:38:27 · 504 阅读 · 0 评论 -
MetadataCleaner
MetadataCleaner运行定时任务周期性的清理元数据(metadata),有6种类型的元数据:MAP_OUTPUT_TRACKER,executor跟踪各个map任务输出的存储位置的数据,根据spark.cleaner.ttl.MAP_OUTPUT_TRACKER设置清理时间,默认值为-1,表示不清理;SPARK_CONTEXT,SparkContext中记录缓存到内存中的RDD的...原创 2016-12-09 23:09:33 · 287 阅读 · 0 评论 -
UDF 底层实现
用户自定义函数继承UDF,重写evaluate方法即可 以 length 为例例子如下import org.apache.hadoop.hive.ql.exec.UDF;public class MD5Hash extends UDF {public String evaluate(String in) {// 请在此实现}}hive 怎么调用呢h...原创 2017-01-04 00:03:20 · 348 阅读 · 0 评论