zhen_hero的博客

要想将clickhouse的元数据同步到Atlas中，首先需要定义clickhouse相关的类型（这里是参考了spark相关类型写的，具体属性可以根据自己公司实际情况进行调整，不一定所有属性都是有用的）},},},],"DataSet"],},},},},],],},},},},},},},},},},},],"DataSet"],},},},],},},},],},},},],"DataSet"],},},},},

比如采集同学对某一网站进行数据采集，同一个用户每天会有很多条记录，所以我们要取一条这个用户最新的状态，比如用户改了N次昵称，我们只想得到最后一次修改的结果，但是用窗口函数row_number按时间排序的话，可能最后一条某些字段没采集到，但是之前是有采集到的，所以应该在按时间倒序排的基础上，遇到null值，再往前取，直到所有字段尽可能取到最新的、不为null的值，最后存到表里。我们应该得到1，b，10，2023-12-01 00:04:00。

from hive_table;hive_table from hive_table where name = 'xxx' or name = 'yyy' from hive_table where name = ["xxx", "yyy"] from hive_table where name LIKE '*_xxx' hive_db where name like "???dm?*" hive_column where table.name = "dim_zd

元数据是关于数据的数据，是为了描述数据的相关信息而存在的数据。元数据是用数据管理数据，是快速查找数据、精确定位数据、准确理解数据和有效使用数据的关键。元数据管理还须符合数据标准、较高的数据质量、数据安全、数据共享、合理顺滑管理流程。在存储、计算和人力成本合理可控、可管理的前提下，使数据价值得到最大发挥，是数据全生命周期管理重要组成部分，是提升数据价值发挥的前提，是数据治理的基石。

是一个开源的数据可视化和数据探索平台，它提供了一个用户友好的界面，可以轻松地创建和分享仪表板。它支持多种数据源，包括SQLAlchemy兼容的数据库、CSV文件、Apache Druid、Elasticsearch等。Apache Superset是一个基于Python编写的Web应用程序，使用Flask作为Web框架，使用React和Bootstrap作为前端UI库。后端使用SQLAlchemy进行数据库访问，支持多种关系型数据库。

今天需要将一个分区表的数据（A）迁移到另一张表(B)，两个表的字段不完全一样，但是分区一样,要求迁入到B表后，原来的数据还在原来的分区里，和原来一一对应，表结构如下：A:B:A表的分区：由于分区比较多，一个分区一个分区迁肯定不现实，所以需要用到动态分区下面是迁移sql: set hive.exec.dynamic.partition=true; --开启动态分区 set hive.exec.dynamic.partition.mode=nonstrict;--允许...

近期公司有个需求,要求使用短信验证码登录,取代原来的图片验证码方式,在此记录一下我的实现方法,希望对你有所帮助公司需求：目前只有账号和验证码方式验证登录，按照公司网络安全统一部署，要求所有公网系统都需要动态双因子认证 改造方案：此ULR增加登录短信验证，取代验证码验证对于此需求,思路就是点了"发送验证码"按钮后,前台开始倒计时,后台随机生成一个6位数的验证码 记录一下当前的时间戳(用来校验验证码是否失效,根据业务情况的不同设置不同的失效时间,我这里是5分钟内有效),将发送的验证码和时间戳返回前

五.HDFS架构 大多数分布式大数据框架都是主从架构 HDFS也是主从架构Master|Slave或称为管理节点|工作节点 主叫NameNode，中文称“名称节点” 从叫DataNode，中文称“数据节点” 5.1 NameNode5.1.1 文件系统 file system文件系统：操作系统中负责管理文件、存储文件信息的软件 具体地说，它负责为用户创建文件，存入、读取、修改、转储、删除文件等 读文件 =>.

安全漏洞之host头攻击漏洞漏洞描述渗透测试人员发现，抓包修改host头，在返回包中的base标签中的值会随host值改变，说明存在host头攻击漏洞。漏洞建议建议使用SERVER_NAME而不是hostheader。脆弱性评价： 严重程度 高 ...

　　　　　　　　　　　　XSS跨站脚本执行漏洞漏洞描述渗透测试人员发现，在实时营销策略管理中的策略编码和策略名称中填入<imgsrc=xonerror='alert(document.cookie)';>发现会显示cookie，抓包发现EVENT_ID，EVENT_NAME两个字段存在xss漏洞。漏洞建议对所有用户提交内容进行可靠的输入验证，包括对...

今天遇到一个将oracle里查询的数据写入到本地文件的小需求,主要使用到了spool命令.spool的作用可以用一句话来描述：在sqlplus中用来保存或打印查询结果。做个记录,以便日后查询以下是代码:sqlplus -S "BJ_UCR_STA_SALE1/123456@132.77.153.220:1526/wxwldb"<<! set echo off se...

项目漏扫要求涉及到密码传输的页面对密码进行加密,下面是需求详情:1.需求:客户、客户经理、管理员登录页面的密码需要加密传输2.风险分析：程序在与服务器通信的过程中如果未做加密处理，数据可能被第三方截获，导致泄露隐私信息，服务器沦陷等风险3.加密方式：3DES，AES，RSA，MD5其中之一即可其中3DES和AES是对称加密算法,RSA是非对称加密算法,MD5是Hash加密算法,我选...

网上关于SQL优化的教程很多，但是比较杂乱。近日有空整理了一下，写出来跟大家分享一下，其中有错误和不足的地方，还请大家纠正补充。这篇文章我花费了大量的时间查找资料、修改、排版，希望大家阅读之后，感觉好的话推荐给更多的人，让更多的人看到、纠正以及补充。1.对查询进行优化，要尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。2.应尽量避免在 wh...

重置密码解决MySQL for Linux错误 ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using password: YES)一般这个错误是由密码错误引起，解决的办法自然就是重置密码。假设我们使用的是root账户。1.重置密码的第一步就是跳过MySQL的密码认证过程，方法如下：#vim /etc...

Java虚拟机 运行时数据区Java在执行Java程序的过程中会把它所管理的内存划分为若干个不同的数据区域。这些区域都有各自的用途、创建和销毁的时间，有一些是随虚拟机的启动而创建，随虚拟机的退出而销毁，有些则是与线程一一对应，随线程的开始和结束而创建和销毁。Java虚拟机所管理的内存将会包括以下几个运行时数据区域 程序计数器（Program Counter Register）...

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/csolo/article/details/79982388在学习SpringCloud之前，先梳理一下基础知识，本章节的目标就是了解如下基础知识： 微服务 SpringCloud Springboot 最后通过搭建一个简单的Springboot 的 helloworld 结束本章。...