- 博客(47)
- 收藏
- 关注
RSS订阅原创 BD测试（二）
参考答案一离线项目中的数仓分层体系一般包括原始数据层、清洗数据层、加工数据层和应用数据层。原始数据层用于存储从各个数据源抽取的数据，保留原始的数据结构和格式。清洗数据层对原始数据进行去重、过滤、格式化等处理，提高数据质量。加工数据层对清洗后的数据进行加工、计算和整合，生成目标数据。应用数据层提供面向用户的数据服务和报表展示，满足业务需求。参考答案二- ODS层:操作数据存储层,原始数据- DWD层:数据仓库层,清洗后数据- DWS层:数据集市层,汇总加工数据。
2023-08-14 10:26:04
416
原创 BD测试..
参考答案一-上游和下游可以实现解耦，上游不需要关心下游的处理逻辑，下游不需要关心上游的数据源。-上游和下游可以并行处理，提高整体处理效率。-可以实现数据的分发和负载均衡，提高系统的稳定性和可扩展性。参考答案二- 可以很方便地将多个数据源的数据汇聚到一起,然后发送到下游的存储/计算系统中。- 可以很容易地在 Flume agent 之间传递 event,实现更复杂的拓扑结构。- 可以通过 Source、Channel、Sink 的灵活组合,实现不同的采集需求。
2023-08-10 21:52:57
575
原创 大数据初级汇总
Cluster提交模式适用于长期运行的、不需要与客户端交互的应用程序，应用程序的生命周期与YARN集群的生命周期相互独立。请注意，上述查询中使用的表名和字段名是根据你之前提供的表结构假设的，你需要根据实际情况进行相应的调整。窄依赖只需要简单地将数据传递给下游的子 RDD 分区，而宽依赖涉及到数据的重新分区和重组，需要进行 Shuffle 操作。Spark 根据用户 Application 中的 RDD 的转换算子和行动算子，会生成 RDD 之间的依赖关系，多个。的公用表表达式，计算每个部门的平均薪资。
2023-07-20 16:15:28
139
原创 Hadoop-HDFS
Hadoop HDFS(Hadoop Distributed File System)是Apache Hadoop中的分布式文件系统。它是一个流行的分布式文件系统,适合运行在的集群上。HDFS的主要特征有:1. 分布式:HDFS存储文件的片段称为block,每个block默认大小为128MB,一个文件会被划分成多个block存储在集群的不同节点上。2. 容错:HDFS会自动保存文件多份副本,默认保存3份副本,这样即使某个节点失效,数据也不会丢失。
2023-05-26 19:18:55
902
原创 Shell
Shell是命令行解释器,它是用户与操作系统内核之间的接口。Shell获取用户输入的命令,并将其转换为内核可以理解的系统调用。用户可以在Shell中运行各种命令、脚本和程序。不同的Shell有不同的命令和语法,但它们的主要功能都是作为操作系统的命令行界面,为用户提供与系统交互的方式。常见的Linux Shell有:- Bourne Shell(/bin/sh):最初的Unix Shell,命令语法相对简单。- C Shell(/bin/csh):具有C语言风格的命令语法,提供一定的编程能力。
2023-05-26 19:10:08
438
原创 Linux
Linux是一个开源的操作系统内核,它最初是由Linus Torvalds编写的,后来由全世界的程序员共同开发。Linux内核的设计运行在许多不同的硬件平台上,比如PC、服务器、移动设备和嵌入式系统等。Linux发行版是基于Linux内核,并夹杂对开发者和用户友好的东西如安装程序、图形界面和应用程序等。流行的Linux发行版有:- Ubuntu:易于使用,面向桌面用户,由Canonical公司开发。- CentOS:面向企业用户,由红帽公司的源码编译而来,稳定可靠。
2023-05-26 17:54:55
672
原创 ZooKeeper
ZooKeeper是一个开源的分布式协调服务,用于管理大型分布式系统的配置信息,命名,分组,同步和提供分布式锁等功能。ZooKeeper的主要特点:1. ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。2. ZooKeeper的设计目标是将那些复杂且容易出错的分布式一致性服务封装起来,构成一个高效可靠的原语。3. ZooKeeper是一种层结构型的目录服务,支持变更推送。
2023-05-26 17:34:25
65
原创 SpringBoot
Spring Boot提供了许多Starter依赖，每个Starter依赖都是一个带有预配置POM文件的Maven依赖项，包含了相关的库和依赖项，可以用于快速构建特定类型的应用程序。Spring Boot 使用"约定大于配置"（项目中内置默认的配置，让你无须手动进行配置）的理念，减少了大量的配置文件的使用，可以让你的项目快速运行起来。Spring Boot 是一个在 Spring 的基础上搭建的全新的框架，它的设计目的是用来简化 Spring 应用的初始搭建以及开发过程。
2023-04-25 17:52:34
163
原创 Spring MVC
Spring MVC是Spring家族中的一个web成员，它是一种基于Java的实现了Web MVC设计思想的请求驱动类型的轻量级Web框架，即使用了MVC架构模式的思想，将web层进行职责解耦，基于请求驱动指的就是使用请求-响应模型，框架的目的就是帮助我们简化开发，Spring MVC也是要简化我们日常Web开发的。在上面的代码中，`@Controller` 注解表示该类是一个控制器类，`@RequestMapping` 注解表示该方法处理 `/hello` 请求，并返回名为 `hello` 的视图。
2023-04-25 17:50:14
229
原创 Spring框架
在调用代理对象的方法时，会首先执行 `invoke()` 方法中的日志记录逻辑，然后再调用原始对象的相应方法。在Spring中，可以通过 `@Component`、`@Service`、`@Repository` 等注解来标记类，并使用 `component-scan` 元素来启用自动扫描。在上述示例中，Spring容器会自动扫描 `com.example` 包下所有被 `@Component`、`@Service`、`@Repository` 等注解标记的类，并将其转换成相应的bean定义。
2023-04-25 17:48:00
185
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人