Hadoop 概述

Apache Hadoop 3.1.0 与之前的次要版本（hadoop-3.0）相比，具有许多重要的增强功能。

概述

鼓励用户阅读完整的发行说明。 本页提供了主要更改的概述。

以下简要介绍主要功能和改进。

YARN 服务框架提供一流的支持和 API，以 YARN 中原生地托管长期运行的服务。

简而言之，它作为一个容器管理平台，用于管理 YARN 上的容器化服务。
它既支持docker容器，又支持传统的基于 YARN 的容器。
有关更多详细信息，请参阅 用户文档。

YARN上的一流GPU调度和隔离（适用于docker/非docker容器）。
有关更多详细信息，请参阅 用户文档。

YARN上的一流FPGA调度和隔离（适用于对于docker/非docker容器）。
有关更多详细信息，请参阅 用户文档。

在 YARN 中支持更多表达性的分配约束。 这些约束对于应用程序的性能和弹性至关重要，尤其是那些包含长期运行容器的应用程序，如服务，机器学习和流式工作负载。

例如，将同一个任务的申请放在同一个工作节点（相关性约束）以降低网络成本，将任务分配扩展到多台机器以最大限度减少资源干扰（反相关性约束），或者允许指定工作节点组分配数量来在二者之间取得平衡（基数约束）；这些可能是有好处的。分配结果也会影响韧性。 例如，分配在同一集群升级域内的任务将同时脱机。有关更多详细信息，请参阅用户文档。

支持管理员为队列指定绝对资源（X内存，Y VCores，Z GPU等），而不是提供基于百分比的值。 这为管理员提供了更好的控制来为给定队列配置所需的资源量。有关更多详细信息，请参阅用户文档。

提供的存储允许将存储在 HDFS 之外的数据映射到 HDFS 并从 HDFS 进行寻址。 它通过向 DataNode 中的媒体集引入新的存储类型 PROVIDED，构建异构存储。有关更多详细信息，请参阅用户文档。

入门

Hadoop 文档包含您开始使用 Hadoop 所需的信息。 从单节点安装程序开始，向您介绍如何设置单节点 Hadoop 安装。 然后转到群集设置以了解如何设置多节点 Hadoop 安装。

原文链接