Hadoop
文章平均质量分 96
Hadoop
插班僧
这个作者很懒,什么都没留下…
展开
-
大数据技术之YARN
大数据技术之Yarn目录大数据技术之Yarn第 1 章 Yarn资源调度器1.1 Yarn 基础架构1.2 Yarn 工作机制1.3 作业提交全过程1.4 Yarn 调度器和调度算法1.4.1 先进先出调度器(FIFO)1.4.2 容量调度器(Capacity Scheduler )1.4.3 公平调度器(Fair Scheduler )1.5 Yarn 常用命令1.5.1 yarn application 查看任务1.5.3 yarn applicationattempt 查看尝试运原创 2021-07-29 18:06:27 · 210 阅读 · 0 评论 -
大数据技术之MapReduce
大数据技术之MapReduce目录大数据技术之MapReduce第 1 章 MapReduce 概述1.1 MapReduce 定义1.2 MapReduce 优缺点1.2.1 优点1.2.2 缺点1.3 MapReduce 核心1.4 MapReduce 进程1.5 官方 WordCount 源码1.6 常用数据序列化类型1.7 MapReduce 编程规范1.8 WordCount 案例实操1.8.1 本地测试1.8.2 提交到集群测试第 2 章 Hadoop 序列化2原创 2021-07-28 17:52:43 · 226 阅读 · 0 评论 -
大数据技术之HDFS
大数据技术之HDFS第 1 章 HDFS 概述1.1 HDFS 产出背景及定义1.2 HDFS 优缺点1.3 HDFS 组成架构1.4 HDFS 文件块大小第 2 章 HDFS 的 Shell 操作2.1 基本语法2.3 常用命令实操2.3.1 准备工作2.3.2 上传2.3.3 下载2.3.4 HDFS 直接操作第 3 章 HDFS 的 API 操作3.1 客户端环境准备3.2 HDFS的API案例实操3.2.1 HDFS 文件上传(测试参数优先级)3.2.2 HDFS文件下载原创 2021-07-22 12:02:26 · 249 阅读 · 0 评论 -
大数据技术之Hadoop概述
大数据概述大数据概念大数据(Big Data):指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据主要解决,海量数据的采集、存储和分析计算问题。按顺序给出数据存储单位:bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。 1Byte = 8bit 1K = 1024Byte 1MB = 10...原创 2021-07-17 13:05:05 · 1037 阅读 · 2 评论