![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 96
一名小码农
Math.pow(1.01, 365) = 37.8
展开
-
Hive详解——基本操作归纳
文章目录一、Hive基本概念1. 什么是 Hive1)hive 简介2)Hive 本质:将 HQL 转化成 MapReduce 程序2. Hive 的优缺点1)优点2)缺点3. Hive 架构原理4. Hive 和数据库比较1)查询语言2)数据更新3)执行延迟4)数据规模二、Hive安装1. Hive 安装地址2. 安装MySQL3. Hive 安装部署4. Hive 元数据配置到 MySQL5. 启动并使用 Hive1)启动 Hive2)使用 Hive3)Hadoop中查看文件6. 使用元数据服务的方式访原创 2021-11-30 16:57:47 · 2752 阅读 · 1 评论 -
Hadoop-Yarn
文章目录一、Yarn资源调度器概述1. Yarn基础架构2. Yarn工作机制二、Yarn调度器和调度算法1. 先进先出调度器(FIFO)2. 容量调度器(Capacity Scheduler)3. 公平调度器(Fair Scheduler)1)公平调度器与容量调度器的区别2)公平调度器队列资源分配方式a. FIFO策略b. Fair策略c. DRF策略三、Yarn常用命令1. yarn application 查看任务2. yarn logs 查看日志3. yarn applicationattempt原创 2021-11-09 10:55:35 · 639 阅读 · 0 评论 -
Hadoop-HDFS详解
文章目录一、HDFS概述1. HDFS产出背景及定义1)HDFS产生背景2)HDFS定义2. HDFS优缺点1)HDFS优点2)HDFS缺点3. HDFS组成架构4. HDFS文件块大小二、HDFS的shell操作1. 基本语法2. 命令大全1)上传2)下载3)HDFS直接操作4)举例说明a. 查看文件大小三、HDFS的API操作1. Windows 系统客户端环境准备2. API 操作1)引入依赖2)操作流程3)参数优先级4)常用操作API四、HDFS读写数据流程1. HDFS写数据流程2. 网络拓扑-节原创 2021-10-27 17:30:12 · 5275 阅读 · 1 评论 -
Hadoop3简介与集群搭建
文章目录一、概念1. Hadoop是什么2. Hadoop优势(4高)3. Hadoop组成1)HDFS架构概述2)YARN架构概述3)MapReduce架构概述4)HDFS、YARN、MapReduce三者关系二、安装1. 前提条件2. 准备模板虚拟机3. 目录结构4. 分发命令与脚本配置1)scp(secure copy)安全拷贝a. 基本语法b. 例子2)rsync远程同步工具a. 基本语法b. 案例实操3)xsync集群分发脚本a. 需求分析:b. 脚本实现c. 测试脚本4)SSH无密登录配置a.原创 2021-10-24 23:19:18 · 1610 阅读 · 0 评论