hadoop
文章平均质量分 95
诗人在流浪
分享技术,遨游穹苍.
展开
-
MapReduce实践及Yarn资源调度
文章目录1.MapReduce介绍1.理解MapReduce思想2.Hadoop MapReduce设计构思3.MapReduce编程规范及示例编写编程规范Map阶段2个步骤shuffle阶段4个步骤(了解,可以全部不用管)reduce阶段2个步骤4.WordCount实例4.1准备数据并上传4.2测试官方案例4.3定义一个mapper类4.4定义一个reducer类4.5定义一个主类,并提交job5.hadoop中分片2.Yarn资源调度1.yarn集群的监控管理界面:2.Yarn介绍3.yarn当中的调原创 2021-10-23 10:58:44 · 1007 阅读 · 0 评论 -
分布式文件系统HDFS
文章目录1.HDFS的来源2.HDFS的架构图之基础架构2.1 master/slave 架构2.2 名字空间(NameSpace)2.3 文件操作2.4副本机制2.5心跳机制2.6 一次写入,多次读出3.NameNode与Datanode的总结概述3.1namenode 元数据管理3.2 Datanode 数据存储4.文件副本机制以及block块存储5.元文件FSImage与edits6、HDFS的文件写入过程7、HDFS的文件读取过程8.HDFS基本Shell操作9.HDFS的api操作9.1前期准备9原创 2021-10-23 10:54:40 · 693 阅读 · 0 评论 -
hadoop--完全分布式部署
文章目录1.安装环境服务部署规划2. 进入目录3.上传安装包并解压4.修改配置文件4.1.修改hadoop-env.sh4.2.修改 core-site.xml4.3.修改 hdfs-site.xml4.4.修改 mapred-site.xml4.5.修改 yarn-site.xml4.6.修改slaves4.7.配置hadoop的环境变量4.8.分发文件到hadoop02、hadoop03服务器4.9.hadoop02、hadoop03服务器配置hadoop的环境变量5. 启动5.1.初始化5.2.启动5原创 2021-10-21 21:35:10 · 745 阅读 · 0 评论 -
hadoop--伪分布式部署
文章目录1.资料下载2.大数据介绍2.1什么是大数据?2.2为什么要学习大数据?2.3大数据相关技术2.4海量数据存储2.5海量数据清洗2.6海量数据处理3.集群环境准备3.1准备虚拟机3.2修改为静态IP3.3配置文件3.4配置文件内容3.5重启网络3.6查看IP3.7mobaxTerm的使用3.8关闭防火墙3.9修改主机名3.10修改hosts文件3.11三台机器重启3.12设置免密登录3.12.1三台机器生成公钥与私钥3.12.2拷贝公钥到同一台机器3.12.3复制第一台机器的认证到其他机器3.12.原创 2021-10-21 16:32:18 · 914 阅读 · 0 评论