关注
分享
美妙人生WonderfulLife
通读大数据开源组件Hadoop和Spark的底层源码，对大数据技术有深入体会。同时并结合业务场景优化大规模集群资源。资深的大数据技术专家；对HDFS、MapReduce、HBase、Hive、Flume、Kafka、Spark等生态系统中的技术进行了深入的研究。从事十年的项目开发以及管理工作，参与电力项目8年，主要从事GIS项目的研发与管理。目前主要从事大数据人工智能项目平台的开发与设计。
展开
-
第三十一讲.源码解析学习思路以及DataNodeInfo案例分析
视频：【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【视频笔记】通过FileSystem API访问BlockLocations块位置信息-----------------------------------------------------------------------------------------------/** * 通过FileSystem API访问...原创 2021-08-20 09:21:34 · 112 阅读 · 0 评论 -
第三十讲.BlockLocation源码解析
视频：【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【视频笔记】BlockLocation代码跟踪---------------------------------------------------------------------------------------- 1.client-->[DistributedFileSystem.class]fs.getFileBlock...原创 2021-08-16 09:40:03 · 210 阅读 · 0 评论 -
第二十九讲.append追加操作+复本存放策略
视频：【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【视频笔记】append追加操作---------------------------------------------------------------------------------------------/** * 注意：如集群节点少于3个，会抛异常；解决方案修改【dfs.client.block.write.re...原创 2021-08-16 09:39:46 · 108 阅读 · 0 评论 -
第二十八讲.seek操作+测试一致模型（描述文件读和写的数据可见性）
视频：【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【视频笔记】seek操作【P59】------------------------------------------------------------------------------------ /** * 通过FileSystem API做read操作，设置seek() * 总结：FSDataInputS...原创 2021-08-16 09:39:31 · 132 阅读 · 0 评论 -
第二十七讲.动态设置相关参数(replication为2和blocksize为10字节)
视频：【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【视频笔记】通过java.net.URL类访问写入HDFS数据---------------------------------------------------------------- /** * 通过java.net.URL类访问写入HDFS数据 * 结论：通过URL的方式不能实现对HDFS的写操作，抛ja...原创 2021-08-16 09:39:15 · 122 阅读 · 0 评论 -
第二十六讲.FileStatus对象,获取文件的相关属性
视频：【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【视频笔记】FileStatus对象，获取文件的相关属性----------------------------------------------------------- /** * 通过FileSystem API获取一些相关参数,有一些过期的方法，如何采用现有的 */ @Test public ...原创 2021-08-16 09:38:59 · 329 阅读 · 0 评论 -
第二十五讲.通过FileSystem API创建文件夹
视频：【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【视频笔记】通过FileSystem API创建文件夹-------------------------------------------------------------- /** * 通过FileSystem API创建文件夹 * $>hadoop fs -mkdir /mkdir_byAPI ...原创 2021-08-16 09:38:44 · 539 阅读 · 0 评论 -
第二十四讲.配置windows Hadoop工具包+通过FileSystem API访问读取HDFS数据
视频：【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【视频笔记】通过FileSystem API访问读取HDFS数据--------------------------------------------- /** * 通过FileSystem API访问读取HDFS数据 * $>hadoop fs -cat /spaceQuota/text.txt *...原创 2021-08-16 09:38:15 · 155 阅读 · 0 评论 -
第二十三讲.从HadoopURL中读取数据
视频：【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【视频笔记】从hadoop URL读取数据------------------------------------------ static{ URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory()); } /** * 通过j...原创 2021-08-16 09:37:45 · 154 阅读 · 0 评论 -
第二十二讲.知识点回顾+搭建Hadoop开发环境+eclipse集成hadoop插件
视频：【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【视频笔记】hdfs API-------------------- 1.HDFS:hadoop分布式文件系统--> 两种表现形式：1.hadoop fs shell命令：【hadoop fs -commond】 2.java API方式访问: ...原创 2021-08-16 09:37:27 · 72 阅读 · 0 评论 -
第二十一讲.配额说明+HDFS相关命令(追加文件+合并文件+设置复本因子+快照Snapshot)
视频：【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【视频笔记】hdfs commond命令---------------------------- 1.appendToFile追加文件至目标文件末尾；(开yarn进程) $>hadoop fs -appendToFile text111.txt /spaceQuota/text.txt 2.getmerge:合...原创 2021-08-16 09:37:10 · 107 阅读 · 0 评论 -
第二十讲.HDFS管理员命令(查看状态信息+保存元数据+获取最新fsimage+设置目录配额和空间配额)
HDFS视频：【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【视频笔记】hdfs管理员操作dfsadmin------------------------------- 1.-report：返回集群的状态信息 $>hdfs dfsadmin -report 2.-metasave：默认存放到{HADOOP_LOG_DIR}路径下,包含datanode和块的信...原创 2021-08-13 11:02:57 · 683 阅读 · 0 评论 -
第十九讲.NN与SNN能否放置在同一节点+NameNode内存大小由谁决定+如何减少Block数量
视频：【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【视频笔记】问题：------------------------------------------------------1.namenode与secondarynamenode是否放到同一个节点？答：不能。 原因：内存！！！！！单节点内存大小有物理限制。2.nanemnode内存大小有谁决定？答：由集群中的块的数量决定；...原创 2021-08-13 11:01:04 · 182 阅读 · 0 评论 -
第十八讲.手动操作CheckPoint(安全模式)+滚动日志命令
视频：【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【视频笔记】手动操作checkpoint----------------------------- 1.安全模式：【开启状态】 $>hdfs dfsadmin -safemode enter //进入 $>hdfs dfsadmin -safemode leave //离开 ...原创 2021-08-13 10:59:22 · 283 阅读 · 0 评论 -
第十七讲.CheckPoint检查点机制+阈值参数说明
视频：【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【视频笔记】checkpoint(检查点机制)相关属性---------------------------------------- 1.checkpoint周期，默认为1小时。 <property> <name>dfs.namenode.checkpoint.period</n...原创 2021-08-13 10:56:02 · 546 阅读 · 0 评论 -
第十六讲.分析NameNode开启运行流程【深入理解】
视频：【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【视频笔记】分析namenode开启过程:50070UI---------------------------- 1.默认目录下{hadoop.tmp.dir/dfs/name/current}，fsimage文件存储为两个，加载fsimage_txid最后一个。（txid=39） 2.加载edits_txid操作文件至内存中。元...原创 2021-08-13 10:50:14 · 87 阅读 · 0 评论 -
第十五讲.元数据分析：查看解析fsimage和Edits文件
视频：【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【视频笔记】元数据------------------------- 1.查看fsimage文件 $>hdfs oiv -i fsimage_0000000000000000022 -o ~/fs22.xml -p XML 【 <?xml version="1.0"?> ...原创 2021-08-13 10:46:39 · 298 阅读 · 0 评论 -
第十四讲.HDFS体系结构说明（NameNode+DataNode）精讲
视频：【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【视频笔记】HDFS的体系结构------------------------- 1.namenode[守护进程]作用： 管理文件系统名称空间；【fsimage元数据镜像文件】 管理客户端对文件的访问。【edits操作文件】 NameNode执行文件系统命名空间操作，如打开，关闭和重命名文件和目录【edit...原创 2021-08-13 10:42:49 · 93 阅读 · 0 评论 -
第十三讲.通过WebUI分析Hadoop集群启动流程
视频：【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【视频笔记】分析webUI：50070的描述--------------------------------- 1.Startup Progress页【集群开启的过程】 Elapsed Time: 1 sec, Percent Complete: 100% Phase Completion Elapsed Ti...原创 2021-08-13 10:39:23 · 204 阅读 · 0 评论 -
第十二讲.HDFS设计思路+Block块机制+Block块大小
视频：【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【视频笔记】开启集群------------------ 1.主节点的守护进程为： namenode secondarynamenode resourcemanager 2.从节点 datanode nodemanagerHDFS的相关概念------------------...原创 2021-08-13 10:29:31 · 287 阅读 · 0 评论 -
第十一讲.虚拟机VMware安装增强
【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS回顾一下------------------------ 1.完全分布式的搭建流程 a.建议重新搭建一次 b.两个salve，注意修改UUIDLinux安装增强--------------------- 1.选择【虚拟机】-->【安装VMware Tools】-->加载VMware Tools的...原创 2021-08-13 10:02:16 · 1165 阅读 · 0 评论 -
第十讲.Hadoop完全分布式手把手搭建过程【超详细】
【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS完全分布式搭建步骤----------------------------------- 1.克隆两个节点 2.修改静态IP 3.修改主机名：【master(主)，slave1(从)，slave2(从)】 4.修改IP和主机名的映射：【/etc/hosts】 5.SSH无密登录： 6.安装JDK(略) ...原创 2021-08-12 10:25:57 · 99 阅读 · 0 评论 -
第九讲.静态IP的设置+关闭防火墙+克隆虚拟机【操作】
【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS静态IP的设置-------------------------- 1.VMware-->编辑-->虚拟网络编辑器-->还原默认配置-->重置网络设置 2.VMware-->编辑-->虚拟网络编辑器-->选中VM8-->关掉DHCP 3.查看网络相关配置： 子网：192...原创 2021-08-12 10:23:48 · 220 阅读 · 0 评论 -
第八讲.Hadoop完全分布式搭建思路
【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS完全分布式搭建步骤-------------------------------------- 1.克隆两个节点 2.修改静态IP 3.修改主机名：【master(主)，slave1(从)，slave2(从)】 4.修改IP和主机名的映射：【/etc/hosts】 5.SSH无密登录： 6.安装JDK(略) ...原创 2021-08-12 10:21:32 · 71 阅读 · 0 评论 -
第七讲.Hadoop数据组织结构【必须掌握】
【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFShdfs默认数据存放路径----------------------------- 1.{hadoop.tmp.dir}:/tmp/hadoop-${user.name} 修改路径到当前用户目录下： 【/home/hyxy/tmp/hadoop】 注意：理解格式化的含义{创建dfs/name/fsimage，针...原创 2021-08-12 10:19:49 · 96 阅读 · 0 评论 -
第六讲.Hadoop默认配置路径+启动脚本源码解析
【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFShadoop的瓶颈为物理存储！！！而绝非网络、内核CPU、内存hadoop默认查找{HADOOP_HOME}/etc/hadoophadoop start-dfs.sh 的执行流程------------------------------------- 【start-dfs.sh】-->【hdfs-config.sh】(说明：加载各种配..原创 2021-08-12 10:16:08 · 88 阅读 · 0 评论 -
第五讲.Hadoop守护进程的正确启动方式
【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS分别启动守护进程：(启动顺序不重要)----------------------------- 1.启动namenode进程： $>hadoop-daemons.sh --config ~/soft/hadoop/etc/hadoop_pseudo start namenode 2.启动datanode进程： $...原创 2021-08-12 10:13:58 · 520 阅读 · 0 评论 -
第四讲.查找Hadoop版本的默认配置文件【必须掌握】
【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS查找当前hadoop2.7.3的默认配置文件------------------------------------------- 1.core-default.xml:【hadoop-common-2.7.3.jar】 2.hdfs-default.xml:【hadoop-hdfs-2.7.3.jar】 3.mapred-defau...原创 2021-08-12 10:10:00 · 333 阅读 · 0 评论 -
Hadoop你能了解多少，一图胜千言
原创 2020-12-04 15:52:19 · 61 阅读 · 0 评论