- 博客(6)
- 资源 (6)
- 收藏
- 关注
RSS订阅原创 大数据-HDFS（五）
大数据-HDFS（七）DataNode工作机制以及数据存储DataNode工作机制1）一个数据块在datanode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。2）DataNode启动后向namenode注册，通过后，周期性（1小时）的向n...
2020-02-18 10:20:47
283
原创 大数据-HDFS（四）
大数据-HDFS（六）NameNode与SecondaryNameNode解析NameNode 主要负责集群当中的元数据信息管理，而且元数据信息需要经常被随机访问，所以元数据信息必须支持快速检索，那么如何保证 NameNode 快速检索呢？元数据信息保存在哪里能够快速检索呢？又如何保证元数据的持久安全呢？为了保证元...
2020-02-16 18:08:47
316
原创 大数据-HDFS（三）
大数据-HDFS（四）hdfs的架构以及block块和副本机制hdfs分布式文件系统是一个主从架构，主节点是NameNode，负责管理整个集群以及维护集群的元数据信息；从节点是DataNode，主要负责文件数据存储。hdfs将所有的文件全部抽象成为 block 块来进行存储，不管文件大小，全部一视同仁都是以bl...
2020-02-14 10:51:19
217
原创 大数据-HDFS（二）
大数据-HDFS（三）HDFS 的 java API 开发第一步：配置Windows的 hadoop 环境变量1、解压资料当中的 hadoop-2.6.0-cdh5.14.2_windows环境配置安装包.rar 这个压缩文件文件到一个没有中文没有空格的目录下2、然后在windows当中配置hadoop...
2020-02-14 10:03:43
376
原创 大数据-HDFS（一）
大数据-HDFS（一）Hadoop分布式文件系统(HDFS)是指被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统（Distributed File System）。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的...
2020-02-12 15:41:14
649
原创 大数据-基础环境搭建
大数据-基础环境搭建（一）服务器设置 本文使用三台Linux服务器做统一环境。三台机器的IP设置修改三台服务的ip地址vi /etc/sysconfig/network-scripts/ifcfg-ens33BOOTPROTO="static"IPADDR=192.168.52.100...
2020-02-10 15:05:06
932
Spark调优 Spark应用程序性能优化
2020-09-21
scala语言知识点.xmind
2020-05-13
HDFS读写流程.xmind
2020-04-03
HDFS.xmind
2020-04-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人