大数据
文章平均质量分 83
aronykl
这个作者很懒,什么都没留下…
展开
-
HDFS中的基本概念
HDFS中的基本概念namenode是一个java进程(运行在jvm上的),用来存储HDFS的元数据。什么是元数据?文件存储的目录层级结构,以及目录里有哪些文件。文件被分为了多少个block块,这些block块分别存储在哪些datanode上面的filesystem namespace 说明:hdfs中的数据都是以目录和文件的形式来组织的。hdfs中又很多的目录,比如/a, /b, /c, /a 下面还有 /a/hello, /a/hi 之类的子目录。然后底层的目录还有/a/hello原创 2021-04-11 19:03:28 · 337 阅读 · 1 评论 -
Hadoop简单入门和集群搭建
一、Hadoop是什么?Hadoop是这样一个框架,它可以通过使用简单的编程模型来对跨计算机的集群中的大型数据集进行分布式的处理。它被设计成可以从单个服务器扩展到数千台机器,每个机器都提供本地的计算和存储。与依赖于硬件来保证高可用性不同,该库本身的设计目的是检测和处理应用程序层的故障,因此可以在众多计算机组成的集群的顶部提供一个高可用的服务,但是组成集群的每一个计算机都有可能出现故障。上面是Hado原创 2017-09-09 23:32:07 · 634 阅读 · 0 评论