Hadoop
文章平均质量分 97
Zip Zou
专注于变强和变秃
展开
-
编译WordCount实例
预节知识在Hadoop集群环境中,其有两个重要和关键的系统,分别是HDFS和MapReduce。 其中HDFS是Hadoop的分布式存储的策略和核心,它实现了将数据分块,并且存储到多个DataNode上。 mapreduce的简单的可主要分为以下几个阶段: * FileInputFormat中的input路径,读取进入输入文件,该输入文件会经过默认的算法和策略进行split形成分片,形成分片后原创 2016-08-29 16:21:00 · 2244 阅读 · 0 评论 -
Hadoop配置文档
预节在这一节中,笔者主要向大家介绍了该配置文档中,所用到的Linux命令和Linux的帮助。终端提示信息在Linux中,终端的每一行都有提示信息,其包含了当前终端登录的用户,当前登录的主机,当前终端所在的目录。 如:[frank@master ~]$其格式为:[[用户名]@[hosts主机名或主机ip [当前所在路径]]$解析后可以知道,例子给的提示,实际上代表的是:当前终端登录的主机为maste原创 2016-08-26 23:10:37 · 3075 阅读 · 0 评论