HDFS读写文件操作

本文档详细介绍了在Hadoop环境下,通过Java API进行HDFS文件读写操作的实践。包括读取《权威指南》中的示例代码,将本地文件内容写入HDFS,以及从HDFS反向导出到本地文件系统的步骤。涵盖了从创建目录、上传文件、编译代码到执行验证的全过程。
摘要由CSDN通过智能技术生成

1    运行环境说明

1.1     硬软件环境

1.2     机器网络环境

2    书面作业1:编译并运行《权威指南》中的例3.2

2.1     书面作业1内容

2.2     运行代码

2.3     实现过程

2.3.1   创建代码目录

2.3.2   建立例子文件上传到hdfs中

2.3.3   配置本地环境

2.3.4   编写代码

2.3.5   编译代码

2.3.6   使用编译代码读取文件

3    书面作业2:写入HDFS成为一个新文件

3.1    书面作业2内容

3.2    运行代码

3.3    实现过程

3.3.1   编写代码

3.3.2   编译代码

3.3.3   建立测试文件

3.3.4   使用编译代码上传文件内容到hdfs

3.3.5   验证是否成功

4    书面作业3:作业2反向操作

4.1    书面作业2内容

4.2    程序代码

4.3    实现过程

4.3.1   编写代码

4.3.2   编译代码

4.3.3   建立测试文件

4.3.4   使用编译代码把文件内容从hdfs输出到文件系统中

4.3.5   验证是否成功

 

1    运行环境说明

1.1  硬软件环境

l  主机操作系统:Windows 64 bit,双核4线程,主频2.2G,6G内存

l  虚拟软件:VMware® Workstation 9.0.0 build-812388

l  虚拟机操作系统:CentOS 64位,单核,1G内存

l  JDK:1.7.0_55 64 bit

l  Hadoop:1.1.2

1.2  机器网络环境

该开发机器处于能连接互联网的局域网中,具体信息为:

序号

IP地址

机器名

类型

用户名

运行进程

1

10.88.147.220

Hadoop0

单机节点

hadoop

NN、SNNTaskTracer、DN、JobTracer

2    书面作业1:编译并运行《权威指南》中的例3.2

2.1  书面作业1内容

在Hadoop集群中编译并运行《权威指南》中的例3.2

2.2  运行代码

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值