大数据技术之Hadoop(HDFS文件系统 客户端操作 环境)

一、环境准备与测试

1、jar包准备

1)解压win7下编译过的hadoop-2.8.2.tar.gz到非中文目录
2)进入share文件夹,查找所有jar包,并把jar包拷贝到_lib文件夹下
3)在全部jar包中查找sources.jar,并剪切到_source文件夹。
4)在全部jar包中查找tests.jar,并剪切到_test文件夹。

2、配置HADOOP_HOME环境变量

尖叫提示:hadoop需要提前配置好jdk,而且jdk的安装路径不能有空格,特殊字符等等
解压后,配置环境变量计算机→属性→高级系统设置→高级→环境变量。
系统变量→新建HADOOP_HOME变量 。
变量值填写hadoop的安装目录(例如C:\myanzhuang\hadoop-2.8.2)
系统变量→寻找Path变量→编辑。在变量值最后输入%HADOOP_HOME%\bin;%HADOOP_HOME%\sbin;
尖叫提示:原来Path的变量值末尾有没有;号,如果没有,先输入;号再输入上面的代码)。

3、检查hadoop 是否配置成功

检验是否配置成功运行cmd输入 hadoop version若显示版本信息则说明安装和配置成功

二、创建一个java工程

public class HdfsClientDemo {	
	public static void main(String[] args) throws Exception {
		// 1. 获取文件系统		
		Configuration configuration = new Configuration();		
		// 2 . 配置在集群上运行		
		configuration.set("fs.defaultFS", "hdfs://node1:9000");		
		FileSystem fileSystem = FileSystem.get(configuration);				
		// 直接配置访问集群的路径和访问集群的用户名称
		//FileSystem fileSystem = FileSystem.get(new URI("hdfs://node1:9000"),configuration, "victor");				
		// 3. 把本地文件上传到文件系统中		
		fileSystem.copyFromLocalFile(new Path("f:/hello.txt"), new Path("/hello1.copy.txt"));				
		// 4. 关闭资源		
		fileSystem.close();		
		System.out.println("over");	
		}
	}

执行程序, 运行时需要配置用户名称
在这里插入图片描述
客户端去操作hdfs时,是有一个用户身份的。默认情况下,hdfs客户端api会从jvm中获取一个参数来作为自己的用户身份:
-DHADOOP_USER_NAME=victor,victor为用户名称。

©️2020 CSDN 皮肤主题: 1024 设计师:上身试试 返回首页