视频:【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS
【美妙人生】Hadoop课程系列之HDFS--手把手教你精通HDFS
【视频笔记】
hdfs API
--------------------
1.HDFS:hadoop分布式文件系统-->
两种表现形式:1.hadoop fs shell命令:【hadoop fs -commond】
2.java API方式访问: 【DistributedFileSystem】对应的HDFS
2.搭建IDE
a. 查找hadoop的依赖jar包
在{hadoop_home/share}目录下查找<.jar>文件,复制后拷贝至{hadoop_home}/_jar/
在{hadoop_home}/_jar/目录下查找<sources>文件,剪切后拷贝至{hadoop_home}/_sources/
在{hadoop_home}/_sources/目录下查找<test>文件,剪切后拷贝至{hadoop_home}/_test/
{hadoop_home}/_jar/目录:hadoop java开发程序所依赖的jar包
{hadoop_home}/_sources/目录:hadoop java开发程序所依赖的源码包
{hadoop_home}/_test/目录:hadoop java开发程序所依赖的测试包
b.集成eclipse环境
1.将hadoop-eclipse-plugin-2.6.0.jar复制到{eclipse_home}/plugins下;
2.重启eclise;
3.校验安装是否成功:查看windows-->perferences-->hadoop Mapreduce
4.在【hadoop Mapreduce】视图下,添加hadoop的安装路径:D:\hadoop-2.7.3
5.创建hadoop的链接:
a>.打开【MapReduce Locations】视图-->右键【新建hadoop Location...】-->弹出编辑窗口
b>.dfs RPC 协议端口号为:9000 【注:默认为8020】
mapreduce RPC协议端口号为:9001 【注:默认为8021】
user name:hyxy 【注:集群名字】
host :master1 【注:master1在windows上映射对应的ip为192.168.14.139】
c.配置windows Hadoop工具包
1.拷贝hadoop.dll和winutils.exe至{hadoop_home}\bin;
2.配置环境变量:HADOOP_HOME=D:\hadoop-2.7.3 ;
PATH = %HADOOP_HOME%\bin;
d.创建工程,编写API