windows7 平台下导入hadoop2.6.5 2。

1 下载源码

 前往官网下载源码压缩包

2.先期准备工作

解压源码包,可以查看BUILD.txt ,需要安全maven ,protobuf

2.1 protobuf的安装
    下载 protobuf-2.5.0.tar.gz和protoc-2.5.0-win32.tar,

将两者进行解压,然后将protoc-2.5.0-win32.tar中的protoc.exe分别复制到C:/Windows/System32 和 protobuf-2.5.0/src目录下,然后打开cmd,进入到protobuf-2.5.0/Java目录下,执行命令

mvn package 

成功后会提示build success,此外注意JDK版本至少为1.7


2.2 hadoop 

将hadoop-2.6.0-src.tar.gz放到一个盘的根目录下,如果放的太深无法进行解压

打开cmd,进入到hadoop-2.6.0-src文件夹,进入到hadoo-maven-plugins,然后输入

mvn install

进行maven插件的编入,然后回到hadoop-2.6.0-src根目录,然后进行源码的编译:

mvn eclipse:eclipse –DskipTests

然后就会生成hadoop-2.6.0-src源码


3. 导入eclipse或myeclipse

打开eclipse中,然后import,然后选中hadoop-2.6.0-src文件


错误情况:

  1. maven下载pom失败->重新操作
  2. hadoop-streaming中build path错误->Java Build Path->Source:
    1. 删除...hadoop-yarn-server-resourcemanager/conf
    2. Link Source:源码根目录/hadoop-yarn-project/hadoop-yarn/hadoop-yarn-server/hadoop-yarn-server-resourcemanager/conf,再随便起个名字;inclusion patterns:capacity-scheduler.xml;exclusion patters:**/*.java
  3. org.apache.hadoop.io.serializer.avro.TestAvroSerialization
    1. 下载avro-tools-1.7.4.jar:http://archive.apache.org/dist/avro/avro-1.7.4/java/
    2. 进入目录:源码根目录\hadoop-common-project\hadoop-common\src\test\avro
    3. java -jar path/to/avro-tools-1.7.4.jar compile schema avroRecord.avsc ..\java
    4. eclipse 刷新
  4. org.apache.hadoop.ipc.protobuf.TestProtos
    1. 进入目录:源码根目录\hadoop-common-project\hadoop-common\src\test\proto
    2. protoc --java_out=../java *.proto
    3. eclipse 刷新
  5. project->clean..->clean all projects & Build the entire workspace



评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值