1,下载hadoop2.6.0-src源码
2,环境变量设置
java jdk1.7
maven
protobuf2.5.0
依赖一些编译软件可以使用: $sudo apt-get install build-essential
ant1.8
3,安装到本地库
mvn install -DskipTests
4,打包
mvn package -Pdist,native -DskipTests -Dtar
5,创建mvn项目,并依赖hadoop的jar包(按需)
编写mr程序
6,创建包含所有依赖(jar),脚本,配置文件的jar
、 使用mvn assembly
<build>
<plugins>
<plugin>
<artifactId>maven-assembly-plugin</artifactId>
<configuration>
<finalName>gmt</finalName>
<archive>
<manifest>
<mainClass>
com.xxx.GMT
</mainClass>
</manifest>
</archive>
<descriptorRefs>
<descriptorRef>
jar-with-dependencies
</descriptorRef>
</descriptorRefs>
</configuration>
</plugin>
</plugins>
</build>
运行:mvn assembly:assembly
产生的xx-jar-with-dependencies-xx.jar
这个jar就可以在hadoop环境中运行
**
注:mvn中的依赖如果scope是system,test等使用assembly不能包含进jar包,
最好的方式是使用mvn install:install-file -Dfile=xx -DgroupId=xx -DartifactId=xx -Dversion=xx 安装到本地mvn库中
**