Hadoop 命令行运行实例

打包
为了能够在命令行中运行程序,首先需要对他进行编译和打包,下面就分别展示了编译和打包的过程

编译代码如下:

javac -classpath /usr/local/hadoop/hadoop-1.0.1/hadoop-core-1.0.1.jar -d wordcount_class   wordcount.java

上述命令会将wordcount.java编译后的所有class 文件到wordcount_class文件夹下,执行下面的命令打包所有的class文件:

jar -cvf /usr/local/hadoop/hadoop-1.0.2/bin/wordcount.jar -C wordcount_class/.
标明清单(mainfest)
增加:wordcount$Map.class
增加:wordcount$Readuce.class
增加:wordcount.class

在本地模式下运行

hadoop jar wordcount.jar input output 

在集群上运行
首先将输入的文件复制到hdfs钟,用以下命令完成该功能

hadoop dfs -copyFromLocal /input 

下面用命令行中运行程序

hadoop jar /wordcount.jar wordcount inpout output
执行上述命令运行wordcount.jar中的wordcount类,并且将input作为输入,output作为输出 

返回结果:
通过命令行直接显示输出文件夹中的文件

hadoop dfs -ls output

通过以上命令 的执行结果可以发现,输出的结果中一共有6个文件

将输出的文件从hdfs复制到本地文件系统上,在本地文件系统上查看
命令如下:

hadoop dfs -get output/* /home/u/output

还可以在命令行中将输出的文件合并成一个文件,并复制到本地文件系统中
hadoop dfs -getmerge output/*  /home/u/output
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值