cloudera hadoop CDH目录下Hadoop-streaming.jar等其他jar包的路径

背景

前面我是在自己的电脑上搭建分布式环境hadoop,做了一些实验,但是就今天下午上传了一个300多MB的文件,然后进行处理都非常的慢,估计没有几个小时是弄不完的。于是想起前面借用学校的一个集群,也折腾了一下,但是就是不知道他的目录结构,要找什么东西都找不到,是用cloudera进行管理和配置的,我想用hadoop-streaming-*jar来运行python脚本。于是网上百度,终于找到了!

正文

参考博客:
hadoop基础—-hadoop实战(十一)—–hadoop管理工具—CDH的目录结构了解
第一种:
ls /opt/cloudera/parcels/CDH/jars

可以看到:
hadoop-streaming-2.6.0-cdh5.12.0.jar
hadoop-streaming-2.6.0-mr1-cdh5.12.0.jar
应该就是它了!
第二种:
ls /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce

可以看到:
hadoop-streaming-2.6.0-cdh5.12.0.jar
hadoop-streaming.jar
其他资料:
Cloudera hadoop配置文件地址和修改配置属性方法
可以看到环境配置文件:
core-site.xml hadoop-env.sh hdfs-site.xml log4j.properties mapred-site.xml ssl-client.xml topology.map topology.py yarn-site.xml

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

涛歌依旧fly

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值