hadoop
文章平均质量分 55
A宇
这个作者很懒,什么都没留下…
展开
-
Hadoop_JavaAPI编程
MyEclipse或Eclipse软件编程通过API操作hadoop上的HDFS文件系统1.导入HDFS的jar包解压hadoop_2.6.0.tar.gz的安装包,选中所有放在lib中的jar包,右键,buildpath~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~原创 2016-12-12 23:53:11 · 607 阅读 · 0 评论 -
Hadoop_HDFS_Shell操作
一.hadoop 命令Shell命令Hadoop包括一系列的类shell的命令,可直接和HDFS以及其他Hadoop支持的文件系统进行交互。bin/hadoop fs -help 命令列出所有Hadoop Shell支持的命令。而 bin/hadoop fs -help command-name 命令能显示关于某个命令的详细信息。这些命令支持大多数普通文件系统的操作,比如复制文件、改变原创 2016-12-12 23:52:04 · 539 阅读 · 0 评论 -
hadoop启动及使用
一.开启Hadoop开启Hadoop命令,进入Hadoop的安装目录,执行./start-all.sh正常状态下的JPS都出来了,并不代表所有节点全起来了,当怎么都有问题时,可以看一下集群的日志信息,看有没有报错单独启动某个节点,集群中缺一个都无法正常工作!sbin/start-all.sh该命令会把整个集群进行启动,但是如果有一个节点的某个进程原创 2016-12-12 23:49:56 · 2139 阅读 · 0 评论 -
Hadoop伪分布式配置
135Hadoop2.6.0伪分布式设置准备工作:把JDK和Hadoop安装包上传到linux系统(oracle(home中的用户)用户的根目录)hadoop用户安装操作,主要是因为安全性问题,root用户的权限太大,而集群建通信又需要配置SSH免密登录,所以尽量不适用rootJdk安装1. 在hadoop用户的根目录,Jdk解压,(hadoop用户操作)tar原创 2016-12-12 23:46:37 · 338 阅读 · 0 评论 -
JobControl的使用及获取计数器
JobControl的使用1.JobControl配置//1.首先声明一个JobControlJobControl jobControl = new JobControl("groupName");//2.然后写conf的配置Configuration conf = new Configuration();conf.set("name","value");...省略配置......一般这里原创 2017-09-08 14:40:33 · 589 阅读 · 0 评论 -
mapreduce自定义分区及分箱
分区 –数据发送给哪个reduce 分箱 –结果输出到哪个目录mapreduce分区/Partitionmapreduce默认使用HashPartitioner进行分区。 源码如下:public class HashPartitioner<K, V> extends Partitioner<K, V> { /** Use {@link Object#hashCode()} to part原创 2017-09-11 14:20:37 · 1310 阅读 · 0 评论 -
hadoop-streaming调用Python脚本解析ua
1.从环境中找到hadoop-streaming-2.3.0-mr1-cdh5.1.2.jar的包[root@ayu python]$ cd $HADOOP_HOME && find ./ -name "*streaming*"./share/doc/hadoop-streaming./share/doc/hadoop-mapreduce1/streaming.pdf./s...原创 2018-10-22 14:35:28 · 377 阅读 · 0 评论