hadoop
文章平均质量分 51
zhlei12345
这个作者很懒,什么都没留下…
展开
-
文章标题
http://blog.csdn.NET/mercedesqq/article/details/16885115# 在Hadoop上运行MapReduce任务的标准做法是把代码打包到jar里面,上传到服务器,然后用命令行启动。如果你是从一个Java应用中想要启动一个MapReduce,那么这个方法真是又土又麻烦。其实YARN是可以通过Java程序向hadoop集群提交MapReduce任务的。与普转载 2017-08-22 14:29:53 · 174 阅读 · 0 评论 -
hadoop配置文件加载顺序
用了一段时间的hadoop,现在回来看看源码发现别有一番味道,温故而知新,还真是这样的 在使用hadoop之前我们需要配置一些文件,hadoop-env.sh,core-site.xml,hdfs-site.xml,mapred-site.xml。那么这些文件在什么时候被hadoop使用? 一般的在启动hadoop的时候使用最多就是start-all.sh,那么这个脚本都干了些什么?start-转载 2017-08-27 15:42:54 · 662 阅读 · 0 评论 -
Hadoop 2.6.0 FileSplit和InputSplit和FileInputFormat
InputSplit 有三个方法1.getLengh(),为了获取字节长度2.getLocations(),获取地址,在哪个节点3.该方法返回空,返回类型是可支持在内存中存储,或者磁盘存储。可以看出未来mapreduce有希望支持内存存储数据。@Evolvingpublic SplitLocationInfo[] getLocationInfo() throws IOException { ret转载 2017-09-14 09:58:04 · 873 阅读 · 0 评论 -
hadoop 一些属性值含义
1.mapreduce.input.linerecordreader.line.maxlength . 当使用TextInputFormat作为inputformat时,会遇文件中一些行过长,这样,我们可以通过这个mapreduce.input.linerecordreader.line.maxlength 来跳过这些异常行。 2.原创 2017-09-14 20:20:37 · 561 阅读 · 0 评论 -
hadoop 问题汇总
1.在运行hadoop时遇到问题,首先要查询位于 %hadoop安装目录%\logs\userlogs\中的日志信息。控制台输出的日志的内容并不全面。 2.链接hdfs,访问hdfs上面的文件时,出现链接失败。Connection refused。这时需要查看core-site.xml中的fs.defaultFS要改成hdfs://localhost:8020。8020端口是hadoop的name原创 2017-07-27 14:42:38 · 475 阅读 · 0 评论 -
hive
1.查询表在hdfs中存储路径 show create table table_name原创 2017-11-07 14:45:05 · 190 阅读 · 0 评论 -
hadoop 练习(1)
1 在hdfs上进行文件复制 Configuration conf=new Configuration(); conf.set("fs.hdfs.impl",org.apache.hadoop.hdfs.DistributedFileSystem.class.getName()); FileSystem fs=FileSystem.get(URI.create("hd原创 2017-08-22 20:37:07 · 614 阅读 · 0 评论