- 博客(4)
- 资源 (4)
- 收藏
- 关注
转载 hadoop配置文件加载顺序
用了一段时间的hadoop,现在回来看看源码发现别有一番味道,温故而知新,还真是这样的 在使用hadoop之前我们需要配置一些文件,hadoop-env.sh,core-site.xml,hdfs-site.xml,mapred-site.xml。那么这些文件在什么时候被hadoop使用? 一般的在启动hadoop的时候使用最多就是start-all.sh,那么这个脚本都干了些什么?start-
2017-08-27 15:42:54 662
原创 hadoop 练习(1)
1 在hdfs上进行文件复制 Configuration conf=new Configuration(); conf.set("fs.hdfs.impl",org.apache.hadoop.hdfs.DistributedFileSystem.class.getName()); FileSystem fs=FileSystem.get(URI.create("hd
2017-08-22 20:37:07 615
转载 文章标题
http://blog.csdn.NET/mercedesqq/article/details/16885115# 在Hadoop上运行MapReduce任务的标准做法是把代码打包到jar里面,上传到服务器,然后用命令行启动。如果你是从一个Java应用中想要启动一个MapReduce,那么这个方法真是又土又麻烦。其实YARN是可以通过Java程序向hadoop集群提交MapReduce任务的。与普
2017-08-22 14:29:53 174
[N._N._R._Ranga_Suri,_Narasimha_Murty_M,_G._Athith(z-lib.org).pdf
2019-07-30
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人