hadoop 问题汇总

1.在运行hadoop时遇到问题，首先要查询位于 %hadoop安装目录%\logs\userlogs\中的日志信息。控制台输出的日志的内容并不全面。
2.链接hdfs，访问hdfs上面的文件时，出现链接失败。Connection refused。这时需要查看core-site.xml中的fs.defaultFS要改成hdfs://localhost:8020。8020端口是hadoop的namenode的RPC调用端口。然后重新启动hadoop。
3.maven 打包时出错
https://stackoverflow.com/questions/12687797/how-do-i-fix-a-unexpected-end-of-zlib-input-stream-with-the-maven-shade-plugin
4.maven测试
注意方法命名是用test+方法名.否则无法进行测试
在执行测试之前，一定要对源码进行编译
5.No compiler is provided in this environment. Perhaps you are running on a JRE rather than a JDK：使用maven构建项目时，碰到的错误。问题原因：eclipse官网看了看，发现eclipse默认是运行在jre上的，
但是maven插件需要使用jdk，因此需要在eclipse修改Installed JRES
位置在–>【Window】–>【Prefrences】–>【Java】–>【Installed JREs】，在其中添加jdk的路径便可。
6.java.io.IOException: No FileSystem for scheme:hdfs
https://stackoverflow.com/questions/17265002/hadoop-no-filesystem-for-scheme-file

7.FileSystem 中的append方法会在单机情况下，无法对文件追加，原因就是需要添加
conf.set(“dfs.client.block.write.replace-datanode-on-failure.policy”,”NEVER”);
conf.set(“dfs.client.block.write.replace-datanode-on-failure.enable”,”true”);
conf.setInt(“dfs.replication”, 1);
就算加上这三个还是有时行，有时不行。坑

8.
http://localhost:8088/
http://localhost