1.在运行hadoop时遇到问题,首先要查询位于 %hadoop安装目录%\logs\userlogs\中的日志信息。控制台输出的日志的内容并不全面。
2.链接hdfs,访问hdfs上面的文件时,出现链接失败。Connection refused。这时需要查看core-site.xml中的fs.defaultFS要改成hdfs://localhost:8020。8020端口是hadoop的namenode的RPC调用端口。然后重新启动hadoop。
3.maven 打包时出错
https://stackoverflow.com/questions/12687797/how-do-i-fix-a-unexpected-end-of-zlib-input-stream-with-the-maven-shade-plugin
4.maven测试
注意方法命名是用test+方法名.否则无法进行测试
在执行测试之前,一定要对源码进行编译
5.No compiler is provided in this environment. Perhaps you are running on a JRE rather than a JDK:使用maven构建项目时,碰到的错误。问题原因:eclipse官网看了看,发现eclipse默认是运行在jre上的,
但是maven插件需要使用jdk,因此需要在eclipse修改Installed JRES
位置在–>【Window】–>【Prefrences】–>【Java】–>【Installed JREs】,在其中添加jdk的路径便可。
6.java.io.IOException: No FileSystem for scheme:hdfs
https://stackoverflow.com/questions/17265002/hadoop-no-filesystem-for-scheme-file
7.FileSystem 中的append方法会在单机情况下,无法对文件追加,原因就是需要添加
conf.set(“dfs.client.block.write.replace-datanode-on-failure.policy”,”NEVER”);
conf.set(“dfs.client.block.write.replace-datanode-on-failure.enable”,”true”);
conf.setInt(“dfs.replication”, 1);
就算加上这三个还是有时行,有时不行。坑
hadoop 问题汇总
最新推荐文章于 2024-07-19 17:14:06 发布
![](https://img-home.csdnimg.cn/images/20240711042549.png)